社区原始演示 · 视频由 X 提供
软件与工作流
桌面与设备操作
Android AI 智能体：基于无障碍树的自动操作
一个开源 Android 实验从当前无障碍树中选择操作，并由小型语言模型处理文字输入。
- 发布时间
- 原始发布
- X / @SomeshSampat123
将在新标签页打开作者的原始发布。
以下实现思路是我们根据社区演示整理的参考方案，作者的实际环境与实现请以原始发布为准。
适用场景
当下一步操作可以表达为点击、滚动和输入时，设备助手可以利用有标签的控件完成应用内导航。
实现思路
根据当前无障碍树构建操作列表，请求模型选择，执行选中操作，并在界面变化后刷新列表。
决策示例
以下内容用于说明一种可能的工作流，并非演示实测结果或 API 请求与响应格式。
- 输入示例
- 目标：打开搜索。当前可见控件：首页、搜索、资料库。
- 决策结果示例
- 选择搜索控件，然后读取更新后的界面，再决定下一步。
适用范围与限制
缺失无障碍标签或使用自定义控件的应用可能需要其他观察方式。此演示使用额外模型完成文字输入，完整流程并非只依赖一个模型。
尝试构建自己的决策
在 Playground 中定义上下文与候选选项，再通过 API 指南接入自己的应用。
