コミュニティによるオリジナルデモ · 動画配信元：X
ソフトウェアの自動化
デスクトップ・端末操作
Android AIエージェント：アクセシビリティツリーで操作
現在のアクセシビリティツリーから操作を選び、文字入力を小型言語モデルに任せるオープンソースのAndroid実験です。
- 公開日
- 元の投稿
- X / @SomeshSampat123
投稿者の元の投稿を新しいタブで開きます。
以下はコミュニティのデモをもとに整理した実装案です。作者の実際の環境や実装は元の投稿をご確認ください。
活用シーン
次の操作をタップ、スクロール、入力に絞れる場合、ラベル付きのコントロールを使ってアプリ内を移動できます。
実装の考え方
現在のアクセシビリティツリーから操作候補を作り、モデルが選んだ操作を実行し、画面の変化後に候補を更新します。
判断の例
以下は想定するワークフローの説明であり、デモの実測結果やAPIのリクエスト・レスポンス形式ではありません。
- 入力例
- 目標：検索を開く。表示中の項目：ホーム、検索、ライブラリ。
- 判断結果の例
- 検索の項目を選び、更新された画面を読み取ってから次の操作を決めます。
範囲と制約
ラベルのないアプリや独自コントロールには別の観測方法が必要な場合があります。このデモの文字入力には別モデルを使っています。
自分の判断処理を試す
Playgroundでコンテキストと選択肢を定義し、APIガイドを使ってアプリにつなげましょう。
