접근성 트리를 활용하는 Android AI 에이전트

현재 접근성 트리에서 행동을 선택하고 소형 언어 모델이 텍스트 입력을 담당하는 오픈 소스 Android 실험입니다.

Somesh Sampat@SomeshSampat123

새 탭에서 작성자의 원본 게시물을 엽니다.

아래 구현 아이디어는 커뮤니티 데모에 대한 당사의 해석입니다. 작성자의 실제 구성은 원본 게시물에서 확인하세요.

적용할 수 있는 상황

다음 행동이 알려진 탭, 스크롤, 텍스트 입력 단계에 해당할 때 기기 어시스턴트는 레이블이 있는 컨트롤로 앱을 탐색할 수 있습니다.

현재 접근성 트리에서 행동 목록을 만들고 선택을 요청한 뒤 선택된 행동을 실행합니다. 화면이 바뀌면 목록을 갱신합니다.

이 예시는 가능한 워크플로를 설명하며, 기록된 데모 결과나 API 요청·응답 형식이 아닙니다.

접근성 레이블이 없거나 사용자 지정 컨트롤을 쓰는 앱은 다른 관찰 방법이 필요할 수 있습니다. 이 데모는 텍스트 입력에 별도 모델을 사용하므로 전체 워크플로가 단일 모델 시스템은 아닙니다.

플레이그라운드에서 맥락과 소수의 선택지를 정의한 뒤 API 가이드에 따라 애플리케이션을 연결하세요.