skip to content
日替わり OSS
Table of Contents

リポジトリ

agent-desktop とは

vercel-labs/agent-desktop は、Vercel Labs が開発するオープンソースプロジェクトで、AI エージェントがデスクトップアプリケーションを操作するための CLI ツールおよび C ライブラリです。OS のアクセシビリティツリーを利用して UI 要素を認識・操作するため、ピクセルベースの自動化よりも堅牢で安定した動作を実現します。

主要な特徴は以下の通りです。

  • 堅牢な要素認識: UI の見た目に依存せず、構造的な情報で要素を識別します。
  • クロスプラットフォーム: macOS、Windows、Linux の主要デスクトップ OS をサポート。
  • ヘッドレス操作: バックグラウンドでの自動化が可能で、ユーザー作業を妨げません。必要に応じて物理入力も選択できます。
  • Rust製: 高いパフォーマンスとメモリ安全性を保証します。 このツールにより、エージェントは「観測(snapshot)→ 行動(act)→ 再観測」のループでデスクトップタスクを自動実行できるようになります。

主な機能と利用シーン

agent-desktop は、デスクトップ環境での多岐にわたる操作を CLI で提供します。

主要機能
  • デスクトップの「観測」: snapshot コマンドで現在の UI 要素ツリーを JSON 形式で取得し、各要素に割り振られたリファレンス(ref)を通じて状態を把握します。スクリーンショットも取得可能です。
  • 要素への「操作」: click, type, set-value などのコマンドで、ref を指定して UI 要素をクリックしたり、テキストを入力したりします。アプリケーションの起動・終了、ウィンドウの移動やサイズ変更、クリップボード操作なども可能です。
活用例
  • AIエージェントのデスクトップ操作: LLMベースのエージェントが、Webブラウザだけでなく、Officeアプリや開発ツール、業務システムなど、デスクトップ上のあらゆるアプリケーションを直接操作できるようになり、実行可能なタスク範囲を大幅に拡大します。
  • デスクトッププロセスの自動化: 繰り返し発生する定型業務をスクリプト化し、効率化と人的ミスの削減に貢献します。
  • GUIテスト自動化: デスクトップアプリケーションの安定した自動テスト環境を構築できます。
  • RPAソリューション: 高度なRPAシステムの強力な基盤として、複雑なデスクトップタスク自動化に貢献します。

また、本ツールは C ライブラリ libagent_desktop_ffi としても提供され、Python など他の言語からもネイティブ機能を呼び出すことが可能です。

import ctypes
lib = ctypes.CDLL("./lib/libagent_desktop_ffi.dylib")
# ... (中略) ...
assert lib.ad_init(7) == 0

言語バインディングにより、より柔軟なシステム統合が実現します。

クロスプラットフォーム対応とセキュリティ

agent-desktop は macOS、Windows、Linux の各プラットフォームに対応していますが、OSごとに考慮すべき点があります。

  • macOS: 広範な機能がサポートされますが、セキュリティ上、「アクセシビリティ権限」の付与が必須です。
  • Windows: 多くの機能がサポートされ、通常特別な権限設定は不要です。
  • Linux: AT-SPI2-core を利用してアクセシビリティツリーにアクセスします。X11とWayland環境で一部動作に差異があるため、特定の機能(例: Waylandでのクリップボード操作には wl-clipboard が必要)では追加設定が必要な場合があります。
プライバシーとデータ取り扱いに関する注意

snapshot の出力、クリップボードの内容、スクリーンショットなどには、個人情報や機密情報が含まれる可能性があります。これらのデータを公開ログや外部サービスにアップロードする際は、情報漏洩のリスクを十分に理解し、厳重な管理体制を敷く必要があります。エージェントが画面記述を外部モデルプロバイダに送信する JEV helper も、データプライバシーに関する設定を別途確認することが重要です。

まとめ

vercel-labs/agent-desktop は、OS のアクセシビリティツリーを基盤とすることで、AI エージェントにデスクトップアプリケーションの堅牢な操作能力を提供する画期的な OSS です。クロスプラットフォーム対応、ヘッドレス操作、そして Rust による高性能・高信頼性は、デスクトップ自動化、RPA、および次世代のエージェント開発において極めて強力なツールとなり得ます。

自律型エージェントの実用化が進む現代において、現実世界の多様なアプリケーションを直接操作できる能力は、その価値を飛躍的に高めます。本ツールは、人間とコンピューターのインタラクションの新たな地平を切り開く可能性を秘めており、日本人エンジニアの皆様にもぜひその可能性を探索していただきたい注目のプロジェクトです。