skip to content
日替わり OSS
Table of Contents

リポジトリ

agent-browserとは?

現代のウェブアプリケーションは、高度なインタラクションと動的なコンテンツで構成されています。このような複雑なウェブ環境を、人間だけでなくAIエージェントが理解し、操作することは、これまで大きな課題でした。そこで登場したのが、Vercel Labs が開発する画期的なオープンソースツール agent-browser です。これは、AIエージェントがウェブブラウザを操作するための強力なCLI(コマンドラインインターフェース)ツールとして注目を集めています。

従来のブラウザ自動化ツール、例えば Selenium や Playwright、Puppeteer などは、JavaScriptやPythonなどのプログラミング言語のAPIを通じてブラウザを制御します。これらは開発者がコードを書いて特定の自動化スクリプトを作成するのに非常に適しています。しかし、AIエージェント、特に大規模言語モデル(LLM)のようなシステムが、Webページの状態を自律的に「知覚」し、「思考」し、次の「行動」を決定し、それを「実行」する、という一連のループを構築する際には、よりシンプルで汎用的なインターフェースが求められます。

agent-browser はこのニーズに応えます。最大の特徴は、ブラウザの操作をシェルコマンドとして実行できる点です。これにより、AIエージェントは、現在のWebページの状態をテキストとして取得し、そのテキスト情報に基づいて次のアクション(例えば「このボタンをクリックする」)を決定し、そのアクションに対応するコマンドをシェル経由で発行するという、非常に直感的かつシンプルなループを構築できます。

さらに、agent-browser は Webページを人間が知覚する形に近い、構造化されたテキスト情報、具体的には Accessibility Tree(アクセシビリティツリー) の概念を活用して取得します。これにより、AIエージェントは単なるHTMLのタグ構造だけでなく、ページ上の要素の役割や意味をより深く理解し、正確かつ目的に合った操作を実行することが可能になります。Rust製であるため、高いパフォーマンスとメモリ安全性を提供し、複雑なブラウザ操作を高速かつ安定して実行できる点も大きな魅力です。

主な機能と利用シナリオ

agent-browser は、AIエージェントがWebブラウザを意図通りに操作するために必要な多様な機能を提供します。その核となるのは、ステップバイステップでのブラウザ操作を可能にするコマンド群です。

Webページの「知覚」と「行動」のループ

AIエージェントがWebページを操作する際の基本的な流れは以下のようになります。

  1. ページを開く: agent-browser open <URL> コマンドで目的のWebページを開きます。
  2. スナップショットの取得: agent-browser snapshot -i コマンドで、現在のページの「スナップショット」を撮影します。このスナップショットは、操作可能な要素に @e1 のようなユニークなリファレンス(参照ID)が割り当てられたコンパクトなテキスト形式で返されます。この「Accessibility Tree」ベースのテキスト情報は、AIエージェントがWebページの内容と構造をセマンティックに理解するのに役立ちます。
  3. アクションの実行: AIエージェントはスナップショットのテキストを解析し、次に取るべき行動を決定します。例えば、「登録」ボタンをクリックする必要があると判断した場合、対応するリファレンスを使って agent-browser click @e1 のようにコマンドを実行します。もちろん、CSSセレクターやXPathなどによる要素指定も可能です。
  4. 結果の確認: アクションの実行後、agent-browser get url や再度 snapshot を使うことで、操作の結果を確認し、次のステップに進みます。この一連のループをAIエージェントが自律的に繰り返すことで、複雑なWebタスクを完遂します。

豊富なコマンド群

agent-browser は、ナビゲーション、インタラクション、情報取得、状態管理、デバッグなど、ウェブブラウザ操作のあらゆる側面をカバーする多様なコマンドを提供します。主要なコマンドカテゴリをいくつかご紹介します。

  • ナビゲーションと読み取り: open, back, forward, read, snapshot, get
  • インタラクション: click, fill, type, press, hover, scroll, upload
  • 待機: wait
  • キャプチャ: screenshot, pdf, record, download
  • ページとネットワークの状態: cookies, storage, network, eval
  • デバッグとパフォーマンス: console, errors, highlight, trace
  • セッションと認証: session, auth, profiles

これらのコマンドは、すべてシェルから直接実行できるため、AIエージェントが柔軟にWeb操作のロジックを組み立てられます。また、コマンド実行後もブラウザセッションが維持されるため、各ステップは短いシェルコマンドとして機能し、オーバーヘッドが少ない効率的な自動化が可能です。

多様なブラウザ環境への対応

デフォルトでは「Chrome for Testing」を使用しますが、既存のChromeインスタンスに接続する --cdp オプションや、Lightpanda、Obscura といった異なるブラウザエンジンを選択するオプションも用意されています。さらには、iOS Simulator の Mobile Safari や、Browserbase、Browserless などのクラウドブラウザプロバイダーとも連携できるため、様々な環境でのテストや自動化に対応可能です。

AIエージェントへの「スキル」提供

agent-browser は、agent-browser skills get core コマンドを通じて、エージェントが agent-browser を効果的に利用するための「スキル」(命令セットや使用例)を提供します。これにより、LLMなどのAIエージェントは、このツールをより深く理解し、文脈に応じた適切なコマンドを生成・実行する能力を高めることができます。

具体的な利用シナリオ

agent-browser は、以下のような多様な現場でその真価を発揮します。

  • 高度なWebスクレイピング: 動的なコンテンツやJavaScriptでレンダリングされるサイトから、AIの判断を伴う複雑なデータ収集。
  • E2Eテスト自動化: AIエージェントがユーザーシナリオを理解し、自律的にWebアプリケーションのテストを実行・検証。
  • RPA(ロボティック・プロセス・オートメーション): 繰り返し発生するWeb上の手作業(データ入力、レポート作成など)をAIが自動化し、業務効率を向上。
  • AIアシスタントの基盤: ユーザーの自然言語指示をWeb操作に変換し、情報収集、予約、購買などのタスクを代行するAIアシスタントの開発。
  • セキュリティ研究: ウェブサイトの脆弱性スキャンや挙動分析を自動化し、セキュリティ評価の効率化。

他のブラウザ自動化ツールとの違い

agent-browser は、既存の強力なブラウザ自動化ツールが多数存在する中で、明確な差別化ポイントを持っています。

  • CLI中心のアプローチ: Selenium、Playwright、Puppeteer といったツールがプログラミング言語のAPIを通じて高度な制御を提供するのに対し、agent-browser はシェルコマンドというシンプルなインターフェースに特化しています。これにより、プログラミングスキルが限定的なユーザーや、外部システム(特にAIエージェント)との連携が容易になります。
  • AIエージェント連携への特化: Accessibility Tree を活用したページのセマンティックな理解や、AIエージェントがツールを使いこなすための「スキル」提供の仕組みなど、最初からAIエージェントとの連携を強く意識して設計されています。これは、これからのAI主導の自動化ワークフローにおいて非常に重要な点です。
  • Rustによる高性能: パフォーマンスとメモリ安全性に優れるRust言語で書かれているため、複雑で時間のかかるブラウザ操作も高速かつ安定して実行できます。これは大規模なWebスクレイピングやE2Eテストにおいて特にメリットとなります。
  • Vercel Labsによる開発: Next.jsやTurborepoなど、モダンなWeb開発ツールを多数手がけるVercelの実験的なプロジェクトであり、モダンなWeb技術との高い親和性や将来性が期待できます。

これらの特徴により、agent-browser は、開発者がスクリプトを記述して自動化を行うという従来のパラダイムだけでなく、AIが自律的にWebを探索し、タスクを遂行するという新しいパラダイムを強力にサポートするツールとなっています。

インストールと基本的な使い方

agent-browser の導入は非常にシンプルです。Node.js環境があれば、以下のコマンドで簡単にインストールできます。

Terminal window
npm install -g agent-browser
agent-browser install # 初回のみChrome for Testingをダウンロード

macOSユーザーであれば Homebrew (brew install agent-browser) も利用できます。また、npx agent-browser open example.com のように npx を使って一時的に実行することも可能です。

基本的な使い方を見てみましょう。

Terminal window
agent-browser open example.com
agent-browser snapshot -i # 対話可能な要素をリファレンス付きで取得
agent-browser click @e1 # 取得したリファレンスを使って要素をクリック
agent-browser get url # 現在のURLを取得
agent-browser close

この簡単な一連のコマンドからも、Webページを開き、その構造を理解し、特定の要素を操作し、結果を確認するという、AIエージェントによる自律的なWeb操作の可能性が見えてくるでしょう。snapshot -i は、ボタンやリンクなどのインタラクティブな要素に焦点を当ててスナップショットを生成するため、AIエージェントにとって特に有用です。

まとめ

agent-browser は、AIエージェントがWebを「知覚」し「操作」するための、強力かつ直感的なCLIインターフェースを提供する画期的なオープンソースツールです。Accessibility Tree の活用によるセマンティックなページ理解、豊富なコマンド群、そしてRustによる高性能な実行環境が、その独自性と魅力を際立たせています。

このツールは、単にWebページの自動化を行うだけでなく、AIアシスタントや自律型エージェントが、インターネット上の情報を活用し、複雑なタスクを遂行するための重要な基盤となります。テスト自動化やRPAといった既存のブラウザ自動化の領域に新たな可能性をもたらすと同時に、AIを活用した新しいWebサービスの開発や、業務効率化の強力な武器として、今後ますますその存在感を高めていくことでしょう。

日本人エンジニアの皆さんにとっても、最先端のAI技術とWeb技術を組み合わせた開発を進める上で、agent-browser は必見のツールとなるはずです。ぜひ一度、その機能と可能性を体験してみてください。