Browser Tool

Browser Tool は、AI駆動のブラウザ操作を可能にします。自然言語コマンドを通じて、ブラウザセッションの起動、要素のクリック、テキスト入力、ページのスクロール、スクリーンショットの取得を行います。

学べること

セッションのライフサイクル：起動 → 操作 → 終了
ブラウザアクション：クリック、入力、スクロール
ユースケース：UIテスト、スクリーンショット、ナビゲーション

セッションのライフサイクル

すべてのブラウザ自動化ワークフローは、厳密な手順に従います。

起動 - 対象URLでブラウザセッションを開始します
操作 - アクション（クリック、入力、スクロール）を実行します
終了 - セッションを終了してリソースを解放します

ブラウザの状態は、セッション内のアクション間で保持されます。他の Verdent ツールを使用する前に、ブラウザを終了する必要があります。

各アクションは、現在のブラウザの状態を示すスクリーンショットを返します。次に進む前に、アクション間でスクリーンショットを確認し、成功したかどうかを検証してください。

ブラウザアクション

新しいブラウザセッションを開始する

必須：対象URL
1920x1080の解像度でブラウザを開きます
すべてのワークフローで常に最初のアクションとなります

Launch browser at https://example.com

特定の座標をクリックする

必須：x,y座標
座標はビューポートを基準とします
信頼性のために要素の中心を狙います

Click coordinates 450,300

キーボードでテキストを入力する

必須：入力するテキスト
現在フォーカスされている要素に入力します
多くの場合、入力フィールドのクリックに続いて行います

Type "user@example.com"

ページをスクロールする

scroll_down - 1ページ分下にスクロールします
scroll_up - 1ページ分上にスクロールします
画面外のコンテンツを表示します

Scroll down to load more content

ブラウザセッションを終了する

すべてのワークフローで常に最後のアクションとなります
他のツールを使用する前に必須です
ブラウザのリソースを解放します

Close browser

座標は1920x1080のビューポートを基準とします。中心はおよそ (960, 540) です。スクリーンショットを使用して要素の位置を推定してください。

一般的なユースケース

フォーム送信とナビゲーションフローをテストする

ログインページで起動し、入力フィールドをクリックし、認証情報を入力し、フォームを送信して、スクリーンショットで結果を検証します。

Launch browser at https://app.example.com/login
Click coordinates 450,280
Type "testuser@example.com"
Click coordinates 450,340
Type "password123"
Click coordinates 500,420
Close browser

ドキュメント用にページをキャプチャする

スクリーンショットは各アクションの後に自動的にキャプチャされます。対象のページやセクションに移動して、視覚的なドキュメントを作成します。

Launch browser at https://docs.example.com
Scroll down to API section
Close browser

対象コンテンツへ移動する

ブラウザ自動化を使用して、抽出前に操作（メニューのクリック、遅延読み込みコンテンツの読み込み）が必要なコンテンツに到達します。

Launch browser at https://store.example.com
Scroll down three times
Click "Next Page" at 960,800
Close browser

制限事項

ツールの排他性 - アクティブなセッション中は browser_action のみ使用できます
座標ベース - CSSセレクターではなく、x,y座標が必要です
固定解像度 - ブラウザのビューポートは1920x1080に固定されています
Chromeのみ - PuppeteerはChrome/Chromiumブラウザをサポートします
永続性なし - セッションは Verdent の再起動後には維持されません
WSL非対応 - Browser Tool はWSL環境では動作しません
状態の保存なし - 各セッションは、Cookieや認証情報なしで新規に開始されます
単一セッション - 一度にアクティブにできるブラウザセッションは1つだけです

ファイル操作、検索ツール、bashコマンドを使用する前に、必ずブラウザセッションを終了してください。ブラウザはアクティブなセッション中、他のツールをロックします。