GUI Agent

自律的なGUIタスク実行。自然言語タスクを指定すると、デスクトップを操作します。

使用する場面

以下の場合に gui-agent を使用してください:

• デスクトップアプリケーションを操作する(ボタンをクリック、フォームに入力、メニューをナビゲート)
• VM と対話する(OSWorldタスク)
• 画面を見てクリックする必要があるあらゆる作業

使い方

gui-agent "タスクの説明をここに入力"

例:

# デスクトップ自動化
gui-agent "Open Firefox and go to google.com"
gui-agent "Send hello to John in WeChat"
gui-agent "Install the Orchis GNOME theme"

# リモートVM
gui-agent --vm http://172.16.82.132:5000 "Open GitHub in Chrome"

# 特定のモデルを指定する場合
gui-agent --provider claude-code --model opus "Crop the top 20% of the image in GIMP"

オプション

gui-agent [OPTIONS] TASK

TASK                  自然言語によるタスク説明

--vm URL              リモートVM HTTP API
--provider NAME       LLMプロバイダーを指定: claude-code, openclaw, anthropic, openai
--model NAME          モデル名をオーバーライド(例: opus, sonnet, gpt-4o)
--max-steps N         停止までの最大アクション数(デフォルト: 15)
--app NAME            コンポーネントメモリ用のアプリ名(デフォルト: desktop)

内部動作

エージェントは自律的なループを実行します — 何も管理する必要はありません:

1. 観察 — スクリーンショット + UI検出 + コンポーネント照合
2. 検証 — 前のアクションが成功したかを確認
3. 計画 — 次のアクション(クリック、入力、スクロール等)を決定
4. 実行 — アクションを実行
5. 繰り返し — タスク完了または最大ステップに達するまで繰り返し

エージェントは初回接触時にUIコンポーネントを学習し、以降のセッションで再利用します。