gui-agent
ビジュアル認識による GUI自動化を実現します。スクリーンショット取得 → 要素検出 → クリック → 検証という一連の流れで動作します。デスクトップアプリケーションの操作、仮想マシンとのやり取り、OSWorld ベンチマークタスクの完了が必要な場合に活用できます。
description の原文を見る
GUI automation via visual perception. Screenshot → detect → click → verify. Use when asked to operate a desktop app, interact with a VM, or complete an OSWorld benchmark task.
SKILL.md 本文
GUI Agent
自律的なGUIタスク実行。自然言語タスクを指定すると、デスクトップを操作します。
使用する場面
以下の場合に gui-agent を使用してください:
- デスクトップアプリケーションを操作する(ボタンをクリック、フォームに入力、メニューをナビゲート)
- VM と対話する(OSWorldタスク)
- 画面を見てクリックする必要があるあらゆる作業
使い方
gui-agent "タスクの説明をここに入力"
例:
# デスクトップ自動化
gui-agent "Open Firefox and go to google.com"
gui-agent "Send hello to John in WeChat"
gui-agent "Install the Orchis GNOME theme"
# リモートVM
gui-agent --vm http://172.16.82.132:5000 "Open GitHub in Chrome"
# 特定のモデルを指定する場合
gui-agent --provider claude-code --model opus "Crop the top 20% of the image in GIMP"
オプション
gui-agent [OPTIONS] TASK
TASK 自然言語によるタスク説明
--vm URL リモートVM HTTP API
--provider NAME LLMプロバイダーを指定: claude-code, openclaw, anthropic, openai
--model NAME モデル名をオーバーライド(例: opus, sonnet, gpt-4o)
--max-steps N 停止までの最大アクション数(デフォルト: 15)
--app NAME コンポーネントメモリ用のアプリ名(デフォルト: desktop)
内部動作
エージェントは自律的なループを実行します — 何も管理する必要はありません:
- 観察 — スクリーンショット + UI検出 + コンポーネント照合
- 検証 — 前のアクションが成功したかを確認
- 計画 — 次のアクション(クリック、入力、スクロール等)を決定
- 実行 — アクションを実行
- 繰り返し — タスク完了または最大ステップに達するまで繰り返し
エージェントは初回接触時にUIコンポーネントを学習し、以降のセッションで再利用します。
ライセンス: MIT(寛容ライセンスのため全文を引用しています) · 原本リポジトリ
詳細情報
- 作者
- Fzkuji
- ライセンス
- MIT
- 最終更新
- 2026/4/19
Source: https://github.com/Fzkuji/GUI-Agent-Harness / ライセンス: MIT
関連スキル
agent-browser
AI エージェント向けのブラウザ自動化 CLI です。ウェブサイトとの対話が必要な場合に使用します。ページ遷移、フォーム入力、ボタンクリック、スクリーンショット取得、データ抽出、ウェブアプリのテスト、ブラウザ操作の自動化など、あらゆるブラウザタスクに対応できます。「ウェブサイトを開く」「フォームに記入する」「ボタンをクリックする」「スクリーンショットを取得する」「ページからデータを抽出する」「このウェブアプリをテストする」「サイトにログインする」「ブラウザ操作を自動化する」といった要求や、プログラマティックなウェブ操作が必要なタスクで起動します。
anyskill
AnySkill — あなたのプライベート・スキルクラウド。GitHubを基盤としたリポジトリからエージェントスキルを管理、同期、動的にロードできます。自然言語でクラウドスキルを検索し、オンデマンドでプロンプトを自動ロード、カスタムスキルのアップロードと共有、スキルバンドルの一括インストールが可能です。OpenClaw、Antigravity、Claude Code、Cursorに対応しています。
engram
AIエージェント向けの永続的なメモリシステムです。バグ修正、意思決定、発見、設定変更の後はmem_saveを使用してください。ユーザーが「覚えている」「記憶している」と言及した場合、または以前のセッションと重複する作業を開始する際はmem_searchを使用します。セッション終了前にmem_session_summaryを使用して、コンテキストを保持してください。
skyvern
AI駆動のブラウザ自動化により、任意のウェブサイトを自動化できます。フォーム入力、データ抽出、ファイルダウンロード、ログイン、複数ステップのワークフロー実行など、ユーザーがウェブサイトと連携する必要があるときに使用します。Skyvernは、LLMとコンピュータビジョンを活用して、未知のサイトも自動操作可能です。Python SDK、TypeScript SDK、REST API、MCPサーバー、またはCLIを通じて統合できます。
pinchbench
PinchBenchベンチマークを実行して、OpenClawエージェントの実世界タスクにおけるパフォーマンスを評価できます。モデルの機能テスト、モデル間の比較、ベンチマーク結果のリーダーボード提出、またはOpenClawのセットアップがカレンダー、メール、リサーチ、コーディング、複数ステップのワークフローにどの程度対応しているかを確認する際に使用します。
openui
OpenUIとOpenUI Langを使用してジェネレーティブUIアプリを構築できます。これらはLLM生成インターフェースのためのトークン効率的なオープン標準です。OpenUI、@openuidev、ジェネレーティブUI、LLMからのストリーミングUI、AI向けコンポーネントライブラリ、またはjson-render/A2UIの置き換えについて述べる際に使用します。スキャフォルディング、defineComponent、システムプロンプト、Renderer、およびOpenUI Lang出力のデバッグに対応しています。