gui-automation
Agent S統合により、コンピュータを自動制御できます。GUI操作、デスクトップ自動化、画面制御、マウス・キーボード自動化、ビジュアルタスク、スクリーンショットベースなど、様々なトリガーに対応しています。
description の原文を見る
Agent S integration for autonomous computer control. Triggers: GUI, desktop automation, computer use, screen control, mouse/keyboard automation, visual task, screenshot-based.
SKILL.md 本文
GUI オートメーションスキル (Agent S インテグレーション)
概要
Agent S は自律的なコンピュータ制御のための最先端フレームワークです:
- OSWorld で 72.6% (人間の約 72% を上回る)
- ICLR 2025 Best Paper Award 受賞
- 対応: Linux、macOS、Windows、Android
クイックセットアップ
# インストール
pip install gui-agents
# API キーを設定
export OPENAI_API_KEY="sk-..."
export ANTHROPIC_API_KEY="sk-ant-..."
# オプション: より高い精度のための OCR サーバ
export OCR_SERVER_ADDRESS="http://localhost:8000"
基本的な使用法
import pyautogui
import io
from gui_agents.s3.agents.agent_s import AgentS3
from gui_agents.s3.agents.grounding import OSWorldACI
# グラウンディングエージェントをセットアップ
grounding_ag
...
詳細情報
- 作者
- adolfklima
- ライセンス
- unknown
- 最終更新
- 2026/4/7
Source: https://github.com/adolfklima/orchestraceAI / ライセンス: unknown
関連スキル
superpowers-streamer-cli
SuperPowers デスクトップストリーマーの npm パッケージをインストール、ログイン、実行、トラブルシューティングできます。ユーザーが npm から `superpowers-ai` をセットアップしたい場合、メールまたは電話でサインインもしくはアカウント作成を行いたい場合、ストリーマーを起動したい場合、表示されたコントロールリンクを開きたい場合、後で停止したい場合、またはソースコードへのアクセスなしに npm やランタイムの一般的な問題から復旧したい場合に使用します。
catc-client-ops
Catalyst Centerのクライアント操作・監視機能 - 有線・無線クライアントのリスト表示・フィルタリング、MACアドレスによる詳細なクライアント検索、クライアント数分析、時間軸での分析、SSIDおよび周波数帯によるフィルタリング、無線トラブルシューティング機能を提供します。MACアドレスやIPアドレスでのクライアント検索、サイト別やSSID別のクライアント数集計、無線周波数帯の分布分析、Wi-Fi信号の問題調査が必要な場合に活用できます。
ci-cd-and-automation
CI/CDパイプラインの設定を自動化します。ビルドおよびデプロイメントパイプラインの構築または変更時に使用できます。品質ゲートの自動化、CI内のテストランナー設定、またはデプロイメント戦略の確立が必要な場合に活用します。
shipping-and-launch
本番環境へのリリース準備を行います。本番環境へのデプロイ準備が必要な場合、リリース前チェックリストが必要な場合、監視機能の設定を行う場合、段階的なロールアウトを計画する場合、またはロールバック戦略が必要な場合に使用します。
linear-release-setup
Linear Releaseに向けたCI/CD設定を生成します。リリース追跡の設定、LinearのCIパイプライン構築、またはLinearリリースとのデプロイメント連携を実施する際に利用できます。GitHub Actions、GitLab CI、CircleCIなど複数のプラットフォームに対応しています。
tracking-application-response-times
API エンドポイント、データベースクエリ、サービスコール全体にわたるアプリケーションのレスポンスタイムを追跡・最適化できます。パフォーマンス監視やボトルネック特定の際に活用してください。「レスポンスタイムを追跡する」「API パフォーマンスを監視する」「遅延を分析する」といった表現で呼び出せます。