GUI オートメーションスキル (Agent S インテグレーション)

概要

Agent S は自律的なコンピュータ制御のための最先端フレームワークです:

• OSWorld で 72.6% (人間の約 72% を上回る)
• ICLR 2025 Best Paper Award 受賞
• 対応: Linux、macOS、Windows、Android

クイックセットアップ

# インストール
pip install gui-agents

# API キーを設定
export OPENAI_API_KEY="sk-..."
export ANTHROPIC_API_KEY="sk-ant-..."

# オプション: より高い精度のための OCR サーバ
export OCR_SERVER_ADDRESS="http://localhost:8000"

基本的な使用法

import pyautogui
import io
from gui_agents.s3.agents.agent_s import AgentS3
from gui_agents.s3.agents.grounding import OSWorldACI

# グラウンディングエージェントをセットアップ
grounding_ag

...