fantasyvln-unified-multimodal-chain-of-thought
Vision-and-Language Navigation（VLN）で人間レベルの性能を実現するには、エージェントが複数のモーダル指示と視空間的文脈を同時に理解しながら、長い行動系列にわたって推論できる必要があります。NavCoTやNavGPT-2などの最近の研究は、Chain-of-Thought（CoT）推論が解釈可能性と長期計画の改善に有効であることを示しています。さらに、OctoNav-R1やCoT-VLAなどのマルチモーダル拡張により、CoTが人間レベルのパフォーマンス達成に向けた有望なアプローチであることが検証されています。
description の原文を見る
Achieving human-level performance in Vision-and-Language Navigation (VLN) requires an embodied agent to jointly understand multimodal instructions and visual-spatial context while reasoning over long action sequences. Recent works, such as NavCoT and NavGPT-2, demonstrate the potential of Chain-of-Thought (CoT) reasoning for improving interpretability and long-horizon planning. Moreover, multimodal extensions like OctoNav-R1 and CoT-VLA further validate CoT as a promising pathway toward human-li...
SKILL.md 本文
概要
このスキルは、ビジョン-ランゲージナビゲーションのための統合マルチモーダルチェーン・オブ・ソート推論(fantasyvln)に関する研究をカバーしています。エージェント開発と評価における重要な課題に取り組んでいます。
主要な洞察
このペーパーは以下を提供します:
- エージェントシステムの新規アプローチまたはフレームワーク
- 実験的評価結果とベンチマーク
- 実務者向けの一般化可能な原則
使用する場面
このスキルは以下に取り組む際に使用してください:
- エージェントベースのシステムとアプリケーション
- 自律的な推論と計画
- エージェントのパフォーマンス評価と改善
使用しない場面
- エージェント関連以外のタスク
- 実装コードを探している場合(ペーパーを参照してください)
リソース
- ArXiv Abstract: https://arxiv.org/abs/2601.13976
- Full PDF: https://arxiv.org/pdf/2601.13976
- HTML: https://arxiv.org/html/2601.13976
完全な技術詳細、方法論、実験プロトコルについては、元のペーパーを参照してください。
ライセンス: MIT(寛容ライセンスのため全文を引用しています) · 原本リポジトリ
詳細情報
- 作者
- ADu2021
- リポジトリ
- ADu2021/skillXiv
- ライセンス
- MIT
- 最終更新
- 2026/3/26
Source: https://github.com/ADu2021/skillXiv / ライセンス: MIT
関連スキル
agent-browser
AI エージェント向けのブラウザ自動化 CLI です。ウェブサイトとの対話が必要な場合に使用します。ページ遷移、フォーム入力、ボタンクリック、スクリーンショット取得、データ抽出、ウェブアプリのテスト、ブラウザ操作の自動化など、あらゆるブラウザタスクに対応できます。「ウェブサイトを開く」「フォームに記入する」「ボタンをクリックする」「スクリーンショットを取得する」「ページからデータを抽出する」「このウェブアプリをテストする」「サイトにログインする」「ブラウザ操作を自動化する」といった要求や、プログラマティックなウェブ操作が必要なタスクで起動します。
anyskill
AnySkill — あなたのプライベート・スキルクラウド。GitHubを基盤としたリポジトリからエージェントスキルを管理、同期、動的にロードできます。自然言語でクラウドスキルを検索し、オンデマンドでプロンプトを自動ロード、カスタムスキルのアップロードと共有、スキルバンドルの一括インストールが可能です。OpenClaw、Antigravity、Claude Code、Cursorに対応しています。
engram
AIエージェント向けの永続的なメモリシステムです。バグ修正、意思決定、発見、設定変更の後はmem_saveを使用してください。ユーザーが「覚えている」「記憶している」と言及した場合、または以前のセッションと重複する作業を開始する際はmem_searchを使用します。セッション終了前にmem_session_summaryを使用して、コンテキストを保持してください。
skyvern
AI駆動のブラウザ自動化により、任意のウェブサイトを自動化できます。フォーム入力、データ抽出、ファイルダウンロード、ログイン、複数ステップのワークフロー実行など、ユーザーがウェブサイトと連携する必要があるときに使用します。Skyvernは、LLMとコンピュータビジョンを活用して、未知のサイトも自動操作可能です。Python SDK、TypeScript SDK、REST API、MCPサーバー、またはCLIを通じて統合できます。
pinchbench
PinchBenchベンチマークを実行して、OpenClawエージェントの実世界タスクにおけるパフォーマンスを評価できます。モデルの機能テスト、モデル間の比較、ベンチマーク結果のリーダーボード提出、またはOpenClawのセットアップがカレンダー、メール、リサーチ、コーディング、複数ステップのワークフローにどの程度対応しているかを確認する際に使用します。
openui
OpenUIとOpenUI Langを使用してジェネレーティブUIアプリを構築できます。これらはLLM生成インターフェースのためのトークン効率的なオープン標準です。OpenUI、@openuidev、ジェネレーティブUI、LLMからのストリーミングUI、AI向けコンポーネントライブラリ、またはjson-render/A2UIの置き換えについて述べる際に使用します。スキャフォルディング、defineComponent、システムプロンプト、Renderer、およびOpenUI Lang出力のデバッグに対応しています。