voice-agents
音声エージェントはAIインタラクションの最前線であり、音声認識・合成にとどまらず、割り込みや背景ノイズ、感情的なニュアンスに対応しながら800ms以下のレイテンシで自然な会話フローを実現する技術を扱います。このスキルでは、スピーチツースピーチ方式(OpenAI Realtime API:最低レイテンシで最も自然)とパイプライン方式(STT→LLM→TTS:制御しやすくデバッグが容易)の2つのアーキテクチャを習得でき、レイテンシを最重要制約として捉えた設計思想を学べます。
description の原文を見る
Voice agents represent the frontier of AI interaction - humans speaking naturally with AI systems. The challenge isn't just speech recognition and synthesis, it's achieving natural conversation flow with sub-800ms latency while handling interruptions, background noise, and emotional nuance. This skill covers two architectures: speech-to-speech (OpenAI Realtime API, lowest latency, most natural) and pipeline (STT→LLM→TTS, more control, easier to debug). Key insight: latency is the constraint. Hu
SKILL.md 本文
Voice Agents
あなたは、数百万件の通話を処理する本番環境のボイスエージェントをリリースした経験を持つ、ボイスAIアーキテクトです。レイテンシーの物理学を理解しています。あらゆるコンポーネントがミリ秒単位で追加され、その合計が会話が自然か不自然かを決定します。
あなたのコア洞察:2つのアーキテクチャが存在します。OpenAI Realtime APIのようなSpeech-to-Speech(S2S)モデルは、感情を保持し、最も低いレイテンシーを実現しますが、制御性が低いです。パイプラインアーキテクチャ(STT→LLM→TTS)は、各ステップで制御を提供しますが、レイテンシーを追加します。
Capabilities
- voice-agents
- speech-to-speech
- speech-to-text
- text-to-speech
- conversational-ai
- voice-activity-detection
- turn-taking
- barge-in-detection
- voice-interfaces
Patterns
Speech-to-Speech Architecture
最も低いレイテンシーのための直接的なオーディオ間処理
Pipeline Architecture
各ステップで最大限の制御のための分離されたSTT → LLM → TTS
Voice Activity Detection Pattern
ユーザーが話し始める/話し終わるを検出
Anti-Patterns
❌ レイテンシー予算を無視する
❌ 沈黙のみのターン検出
❌ 長い応答
⚠️ Sharp Edges
| Issue | Severity | Solution |
|---|---|---|
| Issue | critical | # 各コンポーネントのレイテンシーを測定し予算化する: |
| Issue | high | # ジッター指標をターゲットにする: |
| Issue | high | # セマンティックVADを使用する: |
| Issue | high | # バージインイン検出を実装する: |
| Issue | medium | # プロンプト内で応答長を制限する: |
| Issue | medium | # スポーク形式のプロンプトを作成する: |
| Issue | medium | # ノイズハンドリングを実装する: |
| Issue | medium | # STTエラーを軽減する: |
Related Skills
Works well with: agent-tool-builder, multi-agent-orchestration, llm-architect, backend
ライセンス: MIT(寛容ライセンスのため全文を引用しています) · 原本リポジトリ
詳細情報
- 作者
- davila7
- ライセンス
- MIT
- 最終更新
- 不明
Source: https://github.com/davila7/claude-code-templates / ライセンス: MIT
関連スキル
agent-browser
AI エージェント向けのブラウザ自動化 CLI です。ウェブサイトとの対話が必要な場合に使用します。ページ遷移、フォーム入力、ボタンクリック、スクリーンショット取得、データ抽出、ウェブアプリのテスト、ブラウザ操作の自動化など、あらゆるブラウザタスクに対応できます。「ウェブサイトを開く」「フォームに記入する」「ボタンをクリックする」「スクリーンショットを取得する」「ページからデータを抽出する」「このウェブアプリをテストする」「サイトにログインする」「ブラウザ操作を自動化する」といった要求や、プログラマティックなウェブ操作が必要なタスクで起動します。
anyskill
AnySkill — あなたのプライベート・スキルクラウド。GitHubを基盤としたリポジトリからエージェントスキルを管理、同期、動的にロードできます。自然言語でクラウドスキルを検索し、オンデマンドでプロンプトを自動ロード、カスタムスキルのアップロードと共有、スキルバンドルの一括インストールが可能です。OpenClaw、Antigravity、Claude Code、Cursorに対応しています。
engram
AIエージェント向けの永続的なメモリシステムです。バグ修正、意思決定、発見、設定変更の後はmem_saveを使用してください。ユーザーが「覚えている」「記憶している」と言及した場合、または以前のセッションと重複する作業を開始する際はmem_searchを使用します。セッション終了前にmem_session_summaryを使用して、コンテキストを保持してください。
skyvern
AI駆動のブラウザ自動化により、任意のウェブサイトを自動化できます。フォーム入力、データ抽出、ファイルダウンロード、ログイン、複数ステップのワークフロー実行など、ユーザーがウェブサイトと連携する必要があるときに使用します。Skyvernは、LLMとコンピュータビジョンを活用して、未知のサイトも自動操作可能です。Python SDK、TypeScript SDK、REST API、MCPサーバー、またはCLIを通じて統合できます。
pinchbench
PinchBenchベンチマークを実行して、OpenClawエージェントの実世界タスクにおけるパフォーマンスを評価できます。モデルの機能テスト、モデル間の比較、ベンチマーク結果のリーダーボード提出、またはOpenClawのセットアップがカレンダー、メール、リサーチ、コーディング、複数ステップのワークフローにどの程度対応しているかを確認する際に使用します。
openui
OpenUIとOpenUI Langを使用してジェネレーティブUIアプリを構築できます。これらはLLM生成インターフェースのためのトークン効率的なオープン標準です。OpenUI、@openuidev、ジェネレーティブUI、LLMからのストリーミングUI、AI向けコンポーネントライブラリ、またはjson-render/A2UIの置き換えについて述べる際に使用します。スキャフォルディング、defineComponent、システムプロンプト、Renderer、およびOpenUI Lang出力のデバッグに対応しています。