GrepAI Embeddings with OpenAI

このスキルでは、GrepAIで OpenAI の埋め込み API を使用して、高品質なクラウドベースの埋め込みを実現する方法をカバーしています。

このスキルを使用する場合

• 最高品質の埋め込みが必要
• チーム環境で共有インフラストラクチャを使用している
• ローカル埋め込みサーバーを管理したくない
• プライバシーと品質/利便性のトレードオフを許容できる

考慮事項

項目	詳細
✅ 品質	最先端の埋め込み
✅ 速度	高速で、ローカル計算が不要
✅ スケーラビリティ	あらゆるコードベースサイズに対応
⚠️ プライバシー	コードが OpenAI サーバーに送信されます
⚠️ コスト	トークンごとに料金が発生
⚠️ インターネット	接続が必要

前提条件

1. OpenAI API キー
2. OpenAI アカウントで課金が有効化されていること

API キーを取得: https://platform.openai.com/api-keys

設定

基本設定

# .grepai/config.yaml
embedder:
  provider: openai
  model: text-embedding-3-small
  api_key: ${OPENAI_API_KEY}

環境変数を設定:

export OPENAI_API_KEY="sk-..."

並列処理付き設定

embedder:
  provider: openai
  model: text-embedding-3-small
  api_key: ${OPENAI_API_KEY}
  parallelism: 8  # 速度向上のための同時リクエスト

API キーを直接指定（推奨されません）

embedder:
  provider: openai
  model: text-embedding-3-small
  api_key: sk-your-api-key-here  # シークレットをコミットしないでください！

警告: API キーをバージョン管理にコミットしないでください。

利用可能なモデル

text-embedding-3-small（推奨）

プロパティ	値
次元	1536
価格	$0.00002 / 1K トークン
品質	非常に高い
速度	高速

最適な用途: ほとんどのユースケース、コストと品質のバランスが良い。

embedder:
  provider: openai
  model: text-embedding-3-small

text-embedding-3-large

プロパティ	値
次元	3072
価格	$0.00013 / 1K トークン
品質	最高
速度	高速

最適な用途: 最大精度、コストは問題にならない場合。

embedder:
  provider: openai
  model: text-embedding-3-large
  dimensions: 3072

次元削減

ストレージを節約するために次元を削減できます:

embedder:
  provider: openai
  model: text-embedding-3-large
  dimensions: 1024  # 3072 から削減

モデル比較

モデル	次元	1K トークンあたりのコスト	品質
text-embedding-3-small	1536	$0.00002	⭐⭐⭐⭐
text-embedding-3-large	3072	$0.00013	⭐⭐⭐⭐⭐

コスト見積もり

1000 ファイル単位の概算コスト:

コードベースサイズ	チャンク数	小規模モデル	大規模モデル
小 (100 ファイル)	~500	$0.01	$0.06
中 (1000 ファイル)	~5,000	$0.10	$0.65
大 (10000 ファイル)	~50,000	$1.00	$6.50

注: コストは初期インデックス作成のみです。更新は変更されたファイルのみを再埋め込みします。

速度の最適化

並列リクエスト

GrepAI v0.24.0 以降は、適応的なレート制限と並列リクエストをサポートしています:

embedder:
  provider: openai
  model: text-embedding-3-small
  api_key: ${OPENAI_API_KEY}
  parallelism: 8  # レート制限ティアに基づいて調整

並列処理の推奨値:

• Tier 1 (無料): 1-2
• Tier 2: 4-8
• Tier 3 以上: 8-16

バッチ処理

GrepAI は効率的な API 使用のためにチャンクを自動的にバッチ処理します。

レート制限

OpenAI はアカウントティアに基づいてレート制限があります:

ティア	RPM	TPM
無料	3	150,000
Tier 1	500	1,000,000
Tier 2	5,000	5,000,000

GrepAI は適応的なバックオフでレート制限を自動的に処理します。

環境変数

API キーの設定

macOS/Linux:

# ~/.bashrc、~/.zshrc、または ~/.profile 内
export OPENAI_API_KEY="sk-..."

Windows (PowerShell):

$env:OPENAI_API_KEY = "sk-..."
# または永続的に
[System.Environment]::SetEnvironmentVariable('OPENAI_API_KEY', 'sk-...', 'User')

.env ファイルの使用

プロジェクトのルートに .env を作成:

OPENAI_API_KEY=sk-...

.gitignore に追加:

.env

Azure OpenAI

Azure ホスト OpenAI の場合:

embedder:
  provider: openai
  model: your-deployment-name
  api_key: ${AZURE_OPENAI_API_KEY}
  endpoint: https://your-resource.openai.azure.com

セキュリティのベストプラクティス

1. 環境変数を使用: API キーをハードコードしない
2. .gitignore に追加: .env ファイルを除外
3. キーをローテーション: 定期的に API キーをローテーション
4. 使用状況を監視: OpenAI ダッシュボードで予期しない使用状況をチェック
5. コードを確認: 機密コードがインデックスされていないことを確認

よくある問題

❌ 問題: 401 Unauthorized ✅ 解決策: API キーが正しく、環境変数が設定されていることを確認:

echo $OPENAI_API_KEY

❌ 問題: 429 Rate limit exceeded ✅ 解決策: 並列処理を削減するか、OpenAI ティアをアップグレード:

embedder:
  parallelism: 2  # 低い値

❌ 問題: 高いコスト ✅ 解決策:

• 大規模モデルの代わりに text-embedding-3-small を使用
• 次元サイズを削減
• インデックス対象ファイルを削減するための無視パターンを追加

❌ 問題: インデックス作成が遅い ✅ 解決策: 並列処理を増加:

embedder:
  parallelism: 8

❌ 問題: プライバシーの懸念 ✅ 解決策: ローカル埋め込みのために Ollama を使用

Ollama から OpenAI への移行

1. 設定を更新:

embedder:
  provider: openai
  model: text-embedding-3-small
  api_key: ${OPENAI_API_KEY}

2. 既存インデックスを削除:

rm .grepai/index.gob

3. 再インデックス:

grepai watch

重要: 異なるモデル/プロバイダーの埋め込みを混在させることはできません。

出力形式

OpenAI 設定が成功した場合:

✅ OpenAI Embedding Provider Configured

   Provider: OpenAI
   Model: text-embedding-3-small
   Dimensions: 1536
   Parallelism: 4
   API Key: sk-...xxxx (環境から取得)

   このコードベースの推定コスト:
   - ファイル: 245
   - チャンク: ~1,200
   - コスト: ~$0.02

   注: コードは OpenAI サーバーに送信されます。