GrepAI Embeddings with Ollama

このスキルでは、GrepAIの埋め込みプロバイダーとしてOllamaを使用し、100%プライベートでローカルなコード検索を実現する方法について説明します。

このスキルを使用するタイミング

• プライベートでローカルな埋め込みの設定
• 適切なOllamaモデルの選択
• Ollamaのパフォーマンス最適化
• Ollama接続の問題のトラブルシューティング

Ollamaが選ばれる理由

利点	説明
🔒 プライバシー	コードはマシンの外に出ない
💰 無料	APIコストや使用制限なし
⚡ 高速	ネットワークレイテンシーなし
🔌 オフライン	インターネット接続不要
🔧 制御	モデルを自由に選択可能

前提条件

1. Ollamaがインストールされ実行中
2. 埋め込みモデルがダウンロード済み

# Ollamaをインストール
brew install ollama  # macOS
# または
curl -fsSL https://ollama.com/install.sh | sh  # Linux

# Ollamaを起動
ollama serve

# モデルをダウンロード
ollama pull nomic-embed-text

設定

基本設定

# .grepai/config.yaml
embedder:
  provider: ollama
  model: nomic-embed-text
  endpoint: http://localhost:11434

カスタムエンドポイント付き

embedder:
  provider: ollama
  model: nomic-embed-text
  endpoint: http://192.168.1.100:11434  # リモートOllamaサーバー

明示的なディメンション指定

embedder:
  provider: ollama
  model: nomic-embed-text
  endpoint: http://localhost:11434
  dimensions: 768  # 通常は自動検出

利用可能なモデル

推奨: nomic-embed-text

ollama pull nomic-embed-text

プロパティ	値
ディメンション	768
サイズ	~274 MB
速度	高速
品質	コード向けで優秀
言語	英語に最適化

設定:

embedder:
  provider: ollama
  model: nomic-embed-text

多言語対応: nomic-embed-text-v2-moe

ollama pull nomic-embed-text-v2-moe

プロパティ	値
ディメンション	768
サイズ	~500 MB
速度	中程度
品質	優秀
言語	多言語対応

英語以外のコメントやドキュメントを含むコードベースに最適です。

設定:

embedder:
  provider: ollama
  model: nomic-embed-text-v2-moe

高品質: bge-m3

ollama pull bge-m3

プロパティ	値
ディメンション	1024
サイズ	~1.2 GB
速度	低速
品質	非常に高い
言語	多言語対応

精度が重要な大規模で複雑なコードベースに最適です。

設定:

embedder:
  provider: ollama
  model: bge-m3
  dimensions: 1024

最高品質: mxbai-embed-large

ollama pull mxbai-embed-large

プロパティ	値
ディメンション	1024
サイズ	~670 MB
速度	中程度
品質	最高
言語	英語

設定:

embedder:
  provider: ollama
  model: mxbai-embed-large
  dimensions: 1024

モデル比較

モデル	ディメンション	サイズ	速度	品質	ユースケース
nomic-embed-text	768	274MB	⚡⚡⚡	⭐⭐⭐	一般利用
nomic-embed-text-v2-moe	768	500MB	⚡⚡	⭐⭐⭐⭐	多言語対応
bge-m3	1024	1.2GB	⚡	⭐⭐⭐⭐⭐	大規模コードベース
mxbai-embed-large	1024	670MB	⚡⚡	⭐⭐⭐⭐⭐	最大精度

パフォーマンス最適化

メモリ管理

モデルはRAMに読み込まれます。十分なメモリを確保してください:

モデル	必要なRAM
nomic-embed-text	~500 MB
nomic-embed-text-v2-moe	~800 MB
bge-m3	~1.5 GB
mxbai-embed-large	~1 GB

GPU アクセラレーション

Ollamaは自動的に以下を使用します:

• macOS: Metal (Apple Silicon)
• Linux/Windows: CUDA (NVIDIA GPU)

GPU使用状況を確認:

ollama ps

モデルの読み込み維持

デフォルトでは、Ollamaは5分の非アクティブ期間後にモデルをアンロードします。モデルを読み込んだままにするには:

# モデルを無期限に読み込んだままにする
curl http://localhost:11434/api/generate -d '{
  "model": "nomic-embed-text",
  "keep_alive": -1
}'

接続の確認

Ollamaが実行中か確認

curl http://localhost:11434/api/tags

利用可能なモデルをリスト表示

ollama list

埋め込みをテスト

curl http://localhost:11434/api/embeddings -d '{
  "model": "nomic-embed-text",
  "prompt": "function authenticate(user, password)"
}'

Ollamaをサービスとして実行

macOS (launchd)

Ollamaアプリはログイン時に自動的に実行されます。

Linux (systemd)

# サービスを有効化
sudo systemctl enable ollama

# サービスを開始
sudo systemctl start ollama

# ステータスを確認
sudo systemctl status ollama

手動でバックグラウンド実行

nohup ollama serve > /dev/null 2>&1 &

リモートOllamaサーバー

高性能なサーバー上でOllamaを実行し、リモートから接続します:

サーバー上

# リモート接続を許可
OLLAMA_HOST=0.0.0.0 ollama serve

クライアント上

# .grepai/config.yaml
embedder:
  provider: ollama
  model: nomic-embed-text
  endpoint: http://server-ip:11434

よくある問題

❌ 問題: 接続がリセットされた ✅ 解決策:

# Ollamaを起動
ollama serve

❌ 問題: モデルが見つからない ✅ 解決策:

# モデルをプル
ollama pull nomic-embed-text

❌ 問題: 埋め込み生成が遅い ✅ 解決策:

• より小さいモデルを使用 (nomic-embed-text)
• GPUが使用されているか確認 (ollama ps)
• メモリ集約的なアプリケーションを閉じる
• より高性能なハードウェアを持つリモートサーバーを検討

❌ 問題: メモリ不足 ✅ 解決策:

• より小さいモデルを使用
• 他のアプリケーションを閉じる
• RAMをアップグレード
• リモートOllamaサーバーを使用

❌ 問題: モデル更新後に埋め込みが異なる ✅ 解決策: モデル更新後に再インデックス:

rm .grepai/index.gob
grepai watch

ベストプラクティス

1. nomic-embed-textから始める: 速度と品質のバランスが最良
2. Ollamaを実行し続ける: バックグラウンドサービスをお勧めします
3. ディメンションを一致させる: 異なるディメンションを持つモデルを混在させない
4. モデル変更時に再インデックス: インデックスを削除してwatchを再実行
5. メモリをモニタリング: 埋め込みモデルはかなりのRAMを使用します

出力形式

Ollama設定が成功した場合:

✅ Ollama Embedding Provider Configured

   Provider: Ollama
   Model: nomic-embed-text
   Endpoint: http://localhost:11434
   Dimensions: 768 (auto-detected)
   Status: Connected

   Model Info:
   - Size: 274 MB
   - Loaded: Yes
   - GPU: Apple Metal