GrepAI Storage with Qdrant

このスキルは、GrepAI のストレージバックエンドとして Qdrant を使用することをカバーしており、高性能なベクトル検索を提供します。

このスキルを使用する場合

• 可能な限り最速の検索パフォーマンスが必要
• 非常に大きなコードベース (50K+ ファイル)
• 既に Qdrant インフラストラクチャを使用している
• 高度なベクトル検索機能を望んでいる

Qdrant とは

Qdrant は以下を提供する専用のベクトルデータベースです:

• ⚡ 極めて高速なベクトル類似度検索
• 📏 優れたスケーラビリティ
• 🔧 高度なフィルタリング機能
• 🐳 簡単な Docker デプロイ

前提条件

1. Qdrant サーバーが実行されている
2. Qdrant へのネットワークアクセス

利点

利点	説明
⚡ パフォーマンス	最速のベクトル検索
📏 スケーラビリティ	数百万のベクトルに対応
🔍 高度な機能	フィルタリング、ペイロード、シャーディング
🐳 簡単なデプロイ	Docker 対応
☁️ クラウドオプション	Qdrant Cloud が利用可能

Qdrant のセットアップ

オプション 1: Docker (推奨)

# 永続ストレージを使用して Qdrant を実行
docker run -d \
  --name grepai-qdrant \
  -p 6333:6333 \
  -p 6334:6334 \
  -v qdrant_storage:/qdrant/storage \
  qdrant/qdrant

ポート:

• 6333: REST API
• 6334: gRPC API (GrepAI で使用)

オプション 2: Docker Compose

# docker-compose.yml
version: '3.8'
services:
  qdrant:
    image: qdrant/qdrant
    ports:
      - "6333:6333"
      - "6334:6334"
    volumes:
      - qdrant_storage:/qdrant/storage
    environment:
      - QDRANT__SERVICE__GRPC_PORT=6334

volumes:
  qdrant_storage:

docker-compose up -d

オプション 3: Qdrant Cloud

1. cloud.qdrant.io でサインアップ
2. クラスターを作成
3. エンドポイントと API キーを取得

設定

基本的な設定 (ローカル)

# .grepai/config.yaml
store:
  backend: qdrant
  qdrant:
    endpoint: localhost
    port: 6334

TLS を使用 (本番環境)

store:
  backend: qdrant
  qdrant:
    endpoint: qdrant.company.com
    port: 6334
    use_tls: true

API キーを使用 (Qdrant Cloud)

store:
  backend: qdrant
  qdrant:
    endpoint: your-cluster.aws.cloud.qdrant.io
    port: 6334
    use_tls: true
    api_key: ${QDRANT_API_KEY}

環境変数を設定:

export QDRANT_API_KEY="your-api-key"

設定オプション

オプション	デフォルト	説明
endpoint	localhost	Qdrant サーバーのホスト名
port	6334	gRPC ポート
use_tls	false	TLS 暗号化を有効にする
api_key	なし	認証キー

セットアップの確認

Qdrant が実行されているか確認

# REST API ヘルスチェック
curl http://localhost:6333/health

# 期待される出力: {"status":"ok"}

コレクションの確認 (インデックス作成後)

# コレクションをリスト
curl http://localhost:6333/collections

# コレクション情報を取得
curl http://localhost:6333/collections/grepai

GrepAI から確認

grepai status

# Qdrant バックエンド情報が表示されます

Qdrant ダッシュボード

http://localhost:6333/dashboard でウェブダッシュボードにアクセス:

• コレクションを表示
• ベクトルを閲覧
• クエリを実行
• パフォーマンスを監視

パフォーマンス特性

検索レイテンシ

コードベースサイズ	ベクトル数	検索時間
小 (1K ファイル)	5,000	<10ms
中 (10K ファイル)	50,000	<20ms
大 (100K ファイル)	500,000	<50ms

メモリ使用量

Qdrant は高速検索のためにベクトルをメモリに読み込みます:

ベクトル数	次元	メモリ
10,000	768	~60 MB
100,000	768	~600 MB
1,000,000	768	~6 GB

高度な設定

Qdrant サーバー設定

config/production.yaml を作成:

storage:
  storage_path: /qdrant/storage

service:
  grpc_port: 6334
  http_port: 6333
  max_request_size_mb: 32

optimizers:
  memmap_threshold_kb: 200000
  indexing_threshold_kb: 50000

Docker でマウント:

docker run -d \
  -v ./config:/qdrant/config \
  -v qdrant_storage:/qdrant/storage \
  qdrant/qdrant

コレクション設定

GrepAI は grepai という名前のコレクションを以下の設定で作成します:

• ベクトルサイズ: 埋め込み次元に一致
• 距離: コサイン類似度
• 大規模データセット用のディスク上ストレージ

クラスタリング (高度な機能)

非常に大規模なデプロイの場合、Qdrant は分散モードをサポート:

# qdrant 設定
cluster:
  enabled: true
  p2p:
    port: 6335

バックアップと復元

スナップショット作成

# REST API 経由でスナップショットを作成
curl -X POST 'http://localhost:6333/collections/grepai/snapshots'

スナップショットから復元

# スナップショットから復元
curl -X PUT 'http://localhost:6333/collections/grepai/snapshots/recover' \
  -H 'Content-Type: application/json' \
  -d '{"location": "/path/to/snapshot"}'

GOB からのマイグレーション

1. Qdrant を開始:

docker run -d --name qdrant -p 6333:6333 -p 6334:6334 qdrant/qdrant

2. 設定を更新:

store:
  backend: qdrant
  qdrant:
    endpoint: localhost
    port: 6334

3. 古いインデックスを削除:

rm .grepai/index.gob

4. 再インデックス:

grepai watch

PostgreSQL からのマイグレーション

1. Qdrant を開始
2. Qdrant を使用するように設定を更新
3. 再インデックス (埋め込みを再生成する必要があります)

よくある問題

❌ 問題: 接続が拒否された ✅ 解決方法: Qdrant が実行されていることを確認:

docker ps | grep qdrant
docker start grepai-qdrant

❌ 問題: gRPC 接続に失敗 ✅ 解決方法: ポート 6334 が公開されているか確認:

docker run -p 6334:6334 ...

❌ 問題: 認証に失敗 ✅ 解決方法: API キーを確認:

echo $QDRANT_API_KEY

❌ 問題: メモリ不足 ✅ 解決方法:

• Qdrant 設定でディスク上ストレージを有効にする
• Docker メモリ制限を増加させる
• マネージドスケーリングのために Qdrant Cloud を使用

❌ 問題: 初期インデックス作成が遅い ✅ 解決方法: これは正常です。Qdrant はバックグラウンドで最適化します。インデックス作成完了後、検索は高速になります。

Qdrant vs PostgreSQL

機能	Qdrant	PostgreSQL
検索速度	⚡⚡⚡	⚡⚡
セットアップの複雑さ	簡単 (Docker)	中程度
SQL クエリ	❌	✅
スケーラビリティ	優秀	良好
メモリ効率	優秀	良好
チーム認知度	低い	高い

推奨: 大規模なコードベースまたは最大パフォーマンスが必要な場合は Qdrant を使用します。SQL 統合が必要な場合またはチームが PostgreSQL に精通している場合は PostgreSQL を使用します。

ベストプラクティス

1. 永続ボリュームを使用: /qdrant/storage をマウント
2. 本番環境で TLS を有効にする: use_tls: true を設定
3. API キーをセキュア化: 環境変数を使用
4. メモリを監視: ベクトル検索はメモリ集約的
5. 定期的なスナップショット: 大きな変更前にバックアップ

出力形式

Qdrant ストレージステータス:

✅ Qdrant Storage Configured

   Backend: Qdrant
   Endpoint: localhost:6334
   TLS: disabled
   Collection: grepai

   Contents:
   - Files: 5,000
   - Vectors: 25,000
   - Dimensions: 768

   Performance:
   - Connection: OK
   - Indexed: Yes
   - Search latency: ~15ms