GrepAI Storage with PostgreSQL

このスキルでは、GrepAI のストレージバックエンドとして pgvector 拡張機能を備えた PostgreSQL を使用する方法をカバーしています。

このスキルを使用する時期

• 共有インデックスが必要なチーム環境
• 大規模なコードベース (10,000+ ファイル)
• 並行アクセスが必要
• 既存の PostgreSQL インフラストラクチャとの統合

前提条件

1. PostgreSQL 14+ with pgvector 拡張機能
2. テーブル作成権限を持つデータベースユーザー
3. PostgreSQL サーバーへのネットワークアクセス

利点

利点	説明
👥 チーム共有	複数のユーザーが同じインデックスにアクセス可能
📏 スケーラブル	大規模なコードベースに対応
🔄 並行処理	複数の同時検索に対応
💾 永続的	マシン再起動後もデータが保持される
🔧 使い慣れた	標準的なデータベースツール

PostgreSQL with pgvector のセットアップ

オプション 1: Docker (開発環境に推奨)

# Run PostgreSQL with pgvector
docker run -d \
  --name grepai-postgres \
  -e POSTGRES_USER=grepai \
  -e POSTGRES_PASSWORD=grepai \
  -e POSTGRES_DB=grepai \
  -p 5432:5432 \
  pgvector/pgvector:pg16

オプション 2: 既存の PostgreSQL にインストール

# Install pgvector extension (Ubuntu/Debian)
sudo apt install postgresql-16-pgvector

# Or compile from source
git clone https://github.com/pgvector/pgvector.git
cd pgvector
make
sudo make install

次に拡張機能を有効化します:

-- Connect to your database
CREATE EXTENSION IF NOT EXISTS vector;

オプション 3: マネージドサービス

• Supabase: デフォルトで pgvector を搭載
• Neon: pgvector が利用可能
• AWS RDS: pgvector 拡張機能をインストール
• Azure Database: pgvector が利用可能

設定

基本設定

# .grepai/config.yaml
store:
  backend: postgres
  postgres:
    dsn: postgres://user:password@localhost:5432/grepai

環境変数を使用する場合

store:
  backend: postgres
  postgres:
    dsn: ${DATABASE_URL}

環境変数を設定します:

export DATABASE_URL="postgres://user:password@localhost:5432/grepai"

完全な DSN オプション

store:
  backend: postgres
  postgres:
    dsn: postgres://user:password@host:5432/database?sslmode=require

DSN の構成要素:

• user: データベースユーザー名
• password: データベースパスワード
• host: サーバーのホスト名または IP アドレス
• 5432: ポート (デフォルト: 5432)
• database: データベース名
• sslmode: SSL モード (disable, require, verify-full)

SSL モード

モード	説明	ユースケース
disable	SSL なし	ローカル開発
require	SSL 必須	本番環境
verify-full	SSL + 証明書検証	高セキュリティ

# SSL を使用した本番環境設定
store:
  backend: postgres
  postgres:
    dsn: postgres://user:pass@prod.db.com:5432/grepai?sslmode=require

データベーススキーマ

GrepAI は以下のテーブルを自動的に作成します:

-- Vector embeddings table
CREATE TABLE IF NOT EXISTS embeddings (
    id SERIAL PRIMARY KEY,
    file_path TEXT NOT NULL,
    chunk_index INTEGER NOT NULL,
    content TEXT NOT NULL,
    start_line INTEGER,
    end_line INTEGER,
    embedding vector(768),  -- Dimension matches your model
    created_at TIMESTAMP DEFAULT NOW(),
    UNIQUE(file_path, chunk_index)
);

-- Index for vector similarity search
CREATE INDEX ON embeddings USING ivfflat (embedding vector_cosine_ops);

セットアップの確認

pgvector 拡張機能の確認

-- Connect to database
psql -U grepai -d grepai

-- Check extension is installed
SELECT * FROM pg_extension WHERE extname = 'vector';

-- Check GrepAI tables exist (after first grepai watch)
\dt

GrepAI からの接続テスト

# Check status
grepai status

# Should show PostgreSQL backend info

パフォーマンス調整

PostgreSQL 設定

ベクトル検索のパフォーマンスを向上させるには:

-- Increase work memory for vector operations
SET work_mem = '256MB';

-- Adjust for your hardware
SET effective_cache_size = '4GB';
SET shared_buffers = '1GB';

インデックスチューニング

大規模なインデックスの場合、IVFFlat インデックスを調整します:

-- More lists = faster search, more memory
CREATE INDEX ON embeddings
USING ivfflat (embedding vector_cosine_ops)
WITH (lists = 100);  -- Adjust based on row count

経験則: lists = sqrt(rows)

並行アクセス

PostgreSQL は並行アクセスを自動的に処理します:

• 複数の grepai search コマンドを同時に実行可能
• コードベースごとに 1 つの grepai watch デーモン
• 多くのユーザーが同じインデックスを共有可能

チームセットアップ

共有データベース

すべてのチームメンバーが同じデータベースを指します:

# Each developer's .grepai/config.yaml
store:
  backend: postgres
  postgres:
    dsn: postgres://team:secret@shared-db.company.com:5432/grepai

プロジェクトごとのデータベース

分離されたプロジェクトの場合、別のデータベースを使用します:

# Create databases
createdb -U postgres grepai_projecta
createdb -U postgres grepai_projectb

# Project A config
store:
  backend: postgres
  postgres:
    dsn: postgres://user:pass@localhost:5432/grepai_projecta

バックアップと復元

バックアップ

pg_dump -U grepai -d grepai > grepai_backup.sql

復元

psql -U grepai -d grepai < grepai_backup.sql

GOB からの移行

1. pgvector を使用して PostgreSQL をセットアップします
2. 設定を更新します:

store:
  backend: postgres
  postgres:
    dsn: postgres://user:pass@localhost:5432/grepai

3. 古いインデックスを削除します:

rm .grepai/index.gob

4. 再インデックス化します:

grepai watch

よくある問題

❌ 問題: FATAL: password authentication failed ✅ 解決策: DSN の認証情報と pg_hba.conf を確認してください

❌ 問題: ERROR: extension "vector" is not available ✅ 解決策: pgvector をインストールします:

sudo apt install postgresql-16-pgvector
# Then: CREATE EXTENSION vector;

❌ 問題: ERROR: type "vector" does not exist ✅ 解決策: データベースで拡張機能を有効化します:

CREATE EXTENSION IF NOT EXISTS vector;

❌ 問題: 接続が拒否される ✅ 解決策:

• PostgreSQL が実行中であることを確認します
• ホストとポートを確認します
• ファイアウォール設定を確認します

❌ 問題: 検索が遅い ✅ 解決策:

• IVFFlat インデックスを追加します
• work_mem を増やします
• テーブルを VACUUM ANALYZE します

ベストプラクティス

1. 環境変数を使用: 認証情報をコミットしない
2. SSL を有効化: リモートデータベースの場合
3. 定期的なバックアップ: 大きな変更の前に pg_dump を実行
4. パフォーマンス監視: クエリ時間を確認
5. インデックスメンテナンス: 定期的に VACUUM ANALYZE を実行

出力形式

PostgreSQL ストレージステータス:

✅ PostgreSQL Storage Configured

   Backend: PostgreSQL + pgvector
   Host: localhost:5432
   Database: grepai
   SSL: disabled

   Contents:
   - Files: 2,450
   - Chunks: 12,340
   - Vector dimension: 768

   Performance:
   - Connection: OK
   - IVFFlat index: Yes
   - Search latency: ~50ms