GrepAI Storage with GOB

このスキルは、GrepAIのストレージバックエンドとしてGOB (Go Binary) を使用することについて説明しています。これはデフォルトで最もシンプルなオプションです。

このスキルを使用する時期

• 単一開発者プロジェクト
• 小～中規模のコードベース
• 外部依存関係のないシンプルなセットアップ
• ローカル開発環境

GOB ストレージとは

GOBはGoのネイティブなバイナリシリアライゼーション形式です。GrepAIはこれを以下の保存に使用します：

• ベクトル埋め込み
• ファイルメタデータ
• チャンク情報

すべてが単一のローカルファイルに保存されます。

利点

メリット	説明
🚀 シンプル	外部サービスが不要
⚡ 高速セットアップ	すぐに動作
📁 ポータブル	単一ファイル、バックアップが簡単
💰 無料	インフラコストなし
🔒 プライベート	データはローカルに保持

制限事項

制限	説明
📏 スケーラビリティ	非常に大きなコードベースには不向き
👤 シングルユーザー	同時アクセスなし
🔄 共有不可	インデックスをマシン間で共有不可
💾 メモリ	検索のためにRAMに読み込む

設定

デフォルト設定

GOBはデフォルトバックエンドです。最小設定：

# .grepai/config.yaml
store:
  backend: gob

明示的な設定

store:
  backend: gob
  # Index stored in .grepai/index.gob (automatic)

ストレージの場所

GOBストレージはプロジェクトの .grepai/ ディレクトリにファイルを作成します：

.grepai/
├── config.yaml    # Configuration
├── index.gob      # Vector embeddings
└── symbols.gob    # Symbol index for trace

ファイルサイズ

概算の .grepai/index.gob サイズ：

コードベース	ファイル数	チャンク数	インデックスサイズ
Small	100	500	~5 MB
Medium	1,000	5,000	~50 MB
Large	10,000	50,000	~500 MB

操作

インデックスの作成

# Initialize project
grepai init

# Start indexing (creates index.gob)
grepai watch

インデックスステータスの確認

grepai status

# Output:
# Index: .grepai/index.gob
# Files: 245
# Chunks: 1,234
# Size: 12.5 MB
# Last updated: 2025-01-28 10:30:00

インデックスのバックアップ

# Simple file copy
cp .grepai/index.gob .grepai/index.gob.backup

インデックスのクリア

# Delete and re-index
rm .grepai/index.gob
grepai watch

新しいマシンへの移動

# Copy entire .grepai directory
cp -r .grepai /path/to/new/location/

# Note: Only works if using same embedding model

パフォーマンスに関する考慮事項

メモリ使用量

GOBは検索のためにインデックス全体をRAMに読み込みます：

インデックスサイズ	RAM使用量
10 MB	~20 MB
50 MB	~100 MB
500 MB	~1 GB

検索速度

GOBは典型的なコードベースでは高速な検索を提供します：

コードベースサイズ	検索時間
Small (100 files)	<50ms
Medium (1K files)	<200ms
Large (10K files)	<1s

アップグレードを検討する時期

以下の場合にPostgreSQLまたはQdrantへの移行を検討してください：

• インデックスが1GBを超える
• 同時アクセスが必要
• インデックスをチーム間で共有したい
• コードベースが50K以上のファイルを持つ

.gitignore 設定

.grepai/ を .gitignore に追加します：

# GrepAI (machine-specific index)
.grepai/

理由： インデックスがマシン固有である理由：

• バイナリ埋め込みを含む
• 使用する埋め込みモデルに依存
• 各マシンが独自に生成すべき

インデックスの共有（非推奨）

インデックスファイルをコピーできますが、以下の理由から非推奨です：

1. 同じ埋め込みモデルを使用する必要がある
2. ファイルパスが絶対パス
3. マシンごとにコードバージョンが異なる可能性がある

より良いアプローチ： 各開発者が自分の grepai watch を実行します。

他のバックエンドへの移行

PostgreSQL へ

1. 設定を更新：

store:
  backend: postgres
  postgres:
    dsn: postgres://user:pass@localhost:5432/grepai

2. 再インデックス：

rm .grepai/index.gob
grepai watch

Qdrant へ

1. 設定を更新：

store:
  backend: qdrant
  qdrant:
    endpoint: localhost
    port: 6334

2. 再インデックス：

rm .grepai/index.gob
grepai watch

よくある問題

❌ 問題： インデックスファイルが大きすぎる ✅ 解決策： 無視パターンを追加するか、PostgreSQL/Qdrantに移行

❌ 問題： 大規模コードベースでの検索が遅い ✅ 解決策： より良いパフォーマンスのためQdrantに移行

❌ 問題： インデックスの破損 ✅ 解決策： 削除して再インデックス：

rm .grepai/index.gob .grepai/symbols.gob
grepai watch

❌ 問題： 「Index not found」エラー ✅ 解決策： grepai watch を実行してインデックスを作成

ベストプラクティス

1. 小～中規模プロジェクトに使用： 最大～10Kファイル
2. .gitignore に追加： インデックスをコミットしない
3. 大きな変更前にバックアップ： 実験前にindex.gobをコピー
4. モデル変更後に再インデックス： 埋め込みモデルを変更した場合
5. ファイルサイズを監視： インデックスが1GBを超えたら移行

出力形式

GOBストレージステータス：

✅ GOB Storage Configured

   Backend: GOB (local file)
   Index: .grepai/index.gob
   Size: 12.5 MB

   Contents:
   - Files: 245
   - Chunks: 1,234
   - Vectors: 1,234 × 768 dimensions

   Performance:
   - Search latency: <100ms
   - Memory usage: ~25 MB