重複する意図の関数の検出

概要

LLM生成のコードベースは意味的な重複が蓄積します。同じ目的を果たすが独立して実装された関数が発生します。古典的なコピペ検出器（jscpd）は構文的な重複は見つけますが、「同じ意図で異なる実装」は見落とします。

このスキルは2段階のアプローチを使用します。古典的な抽出の後、LLMを活用した意図のクラスタリング。

使用時期

• コードベースが複数の貢献者（人間またはLLM）によって有機的に成長している
• ユーティリティ関数が複数回再実装されていると疑われる
• 主要なリファクタリングの前に、統合の機会を特定する
• jscpd が実行済みで、構文的な重複はすでに処理されている

クイックリファレンス

フェーズ	ツール	モデル	出力
1. 抽出	scripts/extract-functions.sh	-	catalog.json
2. 分類	scripts/categorize-prompt.md	haiku	categorized.json
3. 分割	scripts/prepare-category-analysis.sh	-	categories/*.json
4. 検出	scripts/find-duplicates-prompt.md	opus	duplicates/*.json
5. レポート	scripts/generate-report.sh	-	report.md

プロセス

digraph duplicate_detection {
  rankdir=TB;
  node [shape=box];

  extract [label="1. Extract function catalog\n./scripts/extract-functions.sh"];
  categorize [label="2. Categorize by domain\n(haiku subagent)"];
  split [label="3. Split into categories\n./scripts/prepare-category-analysis.sh"];
  detect [label="4. Find duplicates per category\n(opus subagent per category)"];
  report [label="5. Generate report\n./scripts/generate-report.sh"];
  review [label="6. Human review & consolidate"];

  extract -> categorize -> split -> detect -> report -> review;
}

フェーズ1: 関数カタログの抽出

./scripts/extract-functions.sh src/ -o catalog.json

オプション:

• -o FILE: 出力ファイル（デフォルト: stdout）
• -c N: キャプチャするコンテキスト行数（デフォルト: 15）
• -t GLOB: ファイルタイプ（デフォルト: *.ts,*.tsx,*.js,*.jsx）
• --include-tests: テストファイルを含める（デフォルトでは除外）

テストファイル（*.test.*, *.spec.*, __tests__/**）は、テストユーティリティが統合の候補になりにくいため、デフォルトで除外されます。

フェーズ2: ドメイン別の分類

scripts/categorize-prompt.mdのプロンプトを使用してhaikuサブエージェントをディスパッチします。

プロンプトテンプレートの指定された場所にcatalog.jsonの内容を挿入します。出力をcategorized.jsonとして保存します。

フェーズ3: カテゴリに分割

./scripts/prepare-category-analysis.sh categorized.json ./categories

カテゴリごとに1つのJSONファイルを作成します。3つ以上の関数を持つカテゴリのみ分析する価値があります。

フェーズ4: 重複の検出（カテゴリごと）

./categories/内の各カテゴリファイルについて、scripts/find-duplicates-prompt.mdのプロンプトを使用してopusサブエージェントをディスパッチします。

各出力を./duplicates/{category}.jsonとして保存します。

フェーズ5: レポート生成

./scripts/generate-report.sh ./duplicates ./duplicates-report.md

信頼度別にグループ化された優先順位付きマークダウンレポートを生成します。

フェーズ6: 人間によるレビュー

レポートをレビューします。HIGH信頼度の重複については:

1. 推奨される後継関数がテストを持つことを確認
2. 呼び出し元を後継関数を使用するように更新
3. 重複を削除
4. テストを実行

高リスク重複ゾーン

これらの領域の抽出に最初に焦点を当てます—最速で重複が蓄積します:

ゾーン	一般的な重複
utils/, helpers/, lib/	再実装された汎用ユーティリティ
バリデーションコード	複数の方法で書かれた同じチェック
エラーフォーマッティング	エラーから文字列への変換
パス操作	パスの結合、解決、正規化
文字列フォーマッティング	ケース変換、切り詰め、エスケープ
日付フォーマッティング	繰り返し実装された同じフォーマット
APIレスポンス整形	異なるエンドポイントの類似変換

よくある間違い

抽出しすぎる: エクスポートされた関数とパブリックメソッドに焦点を当てます。内部ヘルパーは複数ファイル間で重複する可能性は低いです。

分類ステップをスキップする: カタログ全体で直接重複検出に進むとノイズが多くなります。カテゴリは比較に焦点を当てます。

重複検出にhaikusを使用する: Haikuは分類にはコスト効率的ですが、微妙な意味的重複を見落とします。実際の重複分析にはOpusを使用します。

テストなしで統合する: 重複を削除する前に、後継関数が削除される関数のすべてのユースケースをカバーするテストを持つことを確認します。