Excel データアナライザー

概要

Excel ファイルを分析して、データ構造、品質問題、形式の不整合、統計パターンを識別します。データクリーニングと改善のための実行可能なインサイトを含む包括的なマークダウンレポートを生成します。

クイックスタート

1つのコマンドで任意の Excel ファイルを分析します:

cd /path/to/skill/scripts
bun install  # 初回のみ
bun run analyze_excel.ts /path/to/data.xlsx

出力: 完全な分析を含むマークダウンレポート (data_analysis.md)

主な機能

1. データ構造検出

以下を自動的に識別します:

• 列名とデータ型 (整数、浮動小数点、文字列、日付、メール、ブール値、混合)
• シートごとの行数と列数
• 個別値のカウント
• クイック確認用のサンプル値

2. データ品質分析

品質問題を検出します:

• 欠損値: 列ごとの null の割合とカウント
• 高欠損列: 50% を超える欠損データを持つ列にフラグを付与
• 混合データ型: 型が不整合な列を識別
• 形式問題: 先頭/末尾の空白、大文字小文字の不整合、数値文字列を検出

3. 統計サマリー

数値列の統計を生成:

• 最小値、最大値、平均値、中央値、標準偏差
• 外れ値検出: 3 標準偏差を超える値
• 値の分布: 最頻出の上位 10 値とカウント

テキスト列の場合:

• 最小/最大/平均長
• 値の頻度分布

4. 品質スコアリング

以下に基づいて品質スコア (0-100) を割り当てます:

• ヘッダーの欠損: -10 ポイント
• 高欠損率の列: -15 ポイント
• 形式の不整合: -10 ポイント
• 重複する列名: -15 ポイント

5. マルチシートサポート

ワークブック内のすべてのシートを分析します:

• シートごとの品質スコア
• シート単位の列分析
• ワークブック全体の品質スコア

使用方法

基本分析

bun run analyze_excel.ts data.xlsx

生成: data_analysis.md

カスタム出力パス

bun run analyze_excel.ts data.xlsx --output reports/audit.md

初回セットアップ

分析スクリプトを実行する前に:

cd /path/to/excel-data-analyzer/scripts
bun install

これにより必要な依存関係 (xlsx ライブラリ) がインストールされます。

ワークフロー

ユーザーが分析用に Excel ファイルを提供する場合:

1. 分析スクリプトを実行 して提供されたファイルを処理
2. 生成されたレポートを読む ことで調査結果を把握
3. 主要な問題をサマリー してユーザーに提示:
   • 全体的な品質スコア
   • 最も重大な問題 (欠損値、形式の問題)
   • 注意が必要な列
4. 分析に基づいた推奨事項を提供:
   • 調査すべき列
   • 推奨されるクリーニング戦略
   • 修正の優先度 (高/中/低)

レポート構造

生成されるマークダウンレポートに含まれます:

エグゼクティブサマリー

• ファイルメタデータ (名前、サイズ、シート)
• 全体的な品質スコア
• 高レベルの調査結果

シート別分析

• 寸法 (行 × 列)
• 品質スコア
• 検出された問題の一覧
• 列分析テーブル (型、個別値、欠損 %、問題)

詳細列情報

各列について:

• データ型の分類
• 欠損値の統計
• サンプル値
• 形式問題 (存在する場合)
• 統計サマリー (数値列)
• 値の分布

一般的なデータの問題

高優先度の問題

混合データ型:

• 列に数値、文字列、日付が混在
• 適切な分析を阻止
• 例: 123、"abc"、2023-01-15

高欠損率 (50% 以上):

• 列に不十分なデータ
• 削除または補完を検討

重複する列名:

• 分析で曖昧性が生じる
• 名前変更が必要

中優先度の問題

数値文字列:

• テキストとして保存された数値: "123" の代わりに 123
• 計算を阻止

形式の不整合:

• 先頭/末尾の空白: " value "
• 大文字小文字の不整合: "john"、"JOHN"、"John"
• 混合日付形式: "2023-01-15"、"01/15/2023"

外れ値:

• 3 標準偏差を超える値
• エラーまたは特殊なケースを示す可能性
• 調査が必要

低優先度の問題

ヘッダーの欠損:

• 空の列名
• システムの名前を生成 (Column_1、Column_2)

テキスト長の変動:

• 文字列長の広い範囲
• データ入力の不整合を示す可能性

高度なパターン

データ品質パターンと検出方法の詳細については、以下を参照してください:

references/analysis-patterns.md - 以下を含む包括的なガイド:

• データ型の問題 (混合型、数値文字列、日付形式)
• 欠損データパターン (高欠損 %、スパースデータ、プレースホルダー)
• 形式の不整合 (空白、大文字小文字、区切り文字)
• 統計的異常 (外れ値、歪んだ分布)
• 構造的問題 (重複名、空行/列)
• ドメイン固有パターン (メール、電話番号、日付)
• エンコーディングの問題 (文字エンコーディング、Unicode)

珍しいパターンに遭遇する場合や、より深い分析戦略が必要な場合は、このリファレンスを参照してください。

出力の解釈

品質スコアの範囲

• 90-100: 優秀 - 最小限の問題
• 70-89: 良好 - 軽微な形式の問題
• 50-69: 普通 - 重大な品質上の懸念
• 50 未満: 不可 - 大きなデータの問題

修正の優先順位付け

1. 最初: 構造的な問題に対処 (重複列、欠損ヘッダー)
2. 次に: 高欠損値列を修正 (50% 以上)
3. その次: 混合データ型を解決
4. その後: 形式の不整合をクリーニング
5. 最後: 外れ値を調査

パフォーマンス

大規模ファイルに最適化:

• Bun ランタイム: 高速な JavaScript 実行
• ストリーミング対応: 大規模データセットのためのメモリ効率
• xlsx ライブラリ: 業界標準の Excel パース

典型的なパフォーマンス:

• 小規模ファイル (<1MB): 1 秒未満
• 中規模ファイル (1-100MB): 1-10 秒
• 大規模ファイル (>100MB): 10-60 秒

制限事項

• 分析レポートのみを生成 (データクリーニングは実行しません)
• テキストベースの分析 (ビジネスコンテキストは解釈しません)
• 統計手法は定量分析用の数値データを想定
• 外れ値検出は単純な 3-シグマ規則を使用 (堅牢性の高い手法ではありません)

リソース

scripts/

analyze_excel.ts - メイン分析スクリプト (Bun/TypeScript)

• xlsx ライブラリを使用した Excel ファイルのパース
• データ型と品質問題の検出
• 統計サマリーの生成
• マークダウンレポートの作成

package.json - Bun 依存関係

• xlsx: Excel ファイルパース

references/

analysis-patterns.md - データ品質パターンの包括的ガイド

• 詳細な検出方法
• 影響評価
• 各問題タイプの推奨事項

assets/

report-template.md - マークダウンレポートテンプレート構造

• 期待される出力形式を表示
• レポートセクション理解のためのリファレンス