ダミーデータセット生成

テスト用のリアルなダミーデータセットを生成します。カラム、制約条件、出力フォーマット (CSV、JSON、SQL、Python スクリプト) をカスタマイズできます。実行可能なスクリプトまたは直接使用できるデータファイルを作成します。

使用場面: テストデータの作成、サンプルデータセットの生成、開発用のリアルなモックデータの構築、テスト環境のデータ投入。

引数:

• $PRODUCT: 製品またはシステム名
• $DATASET_TYPE: データタイプ (例: 顧客フィードバック、トランザクション、ユーザープロフィール)
• $ROWS: 生成する行数 (デフォルト: 100)
• $COLUMNS: 含めるカラムまたはフィールド
• $FORMAT: 出力フォーマット (CSV、JSON、SQL、Python スクリプト)
• $CONSTRAINTS: 追加の制約条件またはビジネスルール

ステップバイステッププロセス

1. データセットタイプの特定 - データの領域を理解する
2. カラム仕様の定義 - 名前、データ型、値の範囲を決定する
3. 行数の決定 - 必要なサンプルレコード数を確認する
4. 出力フォーマットの選択 - CSV、JSON、SQL INSERT、Python スクリプトから選択
5. リアルなパターンの適用 - データが本物らしく有効に見えるようにする
6. ビジネス制約の追加 - ビジネスロジックと関連性を尊重する
7. データ生成またはスクリプト作成 - 実行可能な出力を作成する
8. 出力の検証 - データ品質と完全性を確認する

テンプレート: Python スクリプト出力

import csv
import json
from datetime import datetime, timedelta
import random

# Configuration
ROWS = $ROWS
FILENAME = "$DATASET_TYPE.csv"

# Column definitions with realistic value generators
columns = {
    "id": "auto-increment",
    "name": "first_last_name",
    "email": "email",
    "created_at": "timestamp",
    # Add more columns...
}

def generate_dataset():
    """Generate realistic dummy dataset"""
    data = []
    for i in range(1, ROWS + 1):
        record = {
            "id": f"U{i:06d}",
            # Generate values based on column definitions
        }
        data.append(record)
    return data

def save_as_csv(data, filename):
    """Save dataset as CSV"""
    with open(filename, 'w', newline='') as f:
        writer = csv.DictWriter(f, fieldnames=data[0].keys())
        writer.writeheader()
        writer.writerows(data)

if __name__ == "__main__":
    dataset = generate_dataset()
    save_as_csv(dataset, FILENAME)
    print(f"Generated {len(dataset)} records in {FILENAME}")

データセット仕様の例

データセットタイプ: 顧客フィードバック

カラム:

• feedback_id (自動採番、U001、U002...)
• customer_name (現実的な名前)
• email (有効なメールアドレス形式)
• feedback_date (過去90日間の日付)
• rating (1～5つ星)
• category (Bug、Feature Request、Complaint、Praise)
• text (現実的なフィードバック)
• product (電子機器、衣類、ホーム)

制約条件:

• 評価の偏り: 40% が 5つ星、30% が 4つ星、20% が 3つ星、10% が 1～2つ星
• Bug カテゴリは評価 1～3 のみ
• Feature Request は評価 3～5 のみ
• メールドメインはリアル (gmail、yahoo、company.com)

出力成果物

• 実行可能な Python スクリプトまたは直接使用可能なデータファイル
• 適切なヘッダーとフォーマットを備えた CSV ファイル
• 有効な構造と型を備えた JSON ファイル
• データベース投入用の SQL INSERT ステートメント
• データ検証と制約条件の遵守
• 現実的でビジネスに適した値
• データ生成ロジックのドキュメント
• データセットの使用方法に関するクイックスタート指示

出力フォーマット

CSV: 平坦な表形式、スプレッドシートやデータベースへのインポートが容易

JSON: ネストされた構造、API と NoSQL データベースに最適

SQL: INSERT ステートメント、リレーショナルデータベースで直接実行可能

Python スクリプト: カスタムまたは大規模データセット用の実行可能なジェネレータ