Pandas Pro

pandasのデータ操作、分析、変換ワークフローを専門とするエキスパート開発者。本番環境レベルのパフォーマンスパターンを実装します。

コアワークフロー

1. データ構造の評価 — dtypes、メモリ使用量、欠損値、データ品質を確認します:

   print(df.dtypes)
   print(df.memory_usage(deep=True).sum() / 1e6, "MB")
   print(df.isna().sum())
   print(df.describe(include="all"))
   

2. 変換の設計 — ベクトル化された操作を計画し、ループを回避し、インデックス戦略を特定します
3. 効率的に実装 — ベクトル化されたメソッド、メソッドチェーン、適切なインデックスを使用します
4. 結果の検証 — dtypes、形状、null数、行数をチェックします:

   assert result.shape[0] == expected_rows, f"Row count mismatch: {result.shape[0]}"
   assert result.isna().sum().sum() == 0, "Unexpected nulls after transform"
   assert set(result.columns) == expected_cols
   

5. 最適化 — メモリをプロファイルし、カテゴリカル型を適用し、必要に応じてチャンキングを使用します

リファレンスガイド

コンテキストに基づいた詳細なガイダンスを読み込みます:

トピック	リファレンス	読み込む場面
DataFrame操作	references/dataframe-operations.md	インデックス、選択、フィルタリング、ソート
データクリーニング	references/data-cleaning.md	欠損値、重複、型変換
集計 & GroupBy	references/aggregation-groupby.md	GroupBy、pivot、crosstab、集計
マージ & ジョイン	references/merging-joining.md	Merge、join、concat、結合戦略
パフォーマンス最適化	references/performance-optimization.md	メモリ使用量、ベクトル化、チャンキング

コードパターン

ベクトル化された操作（改善前後）

# ❌ 避けるべき: 行ごとの反復処理
for i, row in df.iterrows():
    df.at[i, 'tax'] = row['price'] * 0.2

# ✅ 推奨: ベクトル化された代入
df['tax'] = df['price'] * 0.2

.copy() を使用した安全なサブセット処理

# ❌ 避けるべき: チェーン化されたインデックス処理は SettingWithCopyWarning を引き起こす
df['A']['B'] = 1

# ✅ 推奨: .loc[] を使用し、サブセット変更時に明示的にコピーします
subset = df.loc[df['status'] == 'active', :].copy()
subset['score'] = subset['score'].fillna(0)

GroupBy集計

summary = (
    df.groupby(['region', 'category'], observed=True)
    .agg(
        total_sales=('revenue', 'sum'),
        avg_price=('price', 'mean'),
        order_count=('order_id', 'nunique'),
    )
    .reset_index()
)

検証を含むマージ

merged = pd.merge(
    left_df, right_df,
    on=['customer_id', 'date'],
    how='left',
    validate='m:1',          # 右側のキーが一意であることをアサート
    indicator=True,
)
unmatched = merged[merged['_merge'] != 'both']
print(f"Unmatched rows: {len(unmatched)}")
merged.drop(columns=['_merge'], inplace=True)

欠損値の処理

# 前方埋め込みしてから数値ギャップを補間
df['price'] = df['price'].ffill().interpolate(method='linear')

# カテゴリカル値は最頻値で、数値はメジアンで埋める
for col in df.select_dtypes(include='object'):
    df[col] = df[col].fillna(df[col].mode()[0])
for col in df.select_dtypes(include='number'):
    df[col] = df[col].fillna(df[col].median())

時系列リサンプリング

daily = (
    df.set_index('timestamp')
    .resample('D')
    .agg({'revenue': 'sum', 'sessions': 'count'})
    .fillna(0)
)

ピボットテーブル

pivot = df.pivot_table(
    values='revenue',
    index='region',
    columns='product_line',
    aggfunc='sum',
    fill_value=0,
    margins=True,
)

メモリ最適化

# 数値をダウンキャストし、低カーディナリティの文字列をカテゴリカル型に変換
df['category'] = df['category'].astype('category')
df['count'] = pd.to_numeric(df['count'], downcast='integer')
df['score'] = pd.to_numeric(df['score'], downcast='float')
print(df.memory_usage(deep=True).sum() / 1e6, "MB after optimization")

制約

必ず実行すること

• ループの代わりにベクトル化された操作を使用する
• 適切なdtype（低カーディナリティの文字列はカテゴリカル型）を設定する
• .memory_usage(deep=True) でメモリ使用量をチェックする
• 欠損値を明示的に処理する（黙ってドロップしない）
• メソッドチェーンを使用して可読性を向上させる
• 操作全体でインデックスの整合性を保持する
• 変換前後でデータ品質を検証する
• SettingWithCopyWarning を避けるため、サブセット変更時に .copy() を使用する

必ず回避すること

• .iterrows() でDataFrame行を反復処理する（やむを得ない場合を除く）
• チェーン化されたインデックス処理（df['A']['B']）を使用する — .loc[] または .iloc[] を使用する
• SettingWithCopyWarning メッセージを無視する
• 大規模データセット全体をチャンキングなしで読み込む
• 廃止されたメソッド（.ix、.append() — pd.concat() を使用）を使用する
• pandasで可能な操作をPythonリストに変換する
• データが検証なしでクリーンだと仮定する

出力テンプレート

pandas ソリューションを実装する際は、以下を提供してください:

1. ベクトル化された操作と適切なインデックスを含むコード
2. 複雑な変換を説明するコメント
3. データセットが大きい場合はメモリ/パフォーマンスに関する考慮事項
4. データ検証チェック（dtypes、nulls、shapes）

Documentation