ダウンストリーム系統: インパクト分析

重大な質問に答えます：「これを変更したら何が壊れるか？」

変更を加える前に使用して、影響範囲を理解します。

インパクト分析

ステップ1：直接コンシューマーの特定

このターゲットから読み取るすべてを見つけます：

テーブルの場合：

1. DAGソースコードを検索：このテーブルからSELECTするDAGを探す

   • af dags list を使用して全DAGを取得
   • af dags source <dag_id> を使用してテーブル参照を検索
   • 以下を探す：FROM target_table, JOIN target_table

2. 依存ビューを確認：

   -- Snowflake
   SELECT * FROM information_schema.view_table_usage
   WHERE table_name = '<target_table>'
   
   -- または SHOW VIEWS で定義を検索
   

3. BIツール接続を確認：

   • ダッシュボードはしばしばテーブルを直接クエリする
   • テーブル命名の共通BIパターンを確認（rpt_, dashboard_）

Astro上での操作

Astro上で実行している場合、Astro UIのLineageタブはDAGとデータセット間の視覚的依存グラフを提供し、ダウンストリームインパクト分析をより迅速にします。特定のデータセットを消費するDAGとその現在のステータスを表示し、手動ソースコード検索の必要性を減らします。

DAGの場合：

1. DAGが生成するものを確認：af dags source <dag_id> を使用して出力テーブルを見つける
2. その後、それらのテーブルのコンシューマーを追跡（再帰的）

ステップ2：依存関係ツリーを構築

完全なダウンストリームインパクトをマッピングします：

SOURCE: fct.orders
    |
    +-- TABLE: agg.daily_sales --> Dashboard: Executive KPIs
    |       |
    |       +-- TABLE: rpt.monthly_summary --> Email: Monthly Report
    |
    +-- TABLE: ml.order_features --> Model: Demand Forecasting
    |
    +-- DIRECT: Looker Dashboard "Sales Overview"

ステップ3：重要度別に分類

Critical（本番を壊す）:

• 本番ダッシュボード
• 顧客向けアプリケーション
• 経営層への自動レポート
• 本番環境のMLモデル
• 規制/コンプライアンスレポート

High（著しい問題を引き起こす）:

• 内部運用ダッシュボード
• アナリストワークフロー
• データサイエンス実験
• ダウンストリームETLジョブ

Medium（不便）:

• アドホック分析テーブル
• 開発/ステージングコピー
• 履歴アーカイブ

Low（最小限の影響）:

• 非推奨テーブル
• 未使用データセット
• テストデータ

ステップ4：変更リスクを評価

提案される変更について、以下を評価します：

スキーマの変更（列の追加/削除/名前変更）:

• ダウンストリームクエリのどれが壊れるか？
• SELECT * パターンは新しい列を取得するか？
• どの変換が変更列を参照しているか？

データの変更（値、ボリューム、タイミング）:

• ダウンストリーム集計はまだ有効か？
• NULL処理の仮定が壊れるか？
• タイミング変更はSLAに影響するか？

削除/非推奨化:

• 完全な依存関係ツリーを最初に移行する必要がある
• すべてのステークホルダーへのコミュニケーション必要

ステップ5：ステークホルダーを見つける

ダウンストリーム資産の所有者を特定します：

1. DAG所有者：DAG定義の owners フィールドを確認
2. ダッシュボード所有者：通常、BIツールのメタデータに記載
3. チーム所有権：チーム命名パターンまたはドキュメントを探す

アウトプット：インパクトレポート

サマリー

"fct.orders を変更すると、X個のテーブル、Y個のDAG、Z個のダッシュボードに影響します"

インパクト図

                    +--> [agg.daily_sales] --> [Executive Dashboard]
                    |
[fct.orders] -------+--> [rpt.order_details] --> [Ops Team Email]
                    |
                    +--> [ml.features] --> [Demand Model]

詳細なインパクト

ダウンストリーム	タイプ	重要度	所有者	備考
agg.daily_sales	Table	Critical	data-eng	毎時更新
Executive Dashboard	Dashboard	Critical	analytics	CEO が毎日表示
ml.order_features	Table	High	ml-team	毎週再トレーニング

リスク評価

変更タイプ	リスクレベル	対策
列を追加	Low	アクション不要
列を名前変更	High	3つのDAG、2つのダッシュボードを更新
列を削除	Critical	完全な移行計画が必要
データ型を変更	Medium	ダウンストリーム集計をテスト

推奨アクション

変更を加える前に：

1. 所有者に通知：@data-eng, @analytics, @ml-team
2. ダウンストリームDAGを更新：transform_daily_sales
3. ダッシュボードをテスト：Executive KPIs
4. 低インパクト時間帯に変更をスケジュール

関連スキル

• データがどこから来るかを追跡：tracing-upstream-lineage スキル
• ダウンストリーム鮮度を確認：checking-freshness スキル
• 壊れたDAGをデバッグ：debugging-dags スキル
• 手動系統アノテーションを追加：annotating-task-lineage スキル
• カスタム系統エクストラクタを構築：creating-openlineage-extractors スキル