データ鮮度チェック

データが使用に十分なほど最新かどうかをすばやく判定します。

鮮度チェックプロセス

チェック対象の各テーブルについて:

1. タイムスタンプ列を見つける

データがいつロードまたは更新されたかを示す列を探します:

• _loaded_at, _updated_at, _created_at (一般的な ETL パターン)
• updated_at, created_at, modified_at (アプリケーションタイムスタンプ)
• load_date, etl_timestamp, ingestion_time
• date, event_date, transaction_date (ビジネス日付)

列名を確認する必要がある場合は、INFORMATION_SCHEMA.COLUMNS をクエリします。

2. 最後の更新時刻をクエリする

SELECT
    MAX(<timestamp_column>) as last_update,
    CURRENT_TIMESTAMP() as current_time,
    TIMESTAMPDIFF('hour', MAX(<timestamp_column>), CURRENT_TIMESTAMP()) as hours_ago,
    TIMESTAMPDIFF('minute', MAX(<timestamp_column>), CURRENT_TIMESTAMP()) as minutes_ago
FROM <table>

3. 時間別の行数をチェック

定期的に更新されるテーブルの場合、最近のアクティビティをチェックします:

SELECT
    DATE_TRUNC('day', <timestamp_column>) as day,
    COUNT(*) as row_count
FROM <table>
WHERE <timestamp_column> >= DATEADD('day', -7, CURRENT_DATE())
GROUP BY 1
ORDER BY 1 DESC

鮮度ステータス

このスケールを使用してステータスを報告します:

ステータス	経過時間	意味
Fresh	4 時間未満	データは最新
Stale	4～24 時間	古い可能性がある。期待通りかを確認
Very Stale	24 時間超	バッチジョブでない限り、問題の可能性が高い
Unknown	タイムスタンプなし	鮮度を判定できない

データが古い場合

ソースパイプラインについて Airflow をチェックします:

1. DAG を見つける: このテーブルにデータを入力する DAG は何か? af dags list を使用して、一致する名前を探します。

2. DAG ステータスをチェック:

   • DAG が一時停止中? af dags get <dag_id> を使用
   • 前回の実行に失敗? af dags stats を使用
   • 現在実行中のランはあるか?

3. 必要に応じて診断: DAG が失敗した場合、debugging-dags スキルを使用して調査します。

Astro の場合

Astro で実行している場合は、以下も可能です:

• Astro UI の DAG 履歴: デプロイメントの DAG 実行履歴を確認して、最近の実行とその結果をビジュアルタイムラインで表示
• SLA 監視向け Astro アラート: DAG が期待される完了ウィンドウを逃したときに通知を受け取るアラートを設定し、ユーザーが報告する前に古さをキャッチ

OSS Airflow の場合

• Airflow UI: DAGs ビューとタスクログを使用して、最後の成功した実行と SLA ミスを確認

出力形式

わかりやすくスキャン可能なレポートを提供します:

鮮度レポート
================

テーブル: database.schema.table_name
最後の更新: 2024-01-15 14:32:00 UTC
経過時間: 2 時間 15 分
ステータス: Fresh

テーブル: database.schema.other_table
最後の更新: 2024-01-14 03:00:00 UTC
経過時間: 37 時間
ステータス: Very Stale
ソース DAG: daily_etl_pipeline (失敗)
アクション: **debugging-dags** スキルで調査

クイックチェック

ユーザーが単純なはい/いいえの答えを望んでいる場合:

• 「X は最新か?」-> チェックして、ステータス + 1 行で応答
• 「朝 9 時のミーティングに X を使用できるか?」-> チェックしてコンテキスト付きではっきりしたはい/いいえで回答