データ品質フレームワーク

Great Expectations、dbtテスト、およびデータコントラクトを使用してデータ品質を実装するための本番環境向けパターンです。信頼性の高いデータパイプラインを実現します。

このスキルを使用する場合

• パイプラインにデータ品質チェックを実装する
• Great Expectationsバリデーションをセットアップする
• 包括的なdbtテストスイートを構築する
• チーム間のデータコントラクトを確立する
• データ品質メトリクスを監視する
• CI/CDでデータバリデーションを自動化する

このスキルを使用しない場合

• データソースが未定義またはアクセス不可である
• バリデーションルールやスキーマを変更できない
• タスクがデータ品質またはコントラクトに関連していない

手順

• 重要なデータセットと品質ディメンションを特定する
• エクスペクテーション/テストとコントラクトルールを定義する
• CI/CDでバリデーションを自動化し、チェックをスケジュール化する
• アラート設定、責任者、および修復ステップを設定する
• 詳細なパターンが必要な場合は、resources/implementation-playbook.mdを参照する

セーフティ

• フォールバック計画がない場合、重要なパイプライ

...