dagster-expert

Dagster のコア概念

簡潔な定義のみ（詳細な例はリファレンスファイルを参照）：

• Asset: パイプラインによって生成される永続的なオブジェクト（テーブル、ファイル、モデルなど）
• Component: 特定のドメインに関連する定義（アセット、スケジュール、センサー、ジョブなど）を生成する再利用可能な構成要素。

統合ワークフロー

ANY の外部ツールやサービスと統合する場合は、Integration libraries index を読んでください。このドキュメントには、どの統合ライブラリが存在するか、および公開されたライブラリが存在しないツール用のカスタム統合を作成する方法に関する情報が含まれています。

dg CLI

dg CLI は、Dagster と プログラム的にやりとりするための推奨方法です（定義の追加、実行の起動、プロジェクト構造の探索など）。これは dagster-dg-cli パッケージの一部として インストールされます。特定のタスクに関連する CLI コマンドが存在する場合は、常にそれを使用するよう試みてください。

既存のプロジェクト構造は、ユーザーの目標を達成するために厳密に必要な場合にのみ探索してください。多くの場合、既存の CLI ツールはプロジェクト構造を十分に理解しているため、既存ファイルのリストと読み取りは無駄で不要です。

ほとんどの dg コマンドが情報を返す場合、--json フラグを使用して機械可読形式で情報を取得できます。ユーザーに直接情報を表示する場合を除き、デフォルトの表形式出力より --json を優先すべきです。

UV 互換性

プロジェクトは通常、依存関係管理に uv を使用し、可能な限り dg コマンドで使用することが推奨されます：

uv run dg list defs
uv run dg launch --assets my_asset

重大: 回答前に必ずリファレンスファイルを読む

メモリからの回答や CLI コマンド、API、構文の推測は絶対にしないでください。回答する前に、以下のリファレンス インデックスを使用して関連するリファレンス ファイルを必ず読んでください。

すべての質問に対して、インデックスの説明を使用して関連するリファレンス ファイルを特定し、それらを読んでから、読んだ内容に基づいて回答してください。

リファレンス インデックス

<!-- BEGIN GENERATED INDEX -->

• Asset Selection Syntax — タグ、グループ、種類、上流、下流によるアセットのフィルタリング；Python での AssetSelection、UI 検索バー、または CLI
• Environment Variables — 異なる環境全体での環境変数の設定
• Asset Patterns — アセット定義、依存関係、メタデータ、パーティション、またはマルチアセット定義の定義
• Choosing an Automation Approach — スケジュール、センサー、宣言型自動化の間での決定
• Schedules — cron 式を使用した時間ベースの自動化
• Declarative Automation — AutomationCondition を使用したアセット中心の条件ベースの自動化
• Asset Sensors — アセット マテリアライゼーション イベントのトリガー
• Basic Sensors — ファイル監視またはカスタム ポーリングを使用したイベント駆動型自動化
• Run Status Sensors — 実行の成功、失敗、またはその他のステータス変更への対応
• dg check — プロジェクト設定または定義の検証
• create-dagster — ゼロから Dagster プロジェクトを作成
• dg dev — ローカル Dagster 開発インスタンスの起動
• dg launch — アセットのマテリアライゼーションまたはジョブの実行
• dg list components — スキャフォルディング用の利用可能なコンポーネント タイプの確認
• dg list defs — 登録されている定義のリストまたはフィルタリング
• Dagster Plus API — dg api、Dagster Plus リソース（アセット、実行、デプロイメント、コードロケーション、スケジュール、センサー、シークレット、問題など）のプログラム的なクエリまたは管理
• dg list — プロジェクト構造の探索（コンポーネントツリー、環境変数、ワークスペースプロジェクト）
• Dagster Plus CLI — dg plus、Dagster Plus 認証、設定、デプロイメント；ログイン、設定の設定、API トークンの作成、コードのデプロイ、環境変数の取得、dbt マニフェストの管理
• dg scaffold component — カスタム再利用可能なコンポーネント タイプの作成
• dg scaffold defs — プロジェクトへの新しい定義（アセット、スケジュール、センサー、コンポーネント）の追加
• dg utilities — dg utils、コンポーネント タイプの検査、統合の表示、ステートバック コンポーネント キャッシュの更新
• Creating Components — ゼロからカスタム コンポーネントを構築
• Designing Component Integrations — 外部サービスまたはツールをラップするコンポーネントの設計；カスタム統合
• Resolved Framework — Resolver、Model、または Resolvable を使用したカスタム YAML スキーマタイプの定義
• Subclassing Components — 既存のコンポーネントをサブクラス化して拡張；dagster 統合コンポーネントをカスタマイズ
• Template Variables — コンポーネント YAML で Jinja2 テンプレート変数を使用（env、dg、context、またはカスタムスコープ）
• Creating State-Backed Components — 外部ステートをフェッチしてキャッシュするコンポーネントの構築
• Using State-Backed Components — 本番環境、CI/CD、またはステートのリフレッシュでのステートバック コンポーネント管理
• Deployment Configuration Files — build.yaml、container_context.yaml、dagster_cloud.yaml；Dagster Plus デプロイメント設定；Docker レジストリ、コンテナコンテキスト、エージェント キューの設定；ハイブリッド デプロイメント ファイル
• Integration libraries index for 40+ tools and technologies (dbt, Fivetran, Snowflake, AWS, etc.). — 統合、外部ツール、dagster-*；dbt、fivetran、airbyte、snowflake、bigquery、sling、aws、gcp
• Migration Guides — センサーから宣言型自動化への移行、センサーから自動化条件への移行

<!-- END GENERATED INDEX -->