データ バージョン管理 (DVC)

このスキルを使用する場合

このスキルは以下が必要な場合に使用します：

• Git のようなセマンティクスで大規模なデータセットをコードと一緒にバージョン管理する
• 再現可能なデータ処理パイプラインを定義し実行する
• ML実験のパラメータ、メトリクス、成果物を追跡する
• リモートストレージ（S3、GCS、SSH、ローカル）で大規模なデータファイルを共有およびキャッシュする
• 実験実行を比較し最適なモデルを特定する
• 厳密な再現性でデータ集約的な研究に協力する
• モデル訓練と評価のためのCI/CDパイプラインを構築する

トリガーキーワード：DVC、データバージョン管理、dvc.yaml、dvc.lock、データパイプライン、実験追跡、ML再現性、モデルバージョン管理、データセットバージョン管理、リモートストレージ、dvc run、dvc repro、dvc metrics、dvc plots、MLflow、wandb、成果物追跡、Git-DVC統合、データレジストリ。

背景と主要コンセプト

DVC アーキテクチャ

DVC はデータファイルを追跡し、MD5 ハッシュを Git にコミットされた .dvc ファイルに保存しながら、実際のデータは DVC キャッシュ（ローカルまたはリモート）に保存

...