flow-map-trajectory-tilting

概要

Test-Time Scaling of Diffusions は Flow Map Trajectory Tilting (FMTT) を導入しており、フローマップを「先読み」演算子として活用することで、原理に基づいた報酬ガイダンス生成を実現します。ヒューリスティックなノイズ除去器の近似を用いる代わりに、FMTT はフローマップを使用して、生成プロセス中のあらゆるポイントで軌跡がどこに到達するかを正確に予測し、ノイズ除去全体を通じて意味のある報酬勾配を実現します。

コア技術

予測器としてのフローマップ: フローマップ φ_t は、任意のタイムステップ t における最終出力を予測します。勾配をヒューリスティックに近似する代わりに、FMTT はフローマップを使用して「この報酬の方向に一歩進めば、この軌跡はどこに到達するのか？」という計算を行います。これにより、ノイズ除去全体を通じて正確な報酬信号が実現されます。

軌跡重要度重み付け: 報酬ガイダンス用の重要度重みは、フローマップ軌跡に沿った報酬の積分に帰着します (命題 2.2)。この原理に基づいた重み付けにより、初期段階の軌跡決定が、後段の洗練に対して適切にペナルティを受けます。

報酬勾配計算: フローマップ予測を通じてバックプロパゲーションを行い、dℒ/dz_t を計算します。勾配は、報酬関数の下で予測された最終出力を改善する潜在空間内の方向を示します。

実装

フローマップのトレーニング: 任意の中間状態から最終出力を予測するフローマッチングモデルをトレーニングするか、事前トレーニング済みのモデルをロードします。これはすべての下流の報酬ガイダンス用の先読み演算子として機能します。

報酬関数の統合: 生成された画像上で報酬 r(x) を定義します。推論中のステップ t において、gradient = ∇_{z_t} r(φ_t(z_t)) を使用して軌跡の更新をガイドします。

重要度重みの計算: weight_t = ステップ t から最終ステップまでの軌跡に沿った報酬の積分を計算します。最終報酬に大きな影響を与える決定を含むステップは、より高い重みを付与されます。

多段階統合: 重み付けされた勾配を使用して軌跡を更新します: z_{t-1} = z_t - α * weight_t * gradient、ここで α は報酬強度を制御する温度パラメータです。

使用場合

• 拡散生成に対するユーザー選好または品質報酬を適用する場合
• ヒューリスティック近似がアーティファクトを導入するガイダンスタスク
• 生成全体を通じて安定した意味のある報酬勾配が必要なシナリオ
• 中間軌跡の決定が重要な品質-多様性トレードオフ

使用しない場合

• 無条件またはシンプルなクラシファイアベースのガイダンスで十分なタスク
• フローマップにアクセスするか、トレーニングする能力がないシナリオ
• 報酬計算が拡散ステップよりも遅いアプリケーション
• フローマップ近似が不正確またはズレているモデル

主要参考文献

• 生成モデルにおけるフローマッチングと最適輸送
• 拡散における軌跡予測と先読み演算子
• 報酬ガイダンス生成と選好学習