flow-map-trajectory-tilting

概要

Test-Time Scaling of Diffusions は Flow Map Trajectory Tilting (FMTT) を導入しており、フローマップを「先読み」演算子として活用することで、原理に基づいた報酬ガイダンス生成を実現します。ヒューリスティックなノイズ除去器の近似を用いる代わりに、FMTT はフローマップを使用して、生成プロセス中のあらゆるポイントで軌跡がどこに到達するかを正確に予測し、ノイズ除去全体を通じて意味のある報酬勾配を実現します。

コア技術

予測器としてのフローマップ: フローマップ φ_t は、任意のタイムステップ t における最終出力を予測します。勾配をヒューリスティックに近似する代わりに、FMTT はフローマップを使用して「この報酬の方向に一歩進めば、この軌跡はどこに到達するのか？」という計算を行います。これにより、ノイズ除去全体を通じて正確な報酬信号が実現されます。

軌跡重要度重み付け: 報酬ガイダンス用の重要度重みは、フローマップ軌跡に沿った報酬の積分に帰着します (命題 2.2)。この原理に基づいた重み付けにより、初期段階の軌跡決定が、後段の洗練に対して適切にペナルティを受けます。

報酬勾配計算: フローマップ予測を通じてバックプロパゲーションを行い、dℒ/dz_t を計算します。勾

...