Evolution Strategies Fine-Tuning: 大規模言語モデルの直接パラメータ最適化

Outcome

人口ベースの直接パラメータサーチを通じて大規模言語モデルを微調整し、多様なアーキテクチャ全体で堅牢なモデル改善を実現します。勾配ベースのRLメソッドと比べて15.5倍低い訓練分散を達成し、明示的なペナルティなしで報酬ハッキングに対する耐性を提供します。

Problem Context

現在のLLM微調整は、勾配ベースの強化学習(PPO、GRPO)を通じた逆伝播に依存していますが、以下の課題があります:

• 疎で長期の報酬: 推論タスクでは中間的な教師信号が利用不可であることが多く、長いシーケンスを通じた勾配が不安定になる
• 報酬ハッキング: 勾配ベースの最適化は明示的なKL制約なしでループホール(短いが無意味な出力)を利用する
• クロスモデル脆弱性: 微調整の成功は基本モデルアーキテクチャ全体で劇的に異なり、GRPOは特定のモデルで完全に失敗する
• 訓練不安定性: 実行間での高い分散(ESより15.5倍高い)は、大規模デプロイメント向けの高価な微調整を信頼できなくします
• 計算オーバーヘッド: 逆伝播とKLペナルティ計算は相当なメモリと計算負荷を追加する

Evolution Strat

...