構造化された経験の蓄積によるエージェント進化

デプロイされた言語モデルエージェントは通常静的です。一度トレーニングされると、実世界のインタラクションから改善されません。FLEXはグラディエントフリーの継続的学習を通じてこの問題を解決します。エージェントは成功、失敗およびそのコンテキストを記録する構造化された経験ライブラリを維持します。その後のインタラクションの際に、エージェントは関連する過去の経験を検索して反省し、リトレーニングなしにこれらの教訓をプロンプティングに組み込みます。

このアプローチは大幅な改善を実証しています。数学推論では23%の改善(AIME25)、化学合成では10%、タンパク質工学では14%——すべてデプロイ中の自己改善から得られたもので、追加のトレーニングではありません。

コアコンセプト

FLEXはデプロイされたエージェントの改善を、パラメータ最適化ではなく構造化された経験管理の問題として扱います。このシステムは3つのコンポーネントを維持します。

1. 経験ライブラリ: 過去のインタラクション(状態、アクション、結果、反省)の構造化レコード
2. 検索メカニズム: 現在の問題に対する関連する先例の探索
3. 自己反省: エージェントが成功/失敗を分析し、プロンプティングコンテキストとして教訓を抽出する

このアプローチ

...