OpenThoughts: 推論モデルのためのデータレシピ

コアコンセプト

OpenThoughtsは、最先端の推論性能を達成するために、生のモデル容量ではなくデータキュレーション戦略が極めて重要であることを実証しています。1,000件以上の制御された実験を通じて、研究者たちは次のことを確認しました：単一の高品質な教師モデルからの回答の多様性はソースの多様性を上回ること、品質ソースの選択は混合より優れていること、およびLLMベースのフィルタリングは従来の方法を上回ることです。

アーキテクチャ概要

• 質問ソーシング: 27個のコード、21個の数学、14個の科学ベンチマークソースを評価
• 混合戦略: パフォーマンス相関に基づいて、ドメインごとに上位1～2個のソースを選択
• 質問フィルタリング: LLMベースの難易度と応答長スコアリングを適用
• 重複排除: 16×の回答多重性サンプリングを伴う厳密な重複排除
• 回答フィルタリング: 逆説的に、すべての教師回答を保持することが選別的なフィルタリングより優れています
• 教師モデル選択: QwQ-32Bは、スタンドアロンスコアが低いにもかかわらず、最高の蒸留7Bパフォーマンスを生み出します

実装

ステップ1: ソース評価フレームワーク

...