Learning Visual Priors Before Seeing: Optimized VLM Pretraining

本研究は、ビジョン言語モデルがテキストのみの事前学習中に視覚的理解をどのように発展させるかを分解し、知覚と推論のコンポーネントが異なるデータソースから生じることを特定しています。事前学習の混合比を適切に最適化することで、実務者は視覚的な微調整データを削減しながら、競争力のあるマルチモーダル性能を達成できます。

コアアーキテクチャ

• 知覚コンポーネント: 多様なコーパス(Webテキスト、書籍、科学論文)から出現
• 推論コンポーネント: 推論重視のデータ(コード、数学)でスケーリング
• 混合比の最適化: 60%の推論+15%の視覚的多様コンテンツが均衡の取れたトレードオフを実現
• 制御された実験: コンポーネント起源を特定する100以上の体系的な実験

実装ステップ

コンポーネント分析に基づいて事前学習データの混合比を設計します:

# VLM事前学習用の最適化されたデータ混合の構築
from vlm_mixture import DataMixture, PerceptionReasoningOptimizer

# コンポーネント対応のデータソースを定義
data_config = {
    "reasoning_content": {
        "code": 0.30,           # Python, JavaScript, SQL
        "mathematics": 0.20,    # Proofs, derivations, problem-solving
        "scientific": 0.10      # Academic papers with logical flow
    },
    "perception_content": {
        "web_text": 0.15,       # Diverse descriptions, narratives
        "books": 0.10,          # Rich contextual language
        "structured": 0.15      # Tables, lists, captions (visual context)
    }
}

mixture = DataMixture(
    config=data_config,
    total_tokens=1_000_000_000,  # 1T tokens
    adapter_architecture="vision_encoder"
)

モデル規模全体で混合比の品質を検証します:

# 一貫したアーキテクチャで複数のモデルサイズ(340M-13B)でテスト
from vlm_mixture import MixtureValidator

validator = MixtureValidator(
    model_scales=[340e6, 1.3e9, 7e9, 13e9],
    vision_encoder="standard",  # fixed vision backbone
    evaluation_tasks=[
        "image_captioning",
        "vqa",
        "scene_understanding",
        "reasoning"
    ]
)

results = validator.evaluate(mixture)

実務的なガイダンス

このアプローチを使用する場合:

• ビジョン言語モデルをゼロから構築する場合
• ターゲット機能のバランス(知覚対推論)のためにデータ混合を最適化する場合
• リソース制約のある環境で効率的な事前学習が重要な場合
• 新しいビジョンエンコーダーまたはモダリティに適応させる場合

このアプローチを使用しない場合:

• 既存VLMの微調整(代わりに教師ありの適応に焦点を当てる)
• 視覚的先見知識が不要な純粋なテキストベースのモデル
• ラベル付きマルチモーダルデータが豊富なドメイン(教師ありの微調整が優れている)

ハイパーパラメータの考慮事項:

• 推論比率(30-40%): コード集約的なアプリケーションでは増加させる。知覚重視のタスクでは減少させる
• 視覚的多様比率(15-25%): より高い値はクロスドメイン汎化を向上させる。より低い値はドメイン内性能を強化する
• アダプターアーキテクチャ: 標準的なビジョンエンコーダーはうまく機能する。ドメイン転送のためにタスク固有のエンコーダーに対してテストする
• トークン予算: 1Tトークンが最適と示されている。効率的なプロトタイピングのために100Bまでスケールダウンする

主要な発見

分離可能なコンポーネント:

• 知覚: 多様なコーパス全体に分散。単一のソースが支配的ではない
• 推論: コードと数学に密接に結合。タスク間で転移可能
• 転移特性: 推論は信頼性を持って転移。知覚はより広い露出が必要

最適混合(mix6):

• 8つの評価メトリック全体で33.3%の総合ランキング
• 知覚と推論タスクのバランスの取れた性能
• 60%の推論 + 15%の視覚コンテンツ + 25%の標準テキスト

アーキテクチャノート

プラトン的表現仮説は、統一された世界モデルがモダリティ全体で出現することを示唆しています。本研究はこの発見を実証的に支持し、知覚と推論が明示的な教師なしで事前学習中に自然に分離することを示しています。

参考文献

本研究は言語モデルのデータスケーリングとビジョン言語事前学習の原則の理解に基づいています。