ConfiG: Confidence-Guided Data Augmentation for Knowledge Distillation

コアコンセプト

学習データに含まれるテスト時に存在しない疑似特徴がある場合、知識蒸留はこれらのバイアスを学生モデルに保存する可能性があります。ConfiGは教師と学生の不一致を最大化する拡張画像を生成することでこの問題に対処し、学生が学習した疑似相関を正確に対象とします。この拡散ベースのアプローチにより、学生はデータセットのバイアスを克服しながら知識転移を維持できます。

アーキテクチャの概要

• 問題: 知識蒸留はバイアスのあるデータセットからの疑似相関を転移し、未知のグループへの汎化を低下させます
• 解決策: 信頼度ガイド付き拡散は教師-学生の不一致を活用して対抗的な例を生成します
• メカニズム: 潜在変数を最適化して教師の信頼度を最大化しながら学生の信頼度を最小化し、疑似特徴を対象とします
• 理論的根拠: 命題1は信頼度ガイド付き拡張が分布的汎化ギャップを削減することを証明しています
• 相乗効果: モデル中心のバイアス軽減(TABなど)と連携し、データとモデルのアプローチが補完的であることを示します

実装

ステップ1: 共変量シフトと汎化分解を理解す

...