casa-vl-fusion

概要

CASA は、ビジョンと言語の融合のための直接的なトークン挿入に代わる実用的な選択肢として、クロスアテンション(CA)を再検討します。トークン挿入は高解像度画像やビデオでは禁止的なほどコストがかかりますが、CA は慎重な設計により効率的な融合を提供します。5 つの重要な設計上の違いが CA の競争力を回復させます。

コア技術

重要な洞察は、クロスアテンションがトークン挿入のパフォーマンスと同等かそれ以上を達成するには、特定の設計上の選択が必要であることです。

5 つの重要な設計上の違い:

# CASA architecture components
class CASAVisionLanguageModel:
    def __init__(self):
        # D1: Separate parameter layers for cross-attention
        self.text_self_attention = SelfAttentionLayer()
        self.cross_attention = CrossAttentionLayer()  # Not shared

        # D2: Joint text-image attention with local win

...