casa-vl-fusion

概要

CASA は、ビジョンと言語の融合のための直接的なトークン挿入に代わる実用的な選択肢として、クロスアテンション(CA)を再検討します。トークン挿入は高解像度画像やビデオでは禁止的なほどコストがかかりますが、CA は慎重な設計により効率的な融合を提供します。5 つの重要な設計上の違いが CA の競争力を回復させます。

コア技術

重要な洞察は、クロスアテンションがトークン挿入のパフォーマンスと同等かそれ以上を達成するには、特定の設計上の選択が必要であることです。

5 つの重要な設計上の違い:

# CASA architecture components
class CASAVisionLanguageModel:
    def __init__(self):
        # D1: Separate parameter layers for cross-attention
        self.text_self_attention = SelfAttentionLayer()
        self.cross_attention = CrossAttentionLayer()  # Not shared

        # D2: Joint text-image attention with local windows
        self.local_window_size = 128

        # D3: Reduced self-attention layers for CA layers
        self.num_self_attn = 16
        self.num_cross_attn = 8  # Replaces some self-attn

        # D4: Optional image token FFN updates
        self.image_ffn = FFNLayer()

        # D5: Visual history via gist tokens
        self.gist_tokens = None

    def forward(self, text_tokens, image_features, prev_gist=None):
        """
        Process text and image with CASA design principles.
        """
        # Maintain text self-attention for robustness
        text_hidden = self.text_self_attention(text_tokens)

        # Joint attention: text attends to image + preceding text
        # within local windows for efficiency
        attended = self.cross_attention(
            query=text_hidden,
            key_value_image=image_features,
            key_value_text=text_hidden,
            window_size=self.local_window_size
        )

        # Optional: update image embeddings via FFN
        image_features = self.image_ffn(image_features)

        # D5: Compress current image into gist tokens for next round
        gist_tokens = self.compute_gist(image_features)

        return attended, gist_tokens

視覚履歴のためのギストトークン: メモリの増加なしに過去の画像の圧縮された表現を保持します。

def compute_gist_tokens(image_features, num_gist=8):
    """
    Compress image features into small number of gist tokens
    representing essential visual information for future frames.
    """
    # Average pooling over spatial dimensions
    spatial_mean = torch.mean(image_features, dim=(1, 2))  # [batch, hidden]

    # Project to gist token dimension
    gist = apply_projection(spatial_mean, output_dim=hidden_dim)

    # Take top-k tokens by importance score
    importance_scores = compute_importance(gist)
    gist_tokens = select_top_k(gist, importance_scores, k=num_gist)

    return gist_tokens

一定のメモリを備えたストリーミング効率: トークン挿入とは異なり、KV キャッシュは画像解像度ではなくギストトークンでスケーリングします。

def streaming_forward(model, text_query, new_frame, history_gist):
    """
    Process new frame without storing all prior image tokens.
    Memory is O(gist_tokens), not O(image_resolution).
    """
    # Current image gist
    gist_current = model.compute_gist(new_frame)

    # Combine historical gists (constant size)
    gist_memory = history_gist + [gist_current]

    # Cross-attention over gists (efficient)
    output = model.cross_attention(
        query=text_query,
        key_value=gist_memory
    )

    # Memory complexity: O(num_frames * gist_tokens)
    # vs O(num_frames * image_resolution²) for token insertion

    return output, gist_memory

この技術を使用するべき場合

以下の場合に CASA を使用してください:

• 高解像度画像またはビデオストリームを処理している
• メモリバンド幅が制約されている
• ストリーミングを伴うマルチ画像会話
• トークン挿入のメモリコストが禁止的である

この技術を使用してはいけない場合

以下の場合はこのアプローチを避けてください:

• 単一の低解像度画像のタスク(トークン挿入で十分)
• ピクセルレベルの微細な理解が必要(空間的詳細を失う)
• 画像/フレームが非常に少ない(トークン挿入のメモリは管理可能)

実装上の注釈

フレームワークには以下が必要です:

• 別のクロスアテンションとセルフアテンションレイヤーの実装
• 結合されたテキスト画像アテンションのためのローカルウィンドウイングメカニズム
• ギストトークンの計算と圧縮
• ビデオ用のストリーミング推論パイプライン

主要パフォーマンス

• ストリーミングビデオのほぼ一定のメモリコスト
• トークン挿入と同等またはそれ以上のパフォーマンス
• 効率的なマルチ画像会話サポート
• 様々な VLM ベンチマークでの強力なベースライン

参考資料

• トークン挿入への効率的な代替としてのクロスアテンション
• 結合されたテキスト画像アテンションのためのローカルウィンドウイング
• 視覚メモリ圧縮のためのギストトークン
• ストリーミング対応のアーキテクチャ設計