signround-v2-low-bit-quant

概要

SignRoundV2は、極めて低ビット数の学習後量子化のための2つの主要な技術革新を提示しています。主な貢献はDeltaLossであり、信頼性の高いレイヤー単位のビット割り当てのための、ローカルなパラメータ歪みとグローバルなタスク損失への影響の両方をキャプチャする感度メトリクスです。次の貢献は初期化のための軽量な事前チューニングサーチであり、最小限の時間で極めて低ビット数(2～5ビット)での安定で正確な量子化を実現します。

コア技術

DeltaLoss感度メトリクス: 以下を組み合わせてレイヤーの重要度を測定します:

1. 勾配情報(重み変化に対する損失の感度の高さ)
2. 量子化誘発偏差(量子化がパラメータをどの程度歪ませるか)

DeltaLoss_layer = ||∇_W L|| · ||W - Q(W)||

ローカルおよびグローバルな影響をキャプチャします。感度の高いレイヤーはより多くのビットを取得します。

事前チューニングスケールサーチ: メイン量子化の前に、レイヤーごとに最適な量子化スケール(ステップサイズ)の軽量なサーチを実行します:

scale_opt = argmin_scale MSE(Q_scale(W), W)

適応的ビット幅割り当て: DeltaLossを使用して予算からビットを割り当てます:

bits_layer = base_bits + extra_bits[DeltaLoss_rank(layer)]

重要なレイヤーは追加ビットを取得し、重要度の低いレイヤーはより少ないビットを取得します。

実装

DeltaLoss計算:

def compute_deltaloss_sensitivity(weight, gradient, quant_weight):
    # 勾配の大きさ(ローカル感度)
    gradient_norm = torch.norm(gradient.flatten())

    # 量子化偏差(歪みの大きさ)
    deviation = torch.norm(weight - quant_weight)

    # 結合された感度
    deltaloss = gradient_norm * deviation
    return deltaloss

事前チューニングスケールサーチ:

def search_optimal_scale(weight, bits=4):
    scales = torch.linspace(0.001, 1.0, 100)
    best_scale = None
    best_mse = float('inf')

    for scale in scales:
        # このスケールで量子化
        quant_weight = quantize_symmetric(weight / scale, bits) * scale
        mse = torch.mean((weight - quant_weight) ** 2)

        if mse < best_mse:
            best_mse = mse
            best_scale = scale

    return best_scale

適応的ビット割り当て:

def allocate_bits_adaptive(layers, total_bits_budget, deltaloss_scores):
    num_layers = len(layers)
    base_bits = total_bits_budget // num_layers

    # DeltaLossスコアを正規化
    dl_normalized = deltaloss_scores / deltaloss_scores.sum()

    bit_allocation = {}
    for layer_idx, layer in enumerate(layers):
        # 重要度に比例してビットを割り当て
        extra_bits = int(total_bits_budget * dl_normalized[layer_idx])
        bit_allocation[layer] = base_bits + extra_bits

    return bit_allocation

割り当てられたビットでの量子化:

def quantize_with_allocation(model, bit_allocation):
    quantized_model = {}

    for layer, bits in bit_allocation.items():
        weight = model[layer]

        # このビット幅に対して最適なスケールをサーチ
        optimal_scale = search_optimal_scale(weight, bits)

        # 量子化
        normalized_weight = weight / optimal_scale
        quant_weight = quantize_symmetric(normalized_weight, bits) * optimal_scale

        quantized_model[layer] = quant_weight

    return quantized_model

使用する場合

• モバイル/エッジデバイス向けの極端なモデル圧縮(2～5ビット)
• 量子化が数日ではなく数時間で完了する必要があるシナリオ
• レイヤー全体で信頼性の高いビット幅割り当てが必要なアプリケーション
• QATよりも学習後量子化が好ましいタスク

使用しない場合

• QAT学習のための豊富なGPUが利用可能なシナリオ
• モデルごとのカスタムチューニングが必要なアプリケーション
• 8ビット量子化で十分なタスク
• サーチのオーバーヘッドが重要なリアルタイム量子化

主要な参考文献

• 学習後量子化と感度分析
• レイヤー単位のビット割り当てと適応的圧縮
• 低ビット量子化と極端な圧縮
• 量子化認識スケール選択