signround-v2-low-bit-quant
DeltaLoss感度メトリクスは、勾配と量子化によるパラメータの偏差を組み合わせた指標で、適応的なビット幅配分を実現します。軽量の事前チューニング検索によってスケール初期化を行い、2.5～6時間で4～5ビットの量子化において競争力のある精度を達成できます。
description の原文を見る
DeltaLoss sensitivity metric combining gradient and quantization-induced parameter deviation for adaptive bit-width allocation, with lightweight pre-tuning search for scale initialization, enabling competitive accuracy at 4-5 bits in 2.5-6 hours.
SKILL.md 本文
概要
SignRoundV2は、極めて低ビット数の学習後量子化のための2つの主要な技術革新を提示しています。主な貢献はDeltaLossであり、信頼性の高いレイヤー単位のビット割り当てのための、ローカルなパラメータ歪みとグローバルなタスク損失への影響の両方をキャプチャする感度メトリクスです。次の貢献は初期化のための軽量な事前チューニングサーチであり、最小限の時間で極めて低ビット数(2～5ビット)での安定で正確な量子化を実現します。
コア技術
DeltaLoss感度メトリクス: 以下を組み合わせてレイヤーの重要度を測定します:
- 勾配情報(重み変化に対する損失の感度の高さ)
- 量子化誘発偏差(量子化がパラメータをどの程度歪ませるか)
DeltaLoss_layer = ||∇_W L|| · ||W - Q(W)||
ローカルおよびグローバルな影響をキャプチャします。感度の高いレイヤーはより多くのビットを取得します。
事前チューニングスケールサーチ: メイン量子化の前に、レイヤーごとに最適な量子化スケール(ステップサイズ)の軽量なサーチを実行します:
scale_opt = argmin_scale MSE(Q_scale(W), W)
適応的ビット幅割り当て: DeltaLossを使用して予算
...
詳細情報
- 作者
- ADu2021
- リポジトリ
- ADu2021/skillXiv
- ライセンス
- 不明
- 最終更新
- 2026/3/26
Source: https://github.com/ADu2021/skillXiv / ライセンス: 未指定