外れ値を超えて：数値的・構造的デュアル感度に駆動されるデータフリー・キャリブレーション不要の層ごと混合精度量子化アプローチ

概要: レイヤーごと混合精度量子化 (LMPQ) は、感度の高い層に高い精度を割り当てることにより、極端に低ビット設定下でも効果的な圧縮を実現します。ただし、従来の手法は通常、層内のすべての重みモジュールを統一的に扱い、感度を推定する際には単一の数値特性に依存しており、それぞれの運用上の役割と構造的特徴を見落としています。これに対処するため、数値的および構造的二重感度により推進される新しいキャリブレーション不要の LMPQ フレームワーク NSDS を提案します。具体的には、各層を機械的に異なる運用上の役割に分解し、それらの感度を数値的および構造的観点の双方から定量化します。これらの二面性スコアは、MAD-Sigmoid および Soft-OR に基づく堅牢な集約スキームを通じて層ごとの統一指標に統合され、ビット割り当てを指針とします。広範な実験により、NSDS は、さまざまなベースラインと比較して、異なるモデルや下流タスク全般で一貫して優れた性能を達成し、キャリブレーションデータに依存しないことが示されています。