医療向け基盤モデルに対する重みのグループ別ポストトレーニング・量子化

要旨: 基盤モデルは医用画像解析において目覚ましい成果を達成している。だが、その大規模なネットワーク構造と高い計算複雑性は推論速度に大きく影響し、端末型の医療デバイスでの適用を制限している。モデルを低ビット版に圧縮する技術である量子化は、この課題への解決策である。本論文では、事後学習型の量子化アルゴリズムである Permutation-COMQ を提案する。これは単純なドット積と丸め操作を用いることでバックプロパゲーションの必要をなくし、これによりハイパーパラメータ調整も不要となり、手順が簡素化される。さらに、量子化中にチャネル方向のスケーリングによって生じる精度低下に対処するため、各層内で重みを並べ替える、重みを意識した戦略を導入する。その際、チャネル構造は維持される。実験の結果、本手法は2ビット、4ビット、8ビットの量子化において最良の結果を達成することを示す。