重み空間における演算によるゼロショット量子化
arXiv cs.CV / 2026/4/7
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文では、「量子化ベクトル」という、ドナータスクから単純な重み空間演算によって抽出できる、重み空間上の転移可能な方向を提案する。
- このベクトルをレシーバモデルに適用すると、ポストトレーニング量子化（PTQ）により生じるノイズへの頑健性が大幅に向上し、報告されている改善は最大で約60%に達する。さらに、レシーバ側でQAT（量子化認識学習）を要求しない。
- この手法は、レシーバ側の学習データを必要としないため、ゼロショットかつ低コストであると位置づけられている。
- 実験はVision Transformer（ViT）モデルで示されており、量子化頑健性が重み空間の幾何学的性質として再利用可能である、という主張を支持している。
- 全体として、結果は、量子化頑健性をタスク固有の学習を通じて再学習しなければならないものではなく、タスク間で転移可能な性質として位置づけている。
