圧縮レンズを通して：量子化が事実知識想起（FKR）に与える影響の調査

Abstract

情報量子化の手法は、推論を高速化し、大規模言語モデル（LLM）の導入を効率化するために広く用いられている。量子化がさまざまなLLMの能力に与える影響については広範に研究されてきた一方で、依然として十分に調査されていない重要な領域がある。それは、LLMが保存された知識にアクセスする過程である、事実知識想起（FKR）である。そこで本研究では、3つの一般的な量子化手法を異なるビット幅で用い、さらに解釈可能性に基づく分析を2つの課題、すなわち知識の記憶（memorization）と潜在的なマルチホップ推論（latent multi-hop reasoning）に対して行う、包括的な実験を実施する。量子化は通常、LLM内部で情報損失を引き起こし、その結果としてFKRの能力を低下させることを示す。この効果は、同一のアーキテクチャ系統に属する小規模モデルで特に強くなる。しかし、より低いビット精度で量子化されたモデルは、必ずしも劣った性能を示すわけではなく、場合によっては量子化によってモデルのFKRがむしろ向上することもある。我々は、BitSandBytesが元のフル精度モデルのFKRを最もよく保持することを見出した。モデルや手法によるばらつきはあるものの、量子化はわずかな性能劣化にとどまり、有効な圧縮戦略として機能する。