大規模言語モデルにおける低ランク知識蒸留の解明：収束、汎化、情報理論的保証

要旨: 知識蒸留は、大規模言語モデル（LLM）を、その高度な能力を保持しながら、効率的で実運用可能なアーキテクチャへ圧縮するための強力な手法として注目されている。低ランク知識蒸留における近年の進展、特に Low-Rank Clone (LRC) のような手法は、訓練データ量および計算オーバーヘッドを大幅に削減しつつ、全パラメータ蒸留と同等の性能を達成するという、注目すべき実証的成功を示している。しかしながら、これらの手法を支える理論的基盤はいまだ十分に解明されていない。本論文では、言語モデルにおける低ランク知識蒸留のための、厳密な理論的枠組みを確立する。我々は、穏当な仮定のもとで、低ランク射影が最適化ダイナミクスを保存することを証明し、収束率が O(1/\sqrt{T}) であることを明示的に導出する。さらに、モデル圧縮と汎化能力の間に存在する基本的なトレードオフを特徴づける一般化境界を導出し、汎化誤差がランクパラメータに関して O(r(m+n)/\sqrt{n}) のオーダーでスケールすることを示す加えて、活性クローン（activation cloning）機構について情報理論的な分析を行い、教師と学生の中間表現の間の相互情報量を最大化する役割を明らかにする。以上の理論結果は、ランク選択のための原理に基づく指針を提供し、サンプルサイズ n に対して最適なランク r^* = O(\sqrt{n}) が数学的に示される。標準的な言語モデリングのベンチマークに対する実験的検証により、我々の理論予測が確認される。具体的には、実証的な収束、ランクのスケーリング、そして一般化挙動が、提示した境界と非常に密接に整合することが示される。