学習とは忘却である：LLM学習をロッシー圧縮として捉える

要旨: 大規模言語モデル（LLM）の普及が進んでいるにもかかわらず、それらの表現空間がどのように構造化されているかについての理解はまだ限られています。これは、彼らが何をどのように学ぶのか、またそれらを人間の学習とどのように関連づけられるのかを解釈する能力を制限しています。本研究では、LLMは損失のある圧縮（lossy compression）の一例として捉えるのが最も適切だと主張します。すなわち、過度な学習を通じて、目的（あるいは目的群）に関連する訓練データ内の情報だけを保持することで学習するのです。次系列予測に対して最適に圧縮されたモデルにおける事前学習の結果を示し、その圧縮について情報ボトルネック（Information Bottleneck）境界に近づくことを示します。オープンウェイトのモデル群の中でも、各モデルは異なる方法で圧縮しており、おそらく使用されたデータや学習レシピの違いによります。しかし、異なる系統のLLMにまたがっても、モデルの圧縮の最適性、およびそこに含まれる情報は、多様なベンチマークにおける下流（後続）性能を予測することができます。これにより、表現構造を、モデル性能に関する実行可能な洞察へ直接つなげることが可能になります。一般の場合、本研究で提示する内容は、これらのモデルがどのように学習するかを情報理論的に統一的に捉える枠組みを提供し、かつ大規模に展開可能です。