PLDR-LLMs は自己組織化臨界性において推論する

Abstract

自己組織化臨界状態で事前学習されたPLDR-LLMが、推論時に推論を示すことを我々は示します。臨界状態におけるPLDR-LLMの演繹的出力の特性は、二次相転移に類似しています。臨界状態では相関長が発散し、演繹的出力は準安定な定常状態に到達します。定常状態における振る舞いは、演繹的出力が、学習データセットからスケーリング関数、ユニバーサリティクラス、繰り込み群に相当する表現を学習し、その過程で一般化および推論能力が生じることを示唆しています。次に、推論時におけるモデルの演繹的出力パラメータのグローバル統計から、秩序変数を定義できます。PLDR-LLMの推論能力は、臨界状態においてその秩序変数がゼロに近いときにより高くなります。この観察は、臨界近傍および亜臨界で学習したモデルのベンチマークスコアによって裏付けられています。本研究の結果は、大規模言語モデルにおいて推論がどのように現れるかについて自己完結的な説明を与えるとともに、推論と理解のための帰納的出力に対して厳選されたベンチマークデータセットを評価する必要なしに、定常状態にある演繹的出力のグローバルなモデルパラメータ値のみから推論能力を定量化できることを示します。