大規模言語モデルにおける進化と圧縮: 人間に適合した分類の出現について

要旨：人間の意味カテゴリシステムが情報ボトルネック（IB）による複雑さと精度のトレードオフを介してほぼ最適な圧縮を達成するという収束的証拠が示唆されている。大規模言語モデル（LLMs）はこの目的のために訓練されていないため、LLMsが人間に適合した効率的な意味システムへと進化させることができるのか、という疑問が生じる。この問いに対処するため、私たちは色のカテゴリ化に焦点を当てる――これは認知理論の重要な検証基盤であり、独自に豊富な人間データを持つ――そしてLLMsを用いて二つの影響力のある人間研究を再現する。まず、英語の色名付け研究を実施し、LLMsがその複雑さと英語適合性において大きくばらつくことを示し、より大きな指示調整済みモデルはより良い整合性とIB効率性を達成する。次に、これらのLLMsが訓練データのパターンを単に模倣しているのか、それともIB効率性に向けた人間のような帰納的バイアスを実際に示しているのかを検証するために、Iterated in-Context Language Learning（IICLL）と呼ぶ手法を用いて、LLMsにおける擬似色名付けシステムの文化的進化をシミュレートする。人間と同様に、LLMsは初期にランダムだったシステムを反復的に再構築し、より高いIB効率性へと向かうことを我々は発見した。しかし、最も強力な文脈内能力を持つモデル（Gemini 2.0）だけが、人間に観察される広範なほぼ最適なIBトレードオフを再現できるのに対し、他の最先端モデルは低複雑性の解へと収束する。これらの知見は、人間に適合した意味カテゴリが、意味の効率性の根底にある同じ基本原理を介してLLMsに現れることを示している。