大規模言語モデルにおける自発的な機能分化：脳のような知能経済

arXiv cs.AI / 2026/4/1

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

新たなarXivの研究では、大規模言語モデルが「相乗的コア（synergistic cores）」を自発的に形成し、中間層における統合的な情報処理が、個々の構成要素が単独で生み出すものを上回ることが報告されています。
研究者らは、複数のモデルアーキテクチャにわたって統合情報分解（Integrated Information Decomposition）を用い、中間層では相乗性が見られる一方、初期層と後期層ではより冗長性が高いというパターンを見出しています。
タスクの難易度が上がるにつれて、この層構造の出現が動的であり、物理における相転移に似た挙動を示すと述べています。
相乗的な構成要素を除去するアブレーション実験では、著しい性能低下が生じたため、著者らはこれを、これらの構成要素が抽象的推論の基盤となっていること、さらに人工知能と生物学的知能の橋渡しとなり得ることの証拠として解釈しています。

Abstract

人工システムにおける知能の進化は、普遍的な計算原理を特定する独自の機会を提供します。ここでは、大規模言語モデルが、情報統合が個々の構成要素を大きく上回る、相乗的なコアを自発的に発達させることを示します。その特徴は、人間の脳に驚くほどよく似ています。複数のアーキテクチャにわたる統合情報分解（Integrated Information Decomposition）を用いて調べたところ、中間層が相乗的な処理を示す一方で、初期層と後期層は冗長性に依存していることが分かりました。この組織化は動的であり、課題の難しさが増すにつれて、物理的な相転移として出現します。決定的なのは、相乗成分をアブレーション（除去）すると壊滅的な性能低下が起こり、それにより相乗成分が、抽象的推論の物理的実体であり、人工知能と生物学的知能を橋渡しする役割を担っていることが確認される点です。