要旨: ランダム言語モデルがE. DeGiuliによって提案されて以来[Phys. Rev. Lett. 122, 128301]、言語モデルは統計力学の観点から集中的に研究されてきた。最近、記号間に長距離相互作用を持つモデルにおいて、Berezinskii--Kosterlitz--Thouless転移の存在が数値的に実証された。統計力学では、長距離相互作用が相転移を誘起し得ることは以前からよく知られている。したがって、言語モデルで観測された相転移が、従来のスピンモデルには存在しない、真に言語的な性質に由来するのかどうかは不明なままであった。本研究では、短距離相互作用を持つランダム言語モデルを構築し、その統計的性質を数値的に調べる。提案モデルはチョムスキー階層における文脈依存文法のクラスに属し、文脈への明示的な参照を可能にする。我々は、モデルが文長に対して長さが一定に保たれる文脈だけを参照する場合でさえ、相転移が起こることを見いだした。この結果は、言語モデルにおける有限温度の相転移が、長距離相互作用によるものではなく、言語の本質的な性質によって確かに誘起されることを示している。
短距離相互作用を持つ文脈依存型のランダム言語モデルにおける相転移
arXiv stat.ML / 2026/4/2
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、短距離（長距離ではない）な記号間相互作用を明示的に構成することで、ランダム言語モデルの統計力学的挙動を研究する。
- モデルを文脈依存文法（チョムスキー階層）の枠組みに位置づけ、参照された文脈に対する明示的な依存を可能にする。
- 数値的な調査により、著者らは、文が長くなっても文脈の長さが一定に保たれる文脈のみを参照する場合でも、ベレジンスキー–コスターリッツ–トゥレス型の相転移が持続することを見いだす。
- その結果は、言語モデルにおける有限温度の相転移が、先行する長距離モデルのような長距離相互作用の見かけ（アーティファクト）ではなく、言語／文脈の内在的な構造に由来することを示唆する。
- 本研究は、相互作用の到達範囲（距離）を超えて、言語モデル様の系に熱力学的相転移をもたらしうる機構の理解を拡張する。
