抽象: 大規模言語モデル（LLM）は、さまざまな状況において、人間のパターン認識と推論の結果と重なる強力なツールである。検索拡張生成（RAG）はさらに、LLMがそのRAGデータベースの内容に応じて、出力を調整して生成できるようにする。しかし、LLMは複雑で計算コストの高いアルゴリズムに依存している。本論文では、相互作用するガウス混合モデル（GMM）を、相互作用するLLMの代理として導入する。RAGの更新に対応するアナログを備えた、相互作用するGMMのモデルを構築し、そのもとでGMMがデータとパラメータを生成、交換、更新できることを示す。最小限の計算コストで実装可能な、この相互作用するガウス混合モデルのシステムが、他のLLMからのフィードバックに依存する反復応答を持つ、相互作用するLLMの実験的シミュレーションのいくつかの側面を模倣することを示す。このシステムから相互作用するGMMによるマルコフ連鎖を構成し、そのような連鎖に対する偏り（polarization）の概念を形式化し解釈し、偏りが生じる確率に関する下界を証明する。これにより、相互作用する大規模言語モデルの計算効率のよい代理として、相互作用するガウス混合モデルを用いることへの理論的洞察が得られる。
相互作用する言語モデルの代理としてのガウス混合モデル
arXiv stat.ML / 2026/4/7
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、大規模言語モデル（LLM）間の相互作用を調べるための計算コストの安い代理として、相互作用するガウス混合モデル（GMM）を提案する。
- 相互作用するGMMシステムを定義し、その中で、コンポーネント間で交換されるデータとパラメータを更新する仕組みにより、想定上の検索拡張生成（RAG）に相当する要素を含める。
- 著者らは、このGMMの相互作用フレームワークが、複数のモデルからのフィードバックを受けつつ反復的に応答する相互作用するLLMのシミュレーションで観測される特定の振る舞いを模倣できることを示す。
- 相互作用するGMMをマルコフ連鎖として表現し、その連鎖の中での偏極（polarization）を形式化するとともに、偏極が起こる確率に関する下界を証明する。
- 全体として本研究は、大規模な計算コストをかけずに、相互作用するGMMが相互作用するLLMシステムの定性的ダイナミクスをいつ・どのように近似できるかについての理論的洞察を提供する。
