大規模言語モデルにおける表現（Representation）

要旨: 多様な課題における近年の大規模言語モデル（LLM）の驚異的な成功は、それらがどのようにしてそれを行うのかを説明しようとする、科学的かつ哲学的な理論化の爆発的な増加につながりました。残念ながら、基礎的な理論上の問題に関する意見の不一致が行き詰まりを招いており、LLMの楽観論者と悲観論者の固定化された陣営は、これらのシステムがどのように機能するのかについてしばしばまったく異なる見解に固執しています。この行き詰まりを克服するには、基礎的な問いについての合意が必要です。本論文の目的は、そのような問いの一つ、すなわち「LLMの振る舞いは、生物の認知で問題とされる種類の表象に基づく情報処理によって部分的に駆動されているのか、それとも、記憶の保持と確率的な表（テーブル）参照によるプロセスによって完全に駆動されているのか？」に取り組むことです。これは、LLMが実装しているアルゴリズムがどのような種類のものかという問いであり、その答えは、これらのシステムが信念、意図、概念、知識、理解をもっているかどうかといった、より高次の問いに対して重大な含意を持ちます。私は、LLMの振る舞いは部分的に表象に基づく情報処理によって駆動されていると主張し、そのうえで、それらの表象を調べ、当該表象に基づく説明を発展させるための一連の実践的手法を述べ、擁護します。得られた説明は、言語モデルおよびその後継に関する今後の理論化のための土台を提供します。