LLMには「コアとなる信念」があるのか？

要旨: 大規模言語モデル（LLM）の台頭により、これらのシステムが人間レベルの認知を示すのかどうかについて議論が起こっている。この議論においては、人間の認知の構造的な構成要素である、あまり注目が払われていない。それは「中核的信念」であり、世界観を構築する土台となる真理である。これらのコミットメントは通常、暴露（デバンク）に対して抵抗する。というのも、それらを放棄することは、現実をどう見るかというあり方における根本的な転換を意味するからである。本論文では、LLMがこれに類する中核的コミットメントを保持しているかどうかを問いかける。私たちは、5つの領域（科学、歴史、地理、生物学、数学）にわたり、私たちが「敵対的対話ツリー（Adversarial Dialogue Trees: ADTs）」と呼ぶ探索フレームワークを用いて調べた。その結果、ほとんどのLLMは安定した世界観を維持できないことが分かった。近年のいくつかのモデルでは安定性の向上が示されたものの、それらもまた最終的には会話上の圧力のもとで重要なコミットメントを維持できなかった。これらの結果は、モデル世代を通じた議論能力の向上を記録する一方で、現在のすべてのモデルが人間レベルの認知に不可欠な要素を欠いていることを示している。