未言語の評価：LLMで量子場理論と弦理論における暗黙推論を検証する

概要: 大規模言語モデルは、数学や物理の多くの領域にわたって印象的な性能を示してきました。自然な疑問は、そのようなモデルが、量子場の理論や弦理論といった高度に抽象的な理論分野における研究を支えられるのかどうかです。この可能性を評価するには、直ちに大きな課題があります。これらの領域における正しさは、層状であり、暗黙的であり、そして本質的に二値的ではありません。標準的な回答照合（マッチング）指標では、途中の概念的ステップが適切に再構成されているかどうか、あるいは暗黙の構造的制約が尊重されているかどうかを捉えられません。私たちは、量子場の理論と弦理論の主要分野をまたぐ12問からなる、専門家がキュレーションしたコンパクトなデータセットを構築し、さらに、記述の正しさ、主要な概念の認識、推論の連鎖の存在、暗黙ステップの再構成、そして拡充（enrichment）を分ける5段階の採点ルーブリックを導入します。複数の現代的なLLMを評価したところ、安定した概念枠組みの中での明示的な導出については、ほぼ上限に近い性能が観察されました。しかし、タスクが、省略された推論ステップの再構成、あるいはグローバルな整合性制約のもとで表象（レプレゼンテーション）を再編成することを要求する場合には、体系的な劣化が見られます。これらの失敗は、単に中間ステップが欠けていることだけでなく、表象選択の不安定性によっても引き起こされます。モデルはしばしば、暗黙の緊張を解消するために必要な正しい概念的枠組みを特定できません。私たちは、高度に抽象的な理論物理が、現在の評価パラダイムの認識論的限界に対する、独自に鋭敏なレンズを提供すると主張します。