反復数え上げを最小限のプローブとして用いた言語モデルの信頼性評価

arXiv cs.CL / 2026/5/5

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、言語モデルのベンチマークにおける高い推論性能が、真の論理能力なのか、手順の反復実行の信頼性なのか、あるいは規則実行を模倣するパターンマッチングなのかを明らかにすることを目的としています。
「Stable Counting Capacity（安定したカウント能力）」という新しい評価アッセイを提案し、知識・意味・曖昧さへの依存を抑え、語彙やトークナイズの混乱を避けつつ、失敗するまで同じ記号を数えられるかを直接測定します。
100種類以上のモデル変種を対象にした結果、安定したカウント能力はモデルが宣伝するコンテキスト上限から大幅に下回ることが示されます。
その挙動は、開かれた論理や、学習した規則を安定的に適用している状態とは整合せず、指で数えるのに近い「有限な数え上げらしき内部状態」を使っていることを示唆します。
その内部リソースが尽きると、見かけの規則追従が崩れ、追加のテスト時計算を行っても正確な実行は推測へと崩壊するため、流暢な出力が一般的で信頼できる規則追従を保証しないことが示されます。