精度の先へ：9つの複雑性次元にわたってLLMの代数的推論失敗を診断する

Abstract

整数論理演算の推論は、大規模言語モデルにとって最も情報量の多いストレステストの1つであり続けています。しかし、現行のベンチマークには、失敗を特定の原因に帰するための仕組みがありません。モデルが代数問題に失敗した場合、単一の精度スコアでは、式が深くネストしすぎていたのか、演算子があまりにも一般的でなかったのか、中間状態の数が多すぎたのか、あるいは依存関係の連鎖が長すぎたのかを判別できません。先行研究では、個別の失敗モードを単独で扱ってきましたが、厳密な実験的制御のもとで、各複雑性要因を独立に変化させる枠組みはありませんでした。複雑性が増していく問題の自動生成と検証を行い、その進捗を時系列で追跡するシステムは、これまで誰も提示していません。私たちは、9次元の代数複雑性フレームワークを導入します。このフレームワークでは、各要因を独立に変化させつつ、他の要因はすべて固定します。問題生成と検証は、人的な注釈を不要とするパラメトリックなパイプラインによって処理されます。各次元は、記録されたLLMの失敗モードに基づいており、式のネスト深さ、同時の中間結果数、部分式の複雑性、演算子の難しさ、依存的推論チェーンの長さなど、代数的な困難さの構造的に異なる側面を捉えます。私たちは、9つの次元すべてにわたって、8Bから235Bのパラメータ数を持つ7つのinstruction-tunedモデルを評価し、その結果、作業記憶が支配的な、スケール不変のボトルネックであることを見出しました。すべてのモデルが、パラメータ数に関係なく20〜30本の並列ブランチの間で崩壊することがわかり、解ける余地のある能力の制限ではなく、手強いアーキテクチャ上の制約を示唆しています。さらに分析により、記録された代数的失敗モード全体の空間をまとめてカバーする、最小かつ診断に十分な5つの次元の部分集合を特定します。これにより、モデルの代数的推論能力に関する完全な複雑性プロファイルが得られます。