NeuroState-Bench：LLMエージェントプロフィールにおけるコミットメント整合性を人手で校正するベンチマーク

要旨: 結果のみの評価は、評価されたエージェントのプロファイルが、多段（マルチターン）タスクを首尾一貫して解くために必要なコミットメントを保持しているかどうかを、過小にしか特定できません。NeuroState-Benchは、人間によって較正されたベンチマークであり、推論された隠れた活性（hidden activations）ではなく、ベンチマーク定義のサイドクエリ・プローブを通じてコミットメント整合性（commitment integrity）を実運用化します。公開されたインベントリには、144の決定論的タスクと、認知的に動機づけられた8つの失敗ファミリにまたがる306のベンチマーク定義サイドクエリ・プローブが含まれており、クリーン版とディストラクタ（攪乱）版の組、さらに3つの難易度帯が用意されています。主要な32プロファイルの評価では、固定された16プロファイルのローカル部分集合と、同一のベンチマーク・パイプラインで評価された、対応する16プロファイルのホスト型大規模モデル部分集合の両方が含まれます。人間による較正は、最終的に統合された報告範囲を用います。すなわち、104のサンプルされたタスク単位、216の生アノテーション、そして108の裁定されたタスク行であり、重み付きκ（kappa）= 0.977、ICC(2,1) = 0.977です。経験的には、この拡張された格子（グリッド）において、タスク成功とコミットメント整合性は分岐します。成功のリーダーは整合性のリーダーではなく、整合性がタスク成功の代わりに用いられると32プロファイル中31が順位を変更し、ディストラクタ摂動下では整合性のランキングの方がより安定しています。主要な、信頼度フリーのスコアであるHCCIS-COREは、終端タスク失敗の事後プローブ診断における識別で、AUCが0.8469、PR-AUCが0.6992に達します。従来の完全ヒューリスティック版であるHCCIS-FULLは、AUCが0.7997、PR-AUCが0.6410です。プローブ精度と状態ドリフトは、わずかに高いROC-AUC（0.8587）を達成し、さらにBrier/ECEもより良好ですが、HCCIS-COREは点推定のPR-AUCが大幅に高く、ベンチマークが意図した構成概念（construct）により密接に結びつき続けます。探索的なニューラル拡張版であるHCCIS+Nは全体として弱く、ランダム化された部分空間（サブスペース）制御は偶然に近づきます。したがってNeuroState-Benchは、元の「ローカルのみ」部分集合よりも広いモデル格子にわたってコミットメントの失敗を露出させるための、較正された評価軸を提供します。