構造的剛性と57トークン予測ウィンドウ：大規模言語モデルにおける推論レイヤの統治可能性のための物理的枠組み

要旨: 現在のAI安全性は、行動の監視と事後トレーニングの整合（アラインメント）に依存しています。しかし、実証的な計測によれば、これらのアプローチは、検証した大多数の指示チューニング済みモデルにおいて、検出可能な事前コミットメント・シグナル（pre-commitment signal）を生成しません。私たちは、トランスフォーマーの推論ダイナミクスを、神経計算の制約充足モデルに結び付けるエネルギーベースのガバナンス枠組みを提示し、それを5つの幾何学的レジームにわたる7モデルのコホートに適用します。
軌道の張力（rho = ||a|| / ||v||）を用いることで、算術制約プローブ上で貪欲デコーディング（greedy decoding）を行ったPhi-3-mini-4k-instructにおいて、57トークンの事前コミットメント・ウィンドウを特定します。この結果はモデル固有であり、タスク固有であり、設定（configuration）固有でもあります。つまり、事前コミットメント・シグナルは存在し得るが、それは普遍的ではないことを示しています。
私たちは推論挙動の5レジーム分類法を導入します。すなわち、Authority Band（権威バンド）、Late Signal（後期シグナル）、Inverted（反転）、Flat（フラット）、Scaffold-Selective（足場選択）です。エネルギー非対称性（{\Sigma}\r{ho}_misaligned / {\Sigma}\r{ho}_aligned）は、これらのレジームにまたがる構造的剛性の統一的な指標として機能します。
7モデルの範囲では、コミットメント以前に予測可能なシグナルを示すのは1つの設定のみであり、他はすべて、サイレントな失敗（silent failure）、後期での検出、反転したダイナミクス、またはフラットな幾何学を示します。
さらに、事実のハルシネーション（事実の取り違え／虚偽生成）は72のテスト条件すべてにおいて予測可能なシグナルを生まないことを示します。これは、訓練されたワールドモデルの制約が存在しない場合に、見かけ上のアトラクタが収束すること（spurious attractor settling）と整合的です。
これらの結果は、ルール違反（rule violation）とハルシネーション（hallucination）が異なる失敗モードであり、それぞれ異なる検出要件を持つことを確立します。内部の幾何学（internal geometry）モニタリングが有効なのは、抵抗が存在する場合のみです。一方で、事実の取り違え（事実的な取り繕い／confabulation）の検出には、外部検証メカニズムが必要です。
本研究は、推論層におけるガバナブル性（governability）を測定可能な枠組みとして提示し、自律型AIシステムにおけるデプロイメント・リスクを評価するための分類法を導入します。