ループ化されたトランスフォーマー内部状態における関係的嗜好のエンコーディング

要旨: 我々は、ループ型トランスフォーマーが内部反復状態においてどのように人間の嗜好を符号化するかを調査する。反復的洗練を備えた26億パラメータのループ型トランスフォーマーであるOuro-2.6B-Thinkingを用い、各ループ反復から隠れ状態を抽出し、Anthropic HH-RLHFデータセットにおける人間の嗜好を予測するための軽量な評価器ヘッド（約500万パラメータ）を学習する。対（ペア）評価器は、8,552件の未見例に対してテスト精度95.2%を達成し、ベースのモデルを完全に凍結したまま、フルバッチのL-BFGSプローブ（84.5%）を上回った。
我々の中心的な発見は、ループ状態が嗜好を主として関係（リレーショナル）として符号化しているという点である。ペア差分に対する線形プローブは84.5%を示し、最良の非線形の独立評価器はテスト精度65%にとどまり、線形の独立分類スコアは21.75%であって、偶然より下でかつ極性が反転している。正確に解釈すると、評価器はモデル内部の整合性プローブとして機能しており、ノイズの多い人間の注釈をどれだけうまく予測できるかではなく、Ouro自身が学習した価値体系が表現をどれほど安定して整理・構造化するかを測定している。
さらに、独立スコアリングにおける真の70%という上限を確立した体系的なアーキテクチャ探索についても記録し、縮退したペア解を防ぐために必要な50%の引き分け（引数入替）プロトコルが、ピーク時にペアワイズ訓練指標を約31ポイント低下させ、ペア評価器とポイント評価器が同じ上限を共有しているように見せかけてしまうことを示す。
最後に、エポック2におけるcosine学習率のデッドゾーンが偶然にも早期終了として働き、過学習によってテスト精度が95.2%から62.4%へと劣化する前に汎化ピークを温存していたことを示す。エポック間のフリップテスト分析では、反対称性の相関は安定している一方で、厳密な符号反転率は主に評価者のバイアスに追随することが分かる。ペア嗜好評価器に対する必須の診断として、フリップテストを提案する。