C-voting：明示的なエネルギー関数なしで行う、信頼度ベースのテスト時投票

Abstract

潜在状態に対して同一の層を再帰的に適用する、潜在反復処理を伴うニューラルネットワークモデルは、推論タスクを行う有望なモデルとして注目を集めてきました。このようなモデルの強みは、追加学習なしでテスト段階における性能を向上させることができる「テスト時スケーリング」を可能にする点です。階層的推論モデル（Hierarchical Reasoning Model: HRM）や人工クルモト振動ニューロン（Artificial Kuramoto Oscillatory Neurons: AKOrN）などのモデルは、反復ステップ数を増やすことでより深い推論を促し、数独、迷路の解法、そしてAGIベンチマークを含む困難なタスクの完了を可能にします。本研究では、複数の潜在候補軌道を持つ反復モデル向けのテスト時スケーリング戦略として、信頼度に基づく投票（confidence-based voting: C-voting）を導入します。ランダム変数を用いて複数の候補から潜在状態を初期化し、C-votingは予測の上位1確率の平均を最大化する候補を選択します。これはモデルの自信（信頼度）を反映しています。さらに、C-votingは、明示的なエネルギー関数を持つモデルに特有のエネルギーベース投票戦略よりも、数独-hardで4.9%高い精度をもたらします。C-votingの本質的な利点は、適用可能性にあります。明示的なエネルギー関数を必要とせず、反復モデルにそのまま適用できます。最後に、ランダム化された初期値を用いた、単純な注意ベースの反復モデルであるItrSA++を導入し、これをC-votingと組み合わせることで、数独-extreme（95.2% vs. 55.0%）および迷路（78.6% vs. 74.5%）のタスクにおいてHRMを上回ることを示します。