ハイブリッドおよび非ハイブリッドLLMにおける推論プリミティブ

要旨: 大規模言語モデルにおける推論は、しばしば単一の能力として扱われますが、観測される向上は、より基本的な操作に由来している可能性があります。私たちは、2つのそのような素性（プリミティブ）である「想起（recall）」と「状態追跡（state-tracking）」を通じて推論を研究し、注意（attention）ベースの検索と反復的な状態更新を組み合わせたハイブリッドなアーキテクチャが、双方を同時に必要とするタスクにおいて、注意のみのモデルより適しているかどうかを問いかけます。命令チューニング版および推論増強版の、対応するOlmo3トランスフォーマとハイブリッドモデルを用い、状態追跡と想起プリミティブの混合、および状態に基づく想起（state-based recall）を扱う一連の制御されたタスク上で、これらのモデルを評価します。タスク全体を通じて、推論増強が全体として最大の改善をもたらし、モデルが有効であり続ける難易度の範囲を大幅に拡張することを確認します。また、特定のタスクでは、シーケンシャルな依存性が増すにつれても、ハイブリッド推論モデルが実質的により頑健なままであることも観察されます。一方で、トランスフォーマによる推論モデルは、ある閾値を超えてタスクの難易度が増すと、性能が急激に低下します。これらの結果は、推論トークンやアーキテクチャの帰納的バイアスが計算プロセスの異なるレベルに寄与することを示唆しています。すなわち、明示的な推論はモデルの有効な動作範囲を広げることができますが、その恩恵は、基盤となるアーキテクチャが持続的な状態の伝播をどれほどうまく支えているかに依存します。本研究のケーススタディは、限られたモデルとタスクの集合であることから、これらの知見は決定的というより示唆的として提示し、より広範な検証（モデルファミリ、規模、タスク変種にわたる）については今後の課題として残します。