CircuitProbe: 安定性ゾーン検出によるトランスフォーマにおける推論回路の予測

要旨: トランスフォーマー言語モデルには局所化された推論回路が含まれており、推論を、推論時に複製することで改善する連続した層ブロックです。これらの回路を見つけるには現在、モデルごとに25 GPU時間を要する総当たり探索が必要です。私たちは CircuitProbe を提案します。これは、CPU上で5分未満という時間で活性化統計から回路の位置を予測し、3〜4桁のオーダーの高速化を実現します。推論回路には2種類があることを見出します。すなわち、表現変化の導関数によって検出される初期層の安定性回路と、異常スコアリングによって検出される後期層の大きさ（マグニチュード）回路です。CircuitProbe を、6つのアーキテクチャにまたがる9つのモデル（2025年モデルを含む）で検証し、すべての検証済みケースにおいて、CircuitProbe のトップ予測が最適な回路から一致するか、あるいは2層以内にあることを確認します。Qwen 2.5 ファミリーに対するスケーリング実験では、層複製は3B未満のパラメータのモデルでは一貫して有益である一方、7B以上のモデルでは性能が低下することが明らかになりました。これにより、小規模言語モデルに対する実用的なスケーリング手法であることが示されます。CircuitProbe は最大でも10個のキャリブレーション例しか必要とせず、その予測は英語、ヒンディー語、中国語、フランス語の間で安定しています。