LLMの局所線形性によりモデルベース線形最適制御でアクティベーション・ステアリングを可能にする

要旨: 推論時のLLMアラインメント手法、特にアクティベーション・ステアリングは、生成中にアクティベーションを直接修正することで微調整の代替となる手法を提供します。しかし、既存の手法はしばしば、変動（摂動）がトランスフォーマ層を通じてどのように伝播するかを無視する非予見的な介入に依存しており、さらにオンラインでの誤差フィードバックも欠如しているため、最適でない、オープンループな制御になっています。これに対し、本稿では、トランスフォーマ・ブロックの非線形な構造にもかかわらず、複数のLLMアーキテクチャおよびスケールにわたる層ごとのダイナミクスが局所線形モデルにより十分に近似できることを、実証的に示します。この性質を活用し、LLM推論を線形・時間変化する動的システムとしてモデル化し、古典的な線形二次レギュレータを適応させて、層ごとのヤコビアンを用いるフィードバック制御器を計算します。これにより、計算オーバーヘッドを最小限に抑え、オフライン学習なしで、望ましい意味上のセトポイントへとアクティベーションを閉ループで誘導できます。さらに、セトポイント追跡誤差に関する理論的な上界を導出し、誘導（ステアリング）性能について形式的な保証を可能にします。新規な適応型セマンティック特徴のセトポイント信号を用いることで、本手法は、モデル、スケール、タスクをまたいで頑健かつきめ細かな挙動制御を実現し、毒性、真実性、拒否、任意の概念に対する最先端のモジュレーションを含め、ベースラインのステアリング手法を上回ります。コードは以下で公開しています: https://github.com/trustworthyrobotics/lqr-activation-steering