重みから活性へ：適応の次のフロンティアを切り開く「ステアリング」とは？

要旨: 言語モデルのポストトレーニング適応は一般に、パラメータ更新、または微調整、パラメータ効率の高い適応、プロンプトといった入力ベースの手法によって実現されます。これと並行して、推論時に内部活性を変更してモデルの挙動に影響を与える、いわゆるステアリングというアプローチに関する研究も増えてきています。使用は増加しているにもかかわらず、ステアリングは、確立された適応手法と同じ概念的枠組みの中で分析されることは稀です。
本研究では、ステアリングはモデル適応の一種として捉えるべきだと主張します。適応手法のための一連の機能的基準を導入し、それを用いてステアリング手法を古典的な代替手法と比較します。この分析により、ステアリングは活性空間における標的化された介入に基づく、独立した適応パラダイムとして位置づけられます。そこでは、パラメータ更新を伴わずに、局所的で可逆的な挙動変化が可能です。得られた枠組みにより、ステアリングが既存の手法とどのように関係しているかが明確になり、モデル適応のための統一的な分類体系（タクソノミー）を動機づけます。