語彙空間におけるMLPニューロン重みの分離

Abstract

モデルの重みにエンコードされた情報を解釈することは、機構的解釈可能性において根本的な課題であり続けています。本研究では、順伝播（forward pass）を一切必要としないデータフリー手法であるROTATE（Rotation-Optimized Token Alignment in weighT spacE）を提案します。この手法は、MLPニューロンを重み空間の中で直接に分離します。私たちのアプローチは、重要な統計的観察に基づいています。すなわち、首尾一貫した単一の意味（monosemantic）コンセプトをエンコードするニューロンは、モデルの語彙（vocabulary）へ射影したときに高い尖度（kurtosis）を示します。ニューロンの重みの回転（rotation）を、語彙空間における尖度を最大化するように最適化することで、私たちの手法は「語彙チャンネル（vocabulary channels）」と名付けた、疎で解釈可能な方向を復元します。Llama-3.1-8B-InstructおよびGemma-2-2B-itに対する実験により、ROTATEが一貫してニューロンの挙動に忠実な語彙チャンネルを回復できることが示されます。個々のチャンネルを選択的にアブレーションすると、対応する入力活性の無効化、または特定のコンセプトの促進が選択的に失われます。さらに、チャンネル単位の記述を集約することで、包括的なニューロン記述が得られ、最適化された活性ベースのベースラインを、頭対頭の比較で2〜3倍上回ります。ニューロンの重みをデータフリーで分解することで、ROTATEは言語モデルを解釈するための、スケーラブルで微細な構成要素を提供します。