マスターキー仮説：線形部分空間整列によるモデル間能力移転の解錠

Abstract

本論文では、再訓練を行わずに、事後学習された能力がモデル間で転移可能かどうか、特に異なるモデル規模間での転移に焦点を当てて検証します。私たちは、Master Key Hypothesis（マスターキー仮説）を提案します。この仮説は、モデルの能力が、特定の振る舞いを誘発する低次元の潜在部分空間内の方向に対応し、線形アラインメントによってモデル間で転移可能であるというものです。この仮説に基づき、UNLOCK を導入します。UNLOCK は、訓練不要かつラベル不要の枠組みであり、能力が存在する Source バリアントと能力が存在しない Source バリアントの活性を対比することで能力方向を抽出し、それを低ランクの線形変換によって Target モデルにアラインメントし、推論時に適用することで目的の振る舞いを引き出します。Chain-of-Thought（CoT）や数学的推論を含む推論挙動に関する実験では、学習なしでモデル規模をまたいで大幅な改善が得られることが示されます。たとえば、Qwen1.5-14B から Qwen1.5-7B へ CoT 推論を転移すると、MATH における精度が 12.1% 改善します。また、Qwen3-4B-Base から Qwen3-14B-Base へ数学的推論方向を転移すると、AGIEval Math の精度が 61.1% から 71.3% に向上し、14B の事後訓練モデルが達成した 67.8% を上回ります。私たちの分析では、転移の成功は事前学習中に獲得された能力に依存し、さらに介入によって出力分布を成功した推論の軌跡へ向けて鋭くすることで、潜在能力が増幅されることが示されています。