モデル・ネイティブなスキルの特性化

arXiv cs.AI / 2026/4/21

📰 ニュースIdeas & Deep AnalysisTools & Practical UsageModels & Research

共有:

要点

この論文は、言語モデルの「スキル」特性化は、人間が作った分類体系や手作業のプロファイリングに基づくのではなく、モデル内部の表現から導くモデル・ネイティブであるべきだと主張しています。
著者らは、シーケンス層の活性化からコンパクトな直交基底を復元し、意味的に解釈可能だが既存の人間のオントロジーには対応しない軸（モデル自身が整理する行動のバリエーション）を得る手法を提案しています。
復元した基底を使ってSFTデータ選択と推論時スティアリングの両方を行い、推論ベンチマークで大きな改善を示します（例：MATHでPass@1が最大20%、AMCで最大41%）。人間が特徴づけたスキルにもとづくデータ選択より優れています。
さらに、軽量なプロキシ介入により、特定のモデルで有用な方向を特定し、その方向を推論時のスティアリングベクトルとして用いることで追加の改善も確認されます（例：MATHでPass@8が最大4.8%）。
推論以外でも、安全アライメントにおいて、テキスト多様性ではなくモデル・ネイティブなスキルカバレッジを意識した敵対的訓練データ選択が学習効率を高めることを示しており、コードはオープンソースとして公開されています。

AI Business

note

note

note

note