コントラスト付きデコーディングによる命令チューニング用データセットの合成

arXiv cs.CL / 2026/4/16

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、命令チューニングのために用いられるLLM生成応答がしばしば事前学習で獲得した世界知識と、事後学習による命令追従スキルを取り違えて混ぜ合わせてしまい、その結果として得られる命令チューニング信号の純度が低下する、と主張している。
後処理（ポストトレーニング）モデルと事前学習モデルの間でコントラスト付きデコーディングを行うCoDITを導入し、応答生成時に共有される事前学習知識を抑制しつつ、命令追従行動を増幅する。
実験の結果、CoDITで合成した命令チューニング用データセットは、生成応答をそのまま用いて構築したデータセットよりも、下流のモデル性能が一貫して良好であることが示されている。
著者らは、CoDITで構築した学習データが、複数のベンチマークにおいて、いくつかの既存の公開されている命令チューニング用データセットよりも優れていることを報告している。
CoDITは、パラメータ空間からテキスト空間へと、命令追従の「チャットベクトル」情報を転送（蒸留）するものとして捉えられることを、理論的および実証的な証拠で示しており、異なるモデルアーキテクチャ間での能力移転を可能にするとしている。