Mashup Learning: 過去のチェックポイントをリミックスしてファインチューニングを高速化

要旨: ドメイン特化データでのファインチューニングは、下流タスクにおけるLLMの性能を向上させる確立された方法です。各データセットでトレーニングを行うと、モデル重みの新しいセットが生成され、社内またはオープンソースプラットフォームに複数のチェックポイントが保存されます。しかし、これらのトレーニングアーティファクトは、潜在的に類似したタスクの改善されたモデル能力を含んでいるにもかかわらず、後続の実験でほとんど再利用されません。本論文では Mashup Learning を提案します。これは、以前のトレーニング実行の出力を活用して新しいタスクへのモデル適応を高める、シンプルな方法です。我々の手順は、対象データセットにとって最も関連性の高い歴史的チェックポイントを識別し、それらをモデル統合で集約し、訓練の改善された初期化としてその結果を用います。8つの標準LLMベンチマーク、4モデル、2つのソースチェックポイントコレクションを横断して、Mashup Learning はゼロからのトレーニングと比較して平均ダウンストリーム精度を0.5〜5ポイント一貫して向上させます。また、収束を加速させ、選択と統合のオーバーヘッドを含めても、ゼロからの精度に合わせるには41〜46%少ないトレーニングステップと最大37%少ない総ウォールクロック時間が必要です。