証明可能に正確でパラメーターフリーなタスク検索を用いた継続的ファインチューニング

要旨: 継続的ファインチューニングは、事前学習済みのバックボーンを新しいタスクに連続して適応させつつ、データが利用できなくなった初期タスクの性能を維持することを目指します。既存のアプローチは、入力適応とパラメータ適応の2つのカテゴリに分けられます。入力適応法は、テスト時に最も関連性の高いプロンプトを取得することに依存しますが、忘却しやすいリトリーバル関数を継続的に学習する必要があります。パラメータ適応法は代わりに、リトリーバル不要の予測を可能にし忘却を回避するために固定の入力埋め込み関数を用いますが、表現の適応性を犠牲にします。2つの長所を組み合わせるために、テスト時にパラメータ不要のリトリーバルを用いて入力埋め込みを適応的に利用できる新しいパラメータ適応法を提案します。クラスタリングベースでパラメータ不要なパラダイムに対してタスクリトリーバル誤差の境界を導出し、低いリトリーバル誤差をタスク固有の表現クラスタの構造的特性に結びつける理論的保証を提供し、組織的にクラスタリングされた構造が信頼性の高いリトリーバルをどのように可能にするかという新たな洞察を明らかにします。この洞察に動機づけられ、私たちの手法は以下の2つの要素で設計されています：(i) 事前知識を保持・補完する情報量豊富なタスク固有の更新を学習する適応的モジュール組成戦略、(ii) 各タスクの異なる表現署名を捉えるクラスタリングベースの取得機構で、テスト時の適応的な表現利用を可能にします。広範な実験により、これらの要素が相乗的に機能し、タスクセマンティクスの大幅な変化下でリトリーバルと予測性能を向上させることが示されています。