REZE：ドメイン適応テキスト埋め込みの事前微調整における表現正則化

arXiv cs.CL / 2026/4/21

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文では、散在する異種のタスク集合に対してコントラストive PFT（事前微調整）を行うと、ドメイン知識に加えてタスク由来のバイアスが混入し、制御不能な表現シフトが起きて埋め込み性能が大きく低下すると指摘しています。
その対策として、アンカー・ポジティブペアの関係を固有空間（eigenspace）で扱い、事前微調整中の表現シフトを明示的に制御する表現正則化フレームワークREZEを提案します。
REZEは各固有成分ごとにタスク別の分散を測定してタスク変動方向を特定し、適応的なソフト・シュリンク（soft-shrinkage）でタスク特有のノイズを抑えつつ、タスク不変の意味構造は保持します。
複数の埋め込みバックボーンと専門ベンチマークでの実験により、REZEは標準的なPFTや等方性を狙った事後正則化よりも多くの設定で優れ、既存のPFT派生で崩壊（collapse）するケースでも安定性を保つことが示されています。
埋め込み空間の分析から、REZEは元の埋め込みマニフォールドに沿った制御されたシフトをもたらすことが確認され、異種な監督下での頑健なドメイン適応埋め込み事前微調整には「表現シフト制御」が重要な原理であることを裏付けています。