単一ドメイン汎化のためのバイレベル最適化

要旨: ラベル付きの単一ソースドメインから、学習中にターゲットデータへ一切アクセスせずに、未見のターゲットドメインへ一般化することは、堅牢な機械学習における基本的な課題のままです。私たちは、Single Domain Generalization（SDG）として知られる、あまり研究されていないこの設定に取り組みます。具体的には、タスク学習とドメインモデリングを明示的に切り離すバイレベル最適化フレームワークであるBiSDGを提案します。BiSDGは、ソースデータをラベルを保持する変換によって構築したサロゲート（代理）ドメインにより、分布シフトをシミュレートします。ドメイン固有の文脈を捉えるために、特徴量ごとの線形モジュレーション（feature-wise linear modulation）によって増強特徴を生成する、軽量なモジュレーション信号を出力するドメインプロンプトエンコーダを提案します。学習プロセスはバイレベル最適化問題として定式化されます。内側の目的関数は固定されたプロンプトのもとでタスク性能を最適化し、外側の目的関数はドメインプロンプトエンコーダを更新することで、サロゲートドメイン全体での一般化性能を最大化します。さらに、第2次導関数を用いずに効率的なバイレベル学習を可能にする、実用的な勾配近似手法を発展させます。さまざまなSGDベンチマークに対する大規模な実験により、BiSDGが従来手法を一貫して上回り、SDG設定において新たな最先端性能を達成することを示します。