クラスサブスペースを超えて: 単一ドメインモデルにおける信頼性の高いOOD検出のための教師ガイド付きトレーニング
arXiv cs.LG / 2026/3/13
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、単一ドメイン学習における失敗モードとして「ドメイン感度崩壊（DSC）」を特定する。DSCは、監督学習が特徴を低ランクのクラスサブスペースに圧縮し、ドメインシフト信号を含む方向を抑制する現象である。
- DSCの下では、距離ベースおよびロジットベースのOODスコアがドメインシフトに対する感度を失うことを示す理論を提示する。
- 著者らは、凍結済みのマルチドメイン教師（DINOv2）から、クラス抑制済みの残余構造を訓練中に生徒へ蒸留する「教師ガイド付きトレーニング（TGT）」を提案する。訓練後には教師と補助ヘッドを破棄するため、推論時のオーバーヘッドは生じない。
- 8つの単一ドメインベンチマークを横断して、TGTは距離ベースのスコアラー（MDS、ViM、kNN）に対して、遠方OODのFPR@95を平均で大幅に低減させる。MDSは11.61ポイント、ViMは10.78ポイント、kNNは12.87ポイント（ResNet-50平均）の改善を達成し、同時にドメイン内OODおよび分類精度を維持またはわずかに向上させる。
Out-of-distribution (OOD)検出手法はマルチドメインのベンチマークで良好に動作する一方、実践的なシステムの多くは単一ドメインデータで訓練されている。我々は、この設定が幾何学的な欠陥モードを引き起こすことを示す。Domain-Sensitivity Collapse（DSC）と呼ぶ欠陥モードである。監視学習は特徴を低ランクのクラスサブスペースへ圧縮し、ドメインシフト信号を含む方向を抑制する。DSCの下では、距離ベースおよびロジットベースのOODスコアがドメインシフトに対する感度を失うという理論を提供する。次に、訓練中に凍結済みのマルチドメイン教師（DINOv2）からクラス抑制済みの残余構造を生徒へ蒸留する「教師ガイド付きトレーニング（TGT）」を導入する。教師と補助ヘッドは訓練後に破棄され、推論オーバーヘッドは追加されない。8つの単一ドメインベンチマークを横断して、TGTは距離ベースのスコアラーに対して大幅な遠方OODのFPR@95の低減をもたらす：MDSは11.61ポイント、ViMは10.78ポイント、kNNは12.87ポイント（ResNet-50平均）の改善であり、同時にドメイン内OODおよび分類精度を維持またはわずかに改善する。
