T-QPM: オープンワールドにおける視覚-言語モデルの時間的分布外検出とドメイン一般化を可能にする

Abstract

OOD検出は、データ分布が進化するオープンワールド学習において依然として重要な課題であり、モデルは進化するデータ分布に適応しなければならない。近年のビジョン-言語モデル（VLMS）であるCLIPのようなモデルは、Dual-Pattern Matching（DPM）を通じてマルチモーダルなOOD検出を可能にしますが、既存の手法は通常、二つの重大な欠点を抱えています。（1）固定融合ルールに依存し、静的な環境を前提としているため、時系列のドリフトに対処できません。（2）共変量シフトされた入力に対する頑健性が欠如しています。本論文では、動的設定におけるOOD検出と共変量分布シフト耐性を強化する、新たな二段階フレームワークを提案します。デュアルパターン・レジームを Temporal Quadruple-Pattern Matching（T-QPM）へ拡張します。まず、OOD画像とテキスト説明をペアリングすることで、IDとOOD信号間のクロスモーダル一貫性パターンを導入し、画像と言語の協調推論によって決定境界を洗練させます。次に、時系列分布シフトに対処するために、セマンティックマッチングと視覚的典型性を最適に結合する軽量な融合重みを学習します。安定性を確保するため、平均しきい値付き信頼度（Average Thresholded Confidence、ATC）に基づく明示的な正則化を適用し、分布が進化しても性能の低下を防ぎます。時間的に分割されたベンチマークでの実験は、提案手法が静的なベースラインを大幅に上回ることを示しており、非定常環境におけるマルチモーダルOOD検出のための堅牢で時間的一貫性のあるフレームワークを提供します。