テキスト誘導マルチモーダル統合型 産業異常検知

要旨: RGB-3Dマルチモーダルデータに基づく産業異常検出は、インテリジェントな品質検査のための主流パラダイムとして登場してきました。しかし、既存の教師なし手法には2つの重要な制限があります。すなわち、高レベルなセマンティック指導が欠如していることによって生じる曖昧なクロスモーダル整合と、RGBから3Dへの特徴マッピングに対する幾何学的モデリングの不足です。これらの課題に対処するために、テキストの意味（セマンティクス）に導かれた統一的なマルチモーダル産業異常検出フレームワークを提案します。このフレームワークは2つの主要モジュールで構成されます。すなわち、モダリティ変換の間に幾何学的構造を保持するための「幾何学認識クロスモーダル・マッパー」と、意味的な事前知識に従ってマルチモーダル特徴を整合させるための「オブジェクト条件付きテキスト特徴アダプタ」です。さらに、マルチモーダル産業異常検出のための統一された学習パラダイムを確立し、1モデル1クラスという制約を破り、単一のモデルで多様なクラスにまたがって正確な異常検出を可能にします。MVTec 3D-ADおよびEyecandiesデータセットに対する大規模な実験により、本手法は教師なし設定における分類とローカライゼーションで最先端の性能を達成することを示します。