教師なしドメイン適応のためのデュアル・ファウンデーションモデル

Abstract

セマンティックセグメンテーションは、自動運転やきめ細かな認識タスクに不可欠なピクセルレベルのシーン理解を提供します。しかし、セグメンテーションモデルの学習には、実世界のデータセットに対する高コストで手間のかかるアノテーションが必要です。教師なしドメイン適応（UDA）は、ラベル付きの合成データでモデルを学習し、ラベルなしの実画像に適応させることでこの問題に対処します。概念的には単純ですが、合成データと実データの間にあるドメインギャップ、すなわち視覚的な見え方やシーン構造の違いのため、適応は困難です。従来のアプローチは、ピクセルレベルの混合や特徴レベルの対照学習によってこのギャップを埋めようとしてきました。しかし、これらの手法には大きく2つの制限があります：(1) 高信頼度の擬似ラベルへの依存により、学習がターゲットドメインの一部に限定されること、そして(2) プロトタイプベースの対照学習手法では、クラスのプロトタイプをソースで学習したモデルから初期化するため、適応中にバイアスがかかった不安定なアンカーが生成されることです。これらの課題に対処するため、2つの補完的な基盤モデルを活用するデュアル基盤UDAフレームワークを提案します。まず、高信頼度の予測を超えてより広い範囲のターゲットピクセルから学習できるように、超画素ガイド付きプロンピングを用いてセグメント・エニシング・モデル（SAM）を採用します。次に、表現学習の頑健性により安定したドメイン不変のクラスプロトタイプを構築するために、DINOv3を組み込みます。本手法は、GTAからCityscapesおよびSYNTHIAからCityscapesにおいて、それぞれ強力なUDAベースラインに対してmIoUを一貫して+1.3%および+1.4%改善します。