正しい領域、間違ったラベル：相関シフト下でのセグメンテーションにおける意味ラベルの反転

要旨: 入力データ中の非因果的な特徴とターゲットラベルの間に生じる紛らわしい（spurious）相関によって、機械学習モデルの頑健性が損なわれることがあります。このような相関を検証する一般的な方法は、ラベルがある非因果的な手がかりと強く結び付いたデータで学習し、その結び付きがもはや成立しない例で評価することです。この発想は分類課題ではよく確立されていますが、意味セマンティックセグメンテーションでは特定の失敗モードが十分に理解されていません。私たちは、物体境界が概ね正しくても、もっともらしい前景クラスの1つを別のものに取り替えることで、間違った意味ラベルを割り当てながら、それなりのオーバーラップ（重なり）を達成し得ることを示します。私たちはこの意味ラベルの反転（label-flip）挙動に焦点を当て、シンプルな診断法（Flip）で定量化します。Flipは、予測が前景として残りながらも、真値の前景ピクセルが誤った前景の同一性（identity）として割り当てられている頻度を数えます。学習中にカテゴリとシーンが相関している設定では、その相関を高めるほど、一般的な条件と稀なテスト条件の間のギャップが一貫して広がり、反実仮想的な（counterfactual）グループにおける、オブジェクト内部でのラベルの取り替えが増加します。全体として、私たちの結果は、オーバーラップだけでなく、前景エラーを「正しいピクセル」「反転した同一性のピクセル」「見逃して背景になってしまったピクセル」に分解することで、分布シフト下でのセグメンテーション頑健性を評価することを動機づけます。さらに、前景の同一性に関する不確実性から計算される、エントロピーに基づく、真値ラベル不要の`flip-risk'スコアを提案し、推論時にflipを起こしやすいケースを検出できることを示します。コードは https://github.com/acharaakshit/label-flips で利用可能です。