私たちは本当に何を測っているのか？ウェブ規模の自然画像コレクションにおけるデータセットバイアスを、教師なし意味クラスタリングで再考する

要旨: コンピュータビジョンにおいて、データセットのバイアスを定量化するための支配的な方法は、データセット間の識別ができるようにモデルを学習することである。続いて、高い分類精度は意味のある意味的差異の証拠として解釈される。このアプローチは、標準的な画像の拡張（オーグメンテーション）によって低レベルの非意味的な手がかりがうまく抑制され、残された性能はしたがって真の意味的な乖離を反映しているに違いない、という前提に依存している。我々は、この根本的な仮定が大規模な自然画像コレクションの領域では誤りであることを示す。高い分類精度はしばしば、解像度に基づくアーティファクトによって駆動される。これは、画像の本来の解像度分布や、リサイズ時の補間効果から生じる構造的な指紋（フィンガープリント）である。これらのアーティファクトは、従来の画像改変（コラプション）を行っても持続し、データセット固有の頑健なシグネチャを形成する。制御された実験を通じて、モデルは非意味的で手続き的に生成された画像に対しても強力なデータセット分類を達成し、表面的な手がかりへの依存を裏付けることを示す。この問題に対処するために、我々はデータセット分離可能性という数十年前からある考えを改めて見直すが、教師あり分類ではなく行う。代わりに、真の意味的な分離可能性を測定する教師なしアプローチを導入する。提案手法は、基盤となるビジョンモデルから得られる意味的に豊富な特徴をクラスタリングすることで、意味的類似性を直接評価し、データセットのラベルに対する教師あり分類を意図的に迂回（回避）する。主要なWebスケールのデータセットに適用すると、本研究の主眼であるところの、教師あり手法によって報告される高い分離可能性は大部分が消失し、クラスタリング精度は偶然に近い水準まで低下する。これは、従来の分類に基づく評価が、意味的バイアスを圧倒的な大きさで系統的に過大評価していることを明らかにする。