方向性の混乱が、人間と機械の視覚における異なる帰納バイアスをレート・ディストーション幾何学で明らかにする

Abstract

人間と現代の視覚モデルは、系統的に異なる種類の誤りをしながらも、同程度の分類精度に到達できることがあります。誤りの頻度が異なるのではなく、「誰が誰と取り違えられるか」や「どちらの方向に取り違えられるか」が異なるのです。本研究では、こうした方向性のある混同が、精度だけでは見えない、異なる帰納バイアスを明らかにすることを示します。自然画像のカテゴリ分類タスクにおいて、12種類の摂動タイプのもとで、人間と深層視覚モデルの応答を対応づけて用い、混同行列の非対称性を定量化し、それをRate-Distortion（RD）枠組みにより一般化の幾何学と結び付けます。この関係は、3つの幾何学的シグネチャ（傾き（beta）、曲率（kappa））と効率（AUC）によって要約されます。その結果、人間は広いが弱い非対称性を示す一方で、深層視覚モデルはより疎で、強い方向性の崩壊を示すことが分かりました。頑健性トレーニングはグローバルな非対称性を低減しますが、段階的な類似性に基づく、人間に似た「広さ−強さ」のプロファイルを復元できません。メカニズムに基づくシミュレーションでも、性能が一致していても、異なる非対称性の組織化はRDフロンティアを逆方向に押しやることが示されます。これらの結果により、方向性のある混同とRDの幾何学が、分布シフト下における帰納バイアスを表す、コンパクトで解釈可能なシグネチャとして位置付けられます。