不均衡分類におけるマイノリティ部分概念（サブコンセプト）の偏りを補正する性能推定

要旨: クラスレベルでの評価は、同じクラス内の下位概念（サブコンセプト）にまたがる実質的な性能差を隠してしまうことがあり、その結果、平均では良好な性能を示すモデルが、特定の下位集団（サブポピュレーション）では失敗することがあります。先行研究では、不均衡な分類に対する一般的な評価指標が、より大きい少数派の下位概念に偏っていること、また真の下位概念ラベルを用いたユーティリティベースの再重み付けによってこの偏りを軽減できることが示されています。しかし、こうしたラベルは検証（テスト）時にはほとんど利用できません。本研究では、利用できない下位概念ラベルを、多クラスの下位概念モデルから得られる予測事後確率で置き換える実用的なユーティリティ重み付き評価を導入します。評価の重みは、この事後に基づく期待ユーティリティとして定義され、予測された重み付けを用いた不確実性に配慮した指標として、predicted-weighted balanced accuracy（pBA）と呼びます。表形式ベンチマークに加えて、医用画像およびテキストデータセットでの実験により、クラス内の異質性のもとでは、重みなしのスコアが誤解を招きうる一方で、pBAは、下位概念の分布が偏っているものの病理的（破綻している）わけではない場合に、より安定で解釈可能な評価を提供することが分かりました。コードは以下で公開しています: https://anonymous.4open.science/r/correcting-bias-imbalance-9C6C/