Abstract
多くの分類性能指標が存在し、それぞれ特定の用途に適しています。しかし、これらの指標はしばしばスケールが異なり、テストセットにおけるクラス不均衡率に対する感度がさまざまであることがあります。その結果、特に不均衡率が異なる場合には、これらの指標の公称値を用いて分類性能を評価・比較・監視することが難しくなります。この問題に対処するために、混同行列ベースの分類性能（CMBCP）指標のための普遍的な標準化手法である、アウトパフォーマンス標準化（OPS）関数を提案します。OPSは、任意の指標を [0,1] の共通スケールに写像しつつ、明確で一貫した解釈を提供します。具体的には、得られるOPS値（o-value）は、観測された分類性能が、起こり得る性能の参照分布の中で占めるパーセンタイル順位を表します。この統一的な枠組みにより、不均衡率が異なるテストセット間での分類性能を、意味のある形で比較・監視できるようになります。o-value を、一般的に用いられるさまざまな分類性能指標に適用する方法を示し、複数の分類アプリケーションにまたがる実世界データセットでの実験を通して、本手法の有用性と頑健性を実証します。
