CAMO：不均衡データにおける頑健な言語モデル評価のためのクラス認識型・少数派最適化アンサンブル

Abstract

現実世界の分類は、クラスの不均衡によって深刻に妨げられています。というのも、従来のアンサンブルは多数クラスを優先するため、少数クラスの性能が低下し、結果として全体のF1スコアも下がるからです。私たちは、不均衡問題のためのCAMO（Class-Aware Minority-Optimized）と呼ばれる、独自のアンサンブル手法を提案します。CAMOは、投票分布、信頼度のキャリブレーション、モデル間の不確実性を組み込む階層的手順を通じて、過小評価されているクラスを動的に強化しつつ、少数クラスの予測を保持し、さらに増幅します。私たちは、非常に不均衡な2つのドメイン固有ベンチマーク、DIAR-AI/Emotionデータセットと、三値のBEA 2025データセットでCAMOを検証します。8種類の異なる言語モデル（3つのLLMと5つのSLM）を用い、ゼロショットおよびファインチューニング設定のもとで、7つの実証済みのアンサンブルアルゴリズムとベンチマーク比較します。改良したモデルでは、CAMOは一貫して最大の厳密なマクロF1スコアを達成し、新たなベンチマークを確立します。さらに、この利点はモデル適応と協調して機能し、最適なアンサンブルの選択はモデルの特性に依存することを示します。これは、CAMOが不均衡な分類のための信頼できる、ドメインに中立な枠組みであることを証明しています。