プロンプトベースの分類におけるジニ係数の隠れた役割を解明する

概要: 分類タスクにおいて、長尾分布を持つマイノリティクラスは通常、最も重要な予測を提供します。しかし、これらのクラスは一貫して精度が低く、一方で数少ない高性能クラスが全体を支配します。我々はクラス精度の格差を検出し最適化（デバイアス除去）するツールとしてのジニ指数の隠れた役割を、プロンプトベース分類のケースに焦点を当てて基礎的に理解することを追求します。直感と洞察を紹介し、実世界のLLMとビジョンモデルにおけるジニ指数のスコアをベンチマークし、ジニの洞察を相対的な正確さの優位性の指標としてだけでなく、直接的な最適化指標としても徹底的に論じます。厳密なケース分析を通じて、まずプロンプトベースのテキスト分類と画像分類の結果の双方に、弱いものから強いものまでの相対的正確さの不均衡が存在し、分類が高次元か低次元かに関係なく存在することを示します。次にジニ指標を活用して事後のモデル非依存のバイアス緩和手法を提案します。数ショットのニュース、医学生物学、ゼロショットの画像分類にわたる実験結果は、我々の手法が相対的および絶対的な正確さの不均衡を有意に低減し、トップクラスの相対的優位性を最小化しつつ、最も弱いクラスを高めることを示しています。