マルチキャリブレートされたLLMによる偏りのない有病率推定

arXiv cs.AI / 2026/4/25

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、診断テストや分類器、さらにはLLMなどの「測定装置」を使ってカテゴリの有病率（集団内での割合）を推定する際に、誤り率が集団間で安定しない可能性がある問題を扱います。
よくある「誤り率は安定している」という前提が、共変量シフト下では破綻し、その結果、標準的なキャリブレーション／クオンティフィケーション手法がバイアスを生むことを示します。
入力特徴量を平均だけでなく特徴量の条件付き区分ごとに較正するマルチキャリブレーションによって、共変量シフト下でも偏りのない有病率推定が理論的に可能であることを証明します。
シミュレーションおよび実データでの2つの検証（米国の雇用有病率推定と、複数国の政治テキストをLLMで分類）では、マルチキャリブレーションが実際にバイアスを大きく低減し、較正データには集団差が生じうる主要な特徴量次元を含める必要があることが示唆されます。
LLMを中心に議論されますが、理論結果は任意の分類モデルに適用でき、フェアネスのための較正理論と、幅広い学術分野にまたがる古典的な計測課題を結び付けています。

Abstract

不完全な測定装置（診断テスト、分類器、または大規模言語モデル）を用いて、あるカテゴリの有病率（ある集団における割合）を推定することは、科学、公衆衛生、オンラインの信頼性と安全性にとって基本的です。標準的なアプローチは、既知の装置エラー率を補正しますが、これらの率が集団間で安定していると仮定しています。我々は、この仮定が共変量シフトの下では成り立たないことを示し、入力特徴量に条件付けて較正（平均だけでなく）を強制する多重較正（multicalibration）が、そのようなシフトの下での有病率推定を不偏に行うのに十分であることを示します。標準的な較正および定量化（quantification）の手法は、この保証を提供しません。我々の研究は、公平性に関する最近の理論的研究を、ほぼすべての学術分野にまたがる長年の測定問題へと結び付けます。シミュレーションによって、標準的な手法ではシフトの大きさに応じてバイアスが増大する一方で、多重較正された推定量はほぼゼロのバイアスを維持することを確認します。議論は主にLLMに焦点を当てていますが、我々の理論結果は任意の分類モデルに適用できます。2つの経験的な応用—米国の州における雇用の有病率を American Community Survey を用いて推定すること、そしてLLMを用いて4か国にまたがる政治テキストを分類すること—は、多重較正が実際にバイアスを大幅に低減することを示すと同時に、較正データは、ターゲット集団が異なり得る主要な特徴量の次元をカバーすべきであることを強調しています。