大規模言語モデルのエビデンスに基づく分布整合化

要旨：分布整合は、ターゲットとなる集団が回答選択肢全体に対してどのように応答を分布させるかを予測可能にし、意見の不一致を単一の合意回答に収束させるのではなく回避します。 しかし、既存の LLM ベースの分布予測はしばしば不安定で、文化的およびドメインシフトの下で劣化します。 トークンスコアベースの推定は、選択肢文言のわずかな変更やフォーマット変更で変化することがあり、応答サンプリングベースの推定は高コストで、プロンプトやデコード設定に敏感で、直接生成された分布はしばしば適切に較正されていません。
我々は Evi-DA を提案します。証拠ベースの整合手法で、ドメインおよび文化的シフトの下での LLM ベースの分布推定の忠実度と頑健性を向上させます。対象の国と多肢選択問題を与えると、Evi-DA は関連する World Values Survey の項目と回答分布を取得し、各選択肢について粗い Welzel 値のシグネチャを予測し、国条件付きの回答分布を構造化された形式で推定します。我々は LLMs を 2 段階のパイプラインで訓練します。強化学習は、調査データに基づく報酬を最適化し、中間的な値の予測を正確に、最終的な分布を忠実に、適切に形成された構造化出力、文化的バイアスの低減を促進します。ドメイン内およびドメイン外のベンチマークと複数のオープンソースバックボーンにおいて、Evi-DA は予測分布とゴールド分布の間の Jensen-Shannon 発散を、強力なベースラインと比較して低減し、平均的な相対改善は最大で 44% となります。

返却形式: {"translated": "翻訳されたHTML"}