CoE：エージェント型マルチLLMシステムにおける不確実性定量化のための協調エントロピー（Collaborative Entropy）

Abstract

マルチLLMシステムにおける不確実性推定は、いまだに概ね単一モデル中心のままです。既存手法は各モデル内で不確実性を定量化しますが、モデル間にまたがる意味的な不一致を十分に捉えていません。このギャップに対処するために、マルチLLM協調における意味的不確実性のための統一された情報理論的指標であるCollaborative Entropy（CoE）を提案します。CoEは共有された意味クラスタ空間上で定義され、2つの成分、すなわち（1）モデル内の意味エントロピーと（2）アンサンブル平均に対するモデル間の発散を組み合わせます。CoEは加重アンサンブル予測器ではありません。これは協調における信頼と不一致を特徴づけるシステムレベルの不確実性指標です。CoEの主要な性質として、非負性、完全な意味的合意がある場合のゼロ値の確実性、そして個々のモデルがデルタ分布へ崩壊したときのCoEの振る舞いを含めて解析します。これらの結果により、各モデルの不確実性を減らすことで足りる場合と、それでもなお残るモデル間の不一致がいつ生じるかが明確になります。また、この指標の実用的な応用として、学習不要のシンプルなCoE誘導型ポストホック協調ヒューリスティックも提示します。LLaMA-3.1-8B-Instruct、Qwen-2.5-7B-Instruct、Mistral-7B-Instructを用いた\textit{TriviaQA}および\textit{SQuAD}での実験では、CoEが標準的なエントロピーおよび発散に基づくベースラインよりも強力な不確実性推定を提供し、さらに異種のモデルを追加するほど改善幅が大きくなることが示されます。総じて、CoEはマルチLLM協調に対する、不確実性を意識した有用な視点を提供します。