あらゆる応答が重要：テンソル分解によってLLMベースのマルチエージェントシステムの不確実性を定量化する

Abstract

大規模言語モデルベースのマルチエージェントシステム（MAS）は、複雑な課題において単一エージェントシステムよりも一貫して高い性能を示す一方で、その複雑な相互作用は、通信ダイナミクスや役割依存関係に起因する重要な信頼性課題を引き起こします。既存の不確実性定量化（Uncertainty Quantification）手法は、通常は単一ターンの出力を対象として設計されているため、MAS特有の複雑さに対応できません。具体的には、これらの手法は次の3つの異なる課題に苦戦しています。すなわち、多段推論における連鎖的な不確実性、エージェント間の通信経路のばらつき、そして通信トポロジーの多様性です。このギャップを埋めるために、テンソル分解によって不確実性を定量化する新しい枠組みであるMATUを提案します。MATUは、最終テキスト出力の分析にとどまらず、推論の全軌跡を埋め込み行列として表現し、複数の実行結果を高次テンソルとして整理します。テンソル分解を適用することで、異なる不確実性の発生源を切り分け、定量化し、さまざまなエージェント構造に対して一般化可能な包括的な信頼性指標を提供します。さらに、MATUが多様な課題や通信トポロジーにわたって、全体的で頑健な不確実性を効果的に推定できることを示す包括的な実験を提供します。