LLMベースのマルチエージェント計画における信頼性限界について

概要: この技術ノートは、委任された意思決定問題としてのLLMベースのマルチエージェント計画の信頼性限界を研究する。ここでは、LLMベースのマルチエージェント・アーキテクチャを、有限の非循環決定ネットワークとしてモデル化する。このネットワークでは、複数の段階が共有されるモデル文脈情報を処理し、限られた容量の言語インタフェースを通じて通信し、人間によるレビューを呼び出す可能性があることを仮定する。新たな外生的シグナルがない場合、任意の委任されたネットワークは、同じ情報にアクセスできる集中型ベイズ意思決定者によって意思決定論的に支配されることを示す。共通証拠レジームにおいてこれは、有限の通信予算のもとでマルチエージェントの有向非循環グラフを最適化することを、共有シグナル上の予算制約付き確率的実験を選択する問題へと読み替え可能であることを意味する。さらに、通信および情報圧縮によって生じる損失も特徴づける。適切なスコアリング規則のもとで、集中型ベイズ値と、通信後の値との差は、期待事後分岐（posterior divergence）の表現によって表され、ログ損失では条件付き相互情報量に、ブライアスコアでは事後誤差の期待二乗にそれぞれ帰着する。これらの結果は、委任されたLLM計画の根本的な信頼性限界を特徴づける。制御された問題設定に対するLLMを用いた実験でも、これらの特徴づけがさらに実証される。