BED-LLM：LLMとベイズ実験計画によるインテリジェントな情報収集

Abstract

我々は、逐次ベイズ実験計画（Bayesian experimental design: BED）の枠組みを用いて、大規模言語モデル（LLM）がユーザーやその他の外部ソースから、情報をインテリジェントかつ適応的に収集する能力を高めるための汎用的なアプローチを提案する。このことにより、LLMは効果的なマルチターンの対話エージェントとして振る舞い、外部環境と双方向にインターフェースできるようになる。我々の提案は BED-LLM（大規模言語モデルによるベイズ実験計画）と呼ばれ、事前に収集した応答に基づき、関心のある変数に関して期待情報利得（EIG）を最大化するような質問やクエリを反復的に選択することに基づいている。我々は、このEIGが（その後推定される形で）LLMの予測分布から導出した確率モデルを用いて、原理に基づく方法で定式化できることを示し、さらにその構築および更新手順における重要な意思決定について詳細な洞察を提供する。20の質問ゲームに基づく幅広いテストにおいて、またユーザーの嗜好をLLMが積極的に推論する際に、BED-LLMは、単なるプロンプトに基づく設計生成や他の適応的設計戦略と比べて、性能面で大きな改善を達成することを見出した。