適応型マルチエージェントLLMシステムによる信頼性の高い自傷リスク・スクリーニング

要旨: 行動ヘルスおよび精神医学領域における新興のAIシステムでは、希死念慮リスクの評価や抑うつのスクリーニングのようなタスクに対して、多段またはマルチエージェントのLLMパイプラインが用いられています。しかし、LLM-as-a-judgeのような一般的な評価手法は、意思決定がいつ信頼できるのか、また複数のLLM判定にまたがって誤りがどのように蓄積し得るのかを示しません。そのため、安全性が重要な領域への適用には限界があります。私たちは、ディレクテッド・エーシクリック・グラフ（DAG）として構造化されたマルチエージェント・パイプラインに対する統計的枠組みを提示し、原理に基づく適応的意思決定によって、ヒューリスティックな投票への代替を提供します。各エージェントを確率的なカテゴリ選択（stochastic categorical decision）としてモデル化し、(1) より厳密なエージェント単位の性能信頼区間、(2) 入力の難易度に基づくバンディット型の適応的サンプリング戦略、(3) 配備時に対数的な誤り増加を示すマルチエージェント・システムに対する後悔（regret）の保証、を導入します。私たちは、このシステムを行動ヘルスのラベル付きデータセット2つで評価します。すなわち、AEGIS 2.0行動ヘルスのサブセット（N=161）と、SWMH Reddit投稿の層化抽出サンプル（N=250）です。実験的に、私たちの適応的サンプリング戦略は、両データセットにおけるあらゆる条件の中で最も低い偽陽性率を達成し、AEGIS 2.0では単一エージェントモデルの0.159に対して0.095となりました。これにより、安全なコンテンツへの誤ったフラグ付けを40
%削減しつつ、すべての条件で偽陰性率は同程度のまま維持されました。これらの結果は、この設定において、原理に基づく適応的サンプリングが想起（recall）を低下させることなく適合率（precision）を有意に改善し得ることを示唆しています。