言語モデルエージェントにおける臨床的な懸念の軌跡(トラジェクトリ)のモデリング

arXiv cs.AI / 2026/5/1

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、臨床現場に投入されたLLMエージェントがしばしば閾値駆動で突発的にリスクをエスカレートし、その前段階の警告信号が見えにくくなる点を検討している。
  • 記憶を持たない臨床リスク・エンコーダを、一次および二次の状態ダイナミクスで時間方向に統合して、連続的なエスカレーション圧(pressure)信号を生成する軽量なエージェント構成を提案している。
  • 合成病棟シナリオの実験では、ステートレスなエージェントが鋭い「エスカレーションクリフ」を生む一方で、二次ダイナミクスではエスカレーション時刻が同程度でも、より滑らかで先読み的な懸念の軌跡が得られることを示した。
  • その軌跡は、エスカレーションの前に持続する不安(unease)を可視化し、ヒト・イン・ザ・ループによるモニタリングや、より情報に基づく介入につながり得る。
  • 著者らは、閾値を超えた「いつか」だけでなく「どれくらいの期間」懸念が高まってきたかを示すことで、明示的な状態ダイナミクスがLLMエージェントの臨床的な解釈可能性を高めると結論づけている。

概要: 臨床現場に導入された大規模言語モデル(LLM)エージェントは、多くの場合、閾値に駆動された急激な挙動を示し、エスカレーションに至る前に蓄積していくリスクの見通しがほとんど得られません。しかし実世界のケアでは、臨床従事者は即時のトリガーではなく、徐々に高まる懸念に基づいて判断します。本研究では、エージェントに臨床的な権限を委譲せずに、明示的な状態ダイナミクスによって、そのようなエスカレーション前のシグナルを可視化できるかを検討します。時間にわたってメモリレスの臨床リスクエンコーダを、一次および二次のダイナミクスを用いて統合し、連続的なエスカレーション圧力の信号を生成する、軽量なエージェント構成を提案します。合成の病棟シナリオにおいて、ステートレスなエージェントは鋭いエスカレーションの崖を示す一方で、二次ダイナミクスは、エスカレーションのタイミングが同程度であっても、より滑らかで先読み的な懸念の軌跡を生み出します。これらの軌跡は、エスカレーションに先立って持続する不安を浮かび上がらせ、人が介在する監視(human-in-the-loop)と、より情報に基づいた介入を可能にします。これらの結果は、明示的な状態ダイナミクスによって、閾値がいつ超えられたかだけでなく、どれくらい懸念が上がり続けているかを明らかにすることで、LLMエージェントをより臨床的に理解可能なものにできることを示唆しています。