私の言うことを聞くのをやめろ！ 多回対話は診断推論を劣化させる

要旨: 患者と臨床医は医療情報の問い合わせのために、LLMs（大規模言語モデル）を搭載したチャットボットをますます利用しています。最先端のLLMsは静的な診断推論のベンチマークでは高い性能を示す一方、現実世界の使用状況をよりよく反映する多回対話における有効性は十分に研究されていない。本論文では、3つの臨床データセットにわたり17のLLMを評価し、意思決定空間を複数のより単純な対話ターンに分割することが、診断推論にどのように影響するかを調べる。具体的には、対話全体を通じて「stick-or-switch」評価フレームワークを開発し、モデルの確信度（すなわち、正しい診断を擁護する、あるいは誤った提案に対して安全に棄却すること）と柔軟性（導入された正しい提案を認識する能力）を測定する。我々の実験は、会話コストを明らかにし、多回の相互作用が単回のベースラインと比較して性能を一貫して低下させることを示している。特に、モデルは初期の正しい診断や安全な棄却を誤ったユーザー提案に合わせるために放棄することが多い。さらに、いくつかのモデルは盲目的な切り替えを示し、信号と誤った提案を識別できない。