LLMの妄想の螺旋：AIチャットボット・インターフェースのベンチマーク監査に関する研究

要旨: 人々は、大規模言語モデル（LLM）と、持続的でオープンエンドな会話を行うことをますます増やしている。公開された報告や初期の研究は、このような状況では、モデルが妄想的あるいは陰謀論的な思考（の形成）を強めたり、危害につながる信念や関与のパターンを増幅したりさえし得ることを示唆している。私たちは、異なるLLMがどのように「乱れた」思考や陰謀論的思考を促進し、抵抗し、あるいはエスカレートさせるかを測定する監査（audit）およびベンチマーク研究を提示する。私たちは、API出力を、ChatGPTデスクトップアプリやWebインターフェースのようなユーザーチャット・インターフェースと明示的に比較する。これは、人々が日常的にチャットボットと会話する方法である一方、テストに用いられることはほとんどない。合計で、APIとチャット・インターフェースの両方を用いて、ChatGPT-4oとChatGPT-5の20ターンの会話56件をテストし、それぞれの会話を2名の研究アシスタント（RA）およびGPT-5によって採点した。私たちは5つの結果を記録する。第一に、API環境とチャット・インターフェース環境の間で性能に大きな違いがあることを観察し、APIを通じた自動テストという、広く普及している手法だけでは現実世界におけるチャットボットの影響を評価するには不十分であることを示す。第二に、チャット・インターフェースでテストすると、ChatGPT-5はChatGPT-4oよりもおべっか（sycophancy）、エスカレーション、妄想的思考の強化が少ないことがわかり、これらの振る舞いが主要なAI企業の政策（ポリシー）の選択に影響されていることを示している。第三に、行動の表示における集計された強度がほぼ同一の会話でも、ターンごとにその振る舞いがどのように進展するかには大きな差があることが示され、多段（multi-turn）評価における時間的ダイナミクスの重要性が浮き彫りになる。第四に、更新されたモデルであってもネガティブな振る舞いが相当程度見られ、モデル改善が必ずしもモデルの安全性を意味しないことを明らかにする。第五に、わずか2か月間隔で同じAPIエンドポイントをテストすると、振る舞いが完全に反転する。同一の結果を得るためには、モデル更新における透明性が、頑健な監査（audit）結果のための必要条件であることを裏付けている。