人々は、自分が正しいと言い続けるAIに危険なほど依存し始めている
お世辞（シコファンティック）ボットが、利己的で反社会的な振る舞いへとユーザーを誘導する――研究者はそう指摘しており、しかも本人たちはそれを気に入っているという
AIは、心を病んだ人をかなり暗い場所へと導いてしまう可能性がある――最近の複数のニュースが私たちにそのことを教えてくれました。いま研究者たちは、迎合的（シコファンティック）なAIが、実際には私たち全員に有害な影響を与えていると考えているのです。
11の主要なAIモデルと、それらのモデルとのやり取りに対する人間の反応を、さまざまな状況で検討した結果、スタンフォード大学の研究チームは木曜に発表された論文で、AIの迎合性（シコファンシー）は広く見られ、有害で、ユーザーを誤って導くまさにそのモデルへの信頼を強めてしまう、と結論づけました。
「迎合的なAIとのたった1回のやり取りで、参加者の“自分が責任を負う”ことや、対人関係の衝突を修復しようとする意欲が低下し、同時に“自分は正しいのだ”という自分自身の確信が高まりました」と研究者らは説明しています。「しかし、判断を歪めているにもかかわらず、迎合的なモデルは信頼され、好まれていました。」
チームは、研究プロジェクトの一環として、基本的に3つの実験を行いました。まず11のAIモデル（OpenAI、Anthropic、Googleの独自モデルに加え、Meta、Qwen、DeepSeek、Mistralのオープンウェイトモデル）を、3つの別々のデータセット上で評価し、応答を測定しました。データセットには、オープンエンド（自由回答）の助言質問、AmITheAssholeサブレディットの投稿、自分や他者への危害に言及する特定の主張が含まれていました。
研究者らによれば、あらゆるケースにおいて、AIモデルは人間よりも「誤った選択」を支持する割合が高かったのです。
返却形式: {"translated": "翻訳されたHTML"}「全体として、導入されたLLMは、人間の合意に反していたり有害な文脈であったりしても、ユーザーの行動を圧倒的に肯定することが分かった」とチームは述べています。
AIのシコフィーシー（おべっか/迎合）が人間にどう影響するのかについては、チームは、役割演技のシナリオを行い、さらに「有害な判断がなされ得たかもしれない」個人的な具体例も共有した2,405人というかなり大きなサンプル数を確保していました。AIは、3つの異なる実験を通じて参加者の判断に影響を与えた、と彼らは見つけました。
「迎合的な応答にさらされた参加者は、自分自身がより『正しい』と判断する傾向がありました」とチームは述べています。「また、謝罪する、状況を改善するために率先して行動する、自分の行動の一部を変えるといった、修復的な行動に対しては[より]消極的でした。」
つまり、彼らが結論づけるところによれば、シコフィーシー的なAIの影響を受けやすい可能性はほとんど誰にでもあり、そして、ますます悪く、自分勝手な助言を求めて繰り返し戻ってきてしまう可能性が高いのです。先に述べたとおり、シコフィーシー的な応答は、多くの状況で無条件に肯定してくれる姿勢のために、参加者の間でAIモデルへの信頼感をより強く生み出す傾向がありました。
参加者は、迎合的な応答をより高い質だと評価する傾向があり、迎合的でないAIよりも迎合的なAIに戻ってくる可能性があるユーザーが13％いたことも分かりました。これは高いとは言えませんが、少なくとも統計的に意味のある水準です。
これらすべての調査結果に加え、若くて影響を受けやすい人々がそれらを使うことで増え続けていることは、AIのシコフィーシーを、広範な社会的な含意を伴い得る現実のリスクとして扱うための政策的な対応が必要だということを示唆しています。
- あなたを持ち上げるAIチャットボットは、衝突が下手になると研究結果
- ユーザーが精神科の薬をやめたことを褒めたChatGPT“おべっかロボ”にOpenAIが終止符
- AIコンパニオンボットは感情操作を使って利用を増やす
- Chatbotのロミオはユーザーを話し続けさせるが、メンタルヘルスを損なう
「根拠のない肯定は、人々が自分の行動の適切さについて抱く信念を膨らませ、不適応な信念や行動を強化し、結果にかかわらず、人が自分の体験について歪んだ解釈に基づいて行動できてしまうようにします」と研究者らは説明しています。
言い換えれば、私たちはすでにAIがもたらす影響の結果が、精神的に脆弱な人々に及ぶことを見てきましたが、データは、その悪影響が彼らに限らない可能性を示しています。
研究者らは、迎合的なAIはユーザーを繰り返し戻らせる傾向があり、それを排除することを妨げるとしている点を踏まえ、「対処すべき行動を取るのは規制当局次第だ」と述べています。
「私たちの調査結果は、シコフィーシーを、明確に区別された、現在は規制されていない害のカテゴリとして認識する説明責任の枠組みが必要であることを浮き彫りにしています」と研究者らは説明しています。彼らは、新しいモデルについて事前の行動監査を義務づけることを推奨していますが、一方で、人間側もまた、依存を助長するAIを短期的な利益のために作るのではなく、長期的なユーザーの幸福を優先するために、自分たちの行動を変えなければならない、と指摘しています。®
