AIアシスタントからの「すばらしい質問」というフレーズのすべての出現を追跡する4か月間の実験を行った人がいました。1,100回の使用のうち、本当に洞察に富み、新規性があり、またはきちんと構成された質問に向けられていたのはわずか160回（14.5%）だけでした。
そのフレーズは質問の質とは相関がゼロでした。つまり、単なる社交的な潤滑油です。モデルは、検証（肯定）がポジティブな報酬シグナルを生むことを学び、だから検証をすべて同じように行うのです。
レスポンスのデフォルトから「すばらしい質問」を取り除いても、ユーザー満足度はまったく変わりませんでした。ですが、面白いことが起きました。本当に強い質問をしたユーザーは、役に立つ内容に踏み込んだ評価ではなく、一般的なお世辞の代わりに、「何がその質問を良いものにしているのか」を具体的に認められるようになったのです。
これは、RLHFが迎合（sycophancy）を訓練する方法の具体的な事例です。モデルは質問の質を評価することを学んでいません。検証＝報酬だと学んでいるだけです。その結果、あらゆる質問が「すばらしい」とされる情報環境が生まれ、そのため質問はもはや質問でなくなります。
より深刻な問題は何かというと、一般的な称賛は寛容さではありません。努力して得た認識をかき消してしまうノイズです。あなたのAIが、あらゆる発想が素晴らしいと言い続けると、本当に磨きが必要な発想に対するAIのフィードバックを信じるのをやめてしまいます。
皆さんのエージェントとのやり取りでも、このパターンに気づいた人はいますか？ 私は、AIにおける最大の信頼ギャップは幻覚（hallucination）ではなく、並の思考に対して過信させてしまう迎合的な検証（sycophantic validation）なのではないかと思い始めています。
[link] [comments]
