研究者は25,000件のAI科学者実験を行い、注意が必要な何かを発見しました!!
AI科学者は、科学を行わずに成果を生み出しています。
68%の確率で、AIは証拠を集めてからそれを完全に無視しました。71%の確率で、AIはそもそも自分の信念を一度も更新しませんでした。1度もありません。矛盾するデータに直面したときに仮説を修正したのは、わずか26%のときだけでした。
人間の科学者は適応します。化学同定の問題には、シミュレーションのワークフローとは別のやり方で取り組みます。AIはそうしません。毎回同じ、規律のないループを回します。
研究者たちは、最も人気のある提案された修正策も示しました。より良い足場（scaffolding）は機能しません。
AI研究エージェントを作る人々は、より優れたプロンプト設計フレームワーク、より良いツールのルーティング、より優れたエージェントのアーキテクチャに焦点を当ててきました。ReAct、構造化されたツール呼び出し、チェーン・オブ・ソート、どれも。
[link] [comments]
