TEC：問題解決における試行錯誤の人間による試行軌跡のコレクション

要旨: 試行錯誤は、人間が複雑な問題を解くための基本戦略であり、現実世界の環境で動作する人工知能（AI）システムにとって必要不可欠な能力である。近年、いくつかの試行錯誤型AI手法が提案されてきたが、その多くは研究者によって設計された単純なヒューリスティックに依存しており、限定的な性能向上しか得られていない。根本的な問題は適切なデータの欠如である。現在のモデルは、人間が実際に試行錯誤をどのように行っているかを示す詳細な記録から学習できない。そこでこのギャップを埋めるため、データ注釈プラットフォームおよびそれに対応するデータセット、Trial-and-Error Collection（TEC）を導入する。本プラットフォームは、複数の試行にまたがるユーザの完全な軌跡を記録し、エラーフィードバックを受けた後にユーザの内省（リフレクション）を収集する。このプラットフォームを用いて、58の課題に対し46人の参加者の問題解決プロセスを記録し、41,229のウェブページにわたるエラーフィードバックとともに5,370本の試行軌跡を得た。このデータセットを用いることで、人間がLLMよりも大幅に高い精度を達成することを観察した。これは、人間の方がLLMよりも試行錯誤において効果的であることを示している。TECプラットフォームとデータセットは、人間の試行錯誤の行動を理解し、より能力の高いAIシステムを開発するための貴重な基盤を提供すると考えている。プラットフォームとデータセットは公開されている。