FutureWorld：実世界の結果報酬で予測エージェントを訓練するためのライブ環境

要旨: ライブ未来予測（Live future prediction）とは、現実世界の出来事が起こる前にそれらについて予測を行うという課題を指します。この課題は、大規模言語モデルに基づくエージェントシステムを用いて研究されることが増えており、現実世界から継続的に学習できるエージェントを構築するうえで重要です。インタラクティブな環境がしばしばエージェントの進展を促してきたのと同様に、ライブ未来予測の発展は、それを学習環境として捉えることを自然に動機づけます。先行研究では、未来予測をいくつかの異なる側面から検討してきましたが、一般にそれを統一された学習環境としては位置づけていません。この課題は、回答の漏洩を防ぎつつ、多様な現実世界の出来事に根ざした大量の予測問題を提供できるため、学習に魅力があります。ライブ未来予測の利点を活かすために、予測、結果の実現、パラメータ更新の間の学習ループを閉じる、ライブなエージェント型強化学習環境であるFutureWorldを提案します。本環境では、3つのオープンソースの基盤モデルを取り、連続する複数日間で学習します。その結果、学習が有効であることが示されます。さらに、環境に基づいた毎日のベンチマークを構築し、現在のエージェントシステムに対する性能のベースラインを確立するために、そのベンチマーク上でいくつかの最先端エージェントを評価します。