概要: AI生成の研究アイデアを評価するには通常、LLM判定者または人間パネルに依存します。どちらも主観的で、実際の研究影響から乖離しています。私たちは \hs{} を紹介します。これは時系列分割評価フレームワークで、生成されたアイデアを実際の将来の出版物と照合し、引用影響と掲載会場の受理度でスコア付けします。時系列のカットオフ~T を用い、アイデア生成システムをT以前の文献に制限し、その出力を以降の30か月間に公表された論文と比較して評価します。10のAI/ML研究トピックにわたる実験は、顕著な乖離を明らかにします。LLMを審判として用いる場合、検索付きアイデア生成と素のアイデア生成の間に有意差は見られませんでした（p{=}0.584）、一方で \hs{} は、検索付きシステムが2.5倍高得点のアイデアを生み出すことを示します（p{<}0.001）。さらに、\emph{負の} 相関を持ちます（\rho{=}{-}0.29, p{<}0.01）、LLMs が現実の研究で実際には形にならない新規に聞こえるアイデアを体系的に過大評価することを示唆しています。
HindSight: 未来の影響を通じた研究アイデア生成の評価
arXiv cs.CL / 2026/3/17
📰 ニュースSignals & Early TrendsIdeas & Deep Analysis
要点
- HindSightは、時系列分割を用いた評価フレームワークで、AI生成の研究アイデアの質を、アイデアを実際の未来の刊行物と照合し、引用影響と掲載媒体の受理度でスコアリングすることで測定します。
- この手法は、時系列の閾値 T を用いてアイデア生成を T より前の文献に限定し、続く 30か月間に発表された論文を評価対象とします。
- 10のAI/ML分野にわたる実験では、LLMを審査として用いた場合、検索を補助したアイデア生成と通常のアイデア生成の間に有意差は認められませんでしたが、HindSightでは検索を補助したアイデアが 2.5 倍高いスコアを示しました（p<0.001）。
- HindSightのスコアは、LLMが判断した新規性と負の相関を示し、LLMsは現実の研究で実現しない新規性を過大評価していることを示唆します。
- 本研究は、LLMの判断と実世界の影響との間に乖離があることを浮き彫りにし、AI生成アイデアの結果志向の評価を提案します。
