言語モデルを用いた、将来に整合した研究提案の予測学習

要旨: 大規模言語モデル（LLM）は、研究における着想支援としてますます利用されるようになっていますが、LLMが生成した研究提案の質を評価することは依然として難しい課題です。新規性と妥当性の自動計測は困難であり、また大規模な人手による評価はコストが高くつきます。私たちは、提案生成を時間分割された科学的予測問題として捉え直すことで、検証可能な代替手法を提案します。ある研究課題と、カットオフ時刻以前に利用可能な刺激となる論文が与えられると、モデルは構造化された提案を生成し、その提案が、その時刻以降に公開された論文に現れる研究方向性をどれだけ予見しているかによって評価されます。この目的を、Future Alignment Score（FAS）として定式化します。FASは、保持しておいた将来コーパスに対して、検索とLLMベースの意味スコアリングにより算出します。モデルを訓練するために、ターゲットとそのカットオフ前の被引用文献からなる、17,771本の論文について時間的一貫性を保ったデータセットを構築し、ギャップの特定と着想の借用を教える推論トレースを合成します。Llama-3.1およびQwen2.5の各モデルにおいて、未来整合性のあるチューニングは、非整合なベースラインに比べて未来整合性を改善します（全体のFASで最大+10.6%）。さらに、ドメイン専門家による人手評価でも、提案の質の向上が裏付けられます。最後に、コードエージェントを用いて、モデル生成の提案を2つ実装することで実用上のインパクトを示します。新しいプロンプト戦略により、MATHで4.17%の精度向上を得るとともに、モデルマージ手法においても新規な手法で一貫した改善が確認されました。