PolyReal：実世界の高分子科学ワークフローのためのベンチマーク

Abstract

マルチモーダル大規模言語モデル（MLLM）は一般的な領域では優れた性能を発揮しますが、複雑で現実の科学においては苦手です。我々は、化学、物理、生物学、工学にまたがる学際分野である高分子科学が、多様なマルチモーダルデータを持つため、重要度の高い試験場として理想的であると主張します。しかし、高分子科学に関する既存のベンチマークは、現実のワークフローをほとんど考慮しておらず、そのため実用上の有用性が制限され、実験の全ライフサイクルにわたって（実務に根ざした形で）MLLMを体系的に評価できていません。私たちは、現実の科学的実践に基づく新しいマルチモーダルベンチマーク PolyReal を導入し、高分子実験の全ライフサイクルにおいて MLLM を評価します。PolyReal は5つの重要な能力をカバーしています：（1）基礎知識の適用、（2）実験室の安全分析、（3）実験メカニズム推論、（4）生データ抽出、（5）性能と応用の探索。PolyReal における主要な MLLM の評価により、能力の不均衡が明らかになりました。モデルは知識集約的な推論（例：実験メカニズム推論）では良好な性能を示す一方で、実践に基づくタスク（例：実験室の安全分析や生データ抽出）では大きく性能が低下します。これは、抽象的な科学知識と、それを実務上の文脈に依存して適用することの間に深刻なギャップがあることを示しており、これらの現実世界のタスクが MLLM にとって依然として難しいことを浮き彫りにします。したがって PolyReal は、この評価ギャップの解消に貢献するとともに、現実の科学的ワークフローにおける AI システムを評価するための実践的なベンチマークを提供します。