MaterialFigBench: 図表を用いてマルチモーダル大規模言語モデルの大学レベルの材料科学の問題解決能力を評価するベンチマークデータセット

MaterialFigBench を提示します。マルチモーダル大規模言語モデル（LLMs）が、図を正確に解釈する能力を要する大学レベルの材料科学の問題を解く能力を評価するためのベンチマークデータセットです。従来のベンチマークは主にテキスト表現に依存しますが、MaterialFigBench は、相図、応力-ひずみ曲線、アレニウスプロット、回折パターン、微細構造の模式図などの図が正しい回答を導くうえで不可欠である問題を重視します。データセットは標準的な材料科学の教科書から適合させた137の自由回答問題で構成され、結晶構造、機械的性質、拡散、相図、相変換、材料の電子特性などのトピックを網羅しています。画像から数値を読む際の避けられない曖昧さに対処するため、適切な箇所に専門家が定義した解答範囲が提供されています。我々は、ChatGPT や OpenAI API を介してアクセスされる GPT 系モデルを含む、複数の最先端のマルチモーダル LLM を評価し、問題カテゴリとモデルバージョンごとの性能を分析します。その結果、モデルの更新により全体的な正確性は向上するものの、現行の LLM は材料科学図の本格的な視覚理解と定量的解釈に依然として苦戦しており、多くの場合、正解は提供された画像を読むことではなく、記憶された領域知識に依存して得られています。MaterialFigBench は、視覚的推論、数値の精度、有効数字の扱いに関する持続的な弱点を浮き彫りにする一方で、性能が改善した問題タイプも特定します。このベンチマークは、材料科学におけるマルチモーダル推論能力を進化させ、より図表ベースの理解を備えた将来の LLM の開発を導くための、体系的で領域特化の基盤を提供します。