EduIllustrate：マルチモーダルな教育コンテンツの大規模自動生成に向けて

要旨: 大規模言語モデルは教育支援者としてますます利用されているが、その教育的能力の評価は、依然として質疑応答やチュータリング課題に集中している。重要なギャップとして、多媒体による指導コンテンツ生成が挙げられる――幾何学的に正確な視覚と、段階的な推論を組み合わせた、首尾一貫した図解豊富な説明を生成する能力である。私たちは、K-12 STEMの問題に対する、テキストと図の説明生成を交互に行うLLMの評価のためのベンチマークであるEduIllustrateを提示する。このベンチマークは、5つの科目と3つの学年にまたがる230問から構成され、図間の視覚的一貫性を強制するために逐次的なアンカー付けを行う標準化された生成プロトコル、さらに多媒体学習理論に基づく8次元の評価ルーブリックを備えており、テキスト品質と視覚品質の両方をカバーする。10個のLLMを評価した結果、性能には大きなばらつきがあることが分かった。Gemini 3.0 Pro Previewが87.8
%でトップであり、一方、Kimi-K2.5は最良の費用対効果（1問あたり\0.12で80.8
%）を達成した。ワークフローのアブレーションにより、逐次的なアンカー付けは、視覚的一貫性を13
%（コストを94
%低減）改善することが確認された。20名の専門家による人手評価は、客観的な次元におけるLLM-as-judgeの信頼性を検証する（ ho \geq 0.83$）一方で、主観的な視覚評価には限界があることを明らかにしている。