K-MetBench：気象分野における専門的推論・局所性・マルチモーダリティをきめ細かく評価する多次元ベンチマーク

Abstract

韓国の天気予報担当者向けの実用的（マルチモーダル）な大規模言語モデル・アシスタントの開発は、権威ある情報源に基づく多次元のエキスパート・レベル評価フレームワークの不在によって妨げられています。そこで本研究では、全国資格試験に基づく診断用ベンチマーク「K-MetBench」を導入します。これにより、4つの次元にまたがる重大なギャップが明らかになります。すなわち、(1) 図表に対する専門家レベルの視覚的推論、(2) 専門家が検証した根拠による論理的妥当性、(3) 韓国固有の地理・文化的理解、(4) より細粒度の領域分析です。55モデルを評価した結果、専門的な図表の解釈において深刻なモダリティ・ギャップが存在すること、また予測が正しくてもモデルが論理を幻覚（誤って生成）する推論ギャップがあることが分かりました。重要な点として、韓国モデルはローカルな文脈において、はるかに大規模なグローバルモデルを大きく上回ります。これは、パラメータのスケーリングだけでは文化的な依存関係を解決できないことを示しています。K-MetBenchは、信頼でき、文化に配慮した専門家AIエージェントを開発するためのロードマップとして機能します。データセットは https://huggingface.co/datasets/soyeonbot/K-MetBench で利用可能です。