LLM駆動の文書分類における埋め込みベース手法と生成ベース手法の評価：機会と課題

要旨: 本研究は、地球科学の技術文書を分類するための、埋め込みベースモデルと生成モデルの比較分析を提示する。多分野にまたがるベンチマークデータセットを用いて、モデル精度、安定性、計算コストの間のトレードオフを評価した。その結果、Chain-of-Thought（CoT）プロンプトによって強化されたQwen2.5-VLのような生成型ビジョン-言語モデル（VLM）は、QQMM（63%）のような最先端のマルチモーダル埋め込みモデルと比べて、優れたゼロショット精度（82%）を達成することを見出した。さらに、教師あり微調整（SFT）がVLMの性能を向上させうる一方で、学習データの不均衡に対して敏感であることも示す。