MMKU-Bench: 多様な視覚知識の更新に対応するマルチモーダル更新ベンチマーク

概要: 現実世界の知識が進化し続けるにつれて、事前学習中にマルチモーダルモデルによって獲得されたパラメトリック知識は、現実世界の知識と一貫性を保つことがますます難しくなる。既存の研究は、マルチモーダル知識更新が未知の知識を学習することのみに焦点を当て、モデルがすでに習得して後に変化する知識を更新する必要性を見落としている。さらに、評価は同一モダリティに限定され、モダリティ間の一貫性を体系的に分析することが欠けている。これらの問題に対処するため、本研究はMMKU-Benchを提案する。これはマルチモーダル知識更新の総合的な評価ベンチマークで、2万5千以上の知識事例と4万9千枚以上の画像を含み、更新された知識と未知の知識という2つのシナリオを網羅しており、異なる知識タイプ間での学習を比較分析できる。このベンチマークでは、監督付き微調整（SFT）、人間のフィードバックに基づく強化学習（RLHF）、および知識編集（KE）を含む、代表的なアプローチの様々な評価を行う。実験結果は、SFTとRLHFが壊滅的な忘却を起こしやすい一方で、KEは一般的な能力をより良く保持するが、継続的更新には明確な制約を示す。全体として、MMKU-Benchはマルチモーダル知識更新の信頼性が高く包括的な評価ベンチマークを提供し、この分野の進展を促進する。