Code-MIE：シーン・グラフとエンティティ属性知識強化を用いた、マルチモーダル情報抽出のためのコード風モデル

要旨: 大規模言語モデル（LLMs）の急速な発展に伴い、LLMに基づく情報抽出に注目する研究者がますます増えています。しかし、既存の関連手法にはまだ改善の余地があります。第一に、既存のマルチモーダル情報抽出（MIE）手法は通常、LLMの入力と出力として自然言語テンプレートを用いますが、これは、実体や関係などの構造化情報を主に含む情報タスクの特性と適合していません。第二に、いくつかの手法では、構造化され、情報抽出に適したコード風テンプレートを採用していますが、それらはマルチモーダルMIEではなく、テキストのみのIEに対して手法を検討しているにとどまります。さらに、それらの手法は設計がより複雑であり、タスクごとに個別のテンプレートを設計する必要があります。本論文では、MIEを統一的なコード理解および生成として形式化するコード風マルチモーダル情報抽出フレームワーク（Code-MIE）を提案します。Code-MIEには以下の新規設計があります：（1）性別、所属などの実体属性をテキストから抽出し、モデルが実体の文脈と役割を理解するよう誘導します。（2）画像をシーングラフおよび視覚的特徴に変換し、豊かな視覚情報をモデルに取り込むようにします。（3）入力テンプレートはPython関数として構築し、実体属性、シーングラフ、生のテキストが関数パラメータを構成します。これに対し、出力テンプレートは、実体、関係などのすべての抽出結果を含むPython辞書として形式化されます。Code-MIEを評価するために、M^3D、Twitter-15、Twitter-17、MNREの各データセットで大規模な実験を行いました。その結果、本手法は6つの競合ベースラインモデルと比較して最先端の性能を達成しており、M^3Dの英語データセットおよび中国語データセットでそれぞれ61.03 ext{%}および60.49 ext{%}、その他3つのデータセットでそれぞれ76.04 ext{%}、88.07 ext{%}、および73.94 ext{%}という結果が得られました。