KG-CMI：医療ビジュアル質問応答のための知識グラフ強化クロス・マンバ相互作用

要旨: 医用視覚質問応答（Med-VQA）は、臨床における意思決定支援および遠隔医療における重要なマルチモーダル課題である。近年の手法は、領域固有の医療知識を十分に活用できていないため、医用画像中の病変特徴を主要な診断基準に正確に結びつけることが難しい。さらに、分類ベースのアプローチは通常、あらかじめ定義された回答集合に依存する。Med-VQAを単純な分類問題として扱うことは、自由形式の多様な回答へ適応する能力を制限し、これらの回答に含まれる詳細な意味情報を見落とす可能性がある。これらの課題に対処するため、我々は、知識グラフ強化クロス-Mamba相互作用（KG-CMI）フレームワークを提案する。これは、きめ細かなクロスモーダル特徴アライメント（FCFA）モジュール、知識グラフ埋め込み（KGE）モジュール、クロスモーダル相互作用表現（CMIR）モジュール、および自由形式回答強化マルチタスク学習（FAMT）モジュールから構成される。KG-CMIは、グラフを通じて専門的な医療知識を効果的に統合することで、画像とテキストのためのクロスモーダル特徴表現を学習し、病変特徴と疾患知識の間の関連付けを確立する。加えて、FAMTは自由形式の質問から得られる補助的な知識を活用し、オープンエンド（自由回答形式）なMed-VQAに対するモデルの能力を向上させる。実験結果は、KG-CMIが3つのMed-VQAデータセット、すなわちVQA-RAD、SLAKE、OVQAにおいて、既存の最先端手法を上回ることを示している。さらに、フレームワークの有効性をより一層検証するために、解釈可能性に関する実験も実施する。