マルチモーダルLLMによる消化管診断のための臨床認知アラインメント

Abstract

マルチモーダル大規模言語モデル（MLLMs）は、医用画像解析において目覚ましい可能性を示してきました。しかし、消化管内視鏡への適用は、現在、2つの重要な制約によって妨げられています。すなわち、一般的なモデルの推論と標準化された臨床的認知プロセスとの不整合、および視覚的特徴と診断結果の間に因果的な関連が欠けていることです。本論文では、これらの課題に対処するために、新規のClinical-Cognitive-Aligned（CogAlign）フレームワークを提案します。まず、階層的な臨床的認知データセットを構築し、Supervised Fine-Tuning（SFT）を用いることで、モデルに厳密な臨床解析能力を与えます。従来のアプローチとは異なり、この戦略は、解剖学的な局在化や形態学的評価から微小血管解析に至るまでの、専門家の階層的な診断論理をモデルの内部に直接取り込みます。次に、視覚的バイアスを排除するために、標準的な教師ありチューニングは必然的に不適切な背景相関へ収束してしまうことを示す理論的分析を提示します。この洞察に導かれ、因果的な補正を強制する反事実駆動の強化学習戦略を提案します。病変マスキングによって反事実的な正常サンプルを生成し、臨床的認知に基づく報酬を通じて最適化することで、モデルが診断を因果的な病変特徴に厳密に根拠づけることを制約します。広範な実験により、提案手法が複数のベンチマークにおいてState-of-the-Art（SoTA）の性能を達成し、複雑な臨床シナリオにおける診断精度を大幅に向上させることを示します。すべてのソースコードとデータセットを公開します。