Echo-{alpha}：超音波画像解釈のための大規模エージェント型マルチモーダル推論モデル

概要: 超音波の解釈には、病変の正確な位置特定と、全体的な臨床的推論の両方が必要です。しかし、既存の手法は通常、これらの能力のうちいずれか一方にのみ強みを持ちます。すなわち、専門的な検出器は位置特定に強い一方で推論は限定的であり、マルチモーダルの大規模言語モデル（MLLM）は柔軟な推論を提供するものの、専門的な医療領域における裏取り（グラウンディング）が弱いという状況です。そこで本研究では、超音波解釈のための、エージェント型マルチモーダル推論モデル Echo-{α} を提案します。Echo-{α} は、invoke-and-reason（呼び出して推論する）フレームワークの中でこれらの強みを統合します。Echo-{α} は、臓器ごとの検出器出力を調整し、それらをグローバルな視覚的文脈と統合し、検出器のみの推論を超えて、得られた根拠を根拠づけられた診断判断へと変換するように訓練されます。この振る舞いは、9タスクの教師ありカリキュラムによって確立され、その後、報酬のトレードオフが異なる下での逐次的強化学習によって洗練されます。その結果、病変のアンカーリングのための Echo-{α}-Grounding と、最終診断のための Echo-{α}-Diagnosis が得られます。多施設の腎臓および乳腺超音波ベンチマークにおいて、Echo-{α} は、グラウンディングと診断の両方で競合するベースラインを上回ります。特に、施設間のテストセットでは、Echo-{α}-Grounding が 56.73%/43.78% の F1@0.5 を達成し、Echo-{α}-Diagnosis は腎臓/乳腺超音波での全体精度として 74.90%/49.20% に到達します。これらの結果は、エージェント型マルチモーダル推論が、専門的な検出器を検証可能な臨床的エビデンスへと変換できることを示唆しています。さらに、より正確で、解釈可能で、かつ転用可能な超音波AIシステムへ向けた実用的な道筋を提供します。リポジトリは https://github.com/MiliLab/Echo-Alpha です。