EchoAgent：『目（Eyes）』『手（Hands）』『心（Minds）』による、信頼性の高い心エコー解釈への道筋

概要: 心エコー検査（Echo）の信頼できる解釈は、心機能の評価に不可欠であり、そのためには、臨床医が視覚的観察（eyes）、手作業による計測（hands）、専門知識の学習と推論（minds）を含む複数の能力を同期的に統括する必要があります。現在、特定タスク向けの深層学習アプローチやマルチモーダルの大規模言語モデルは、自動セグメンテーションや推論によってEcho解析を支援する可能性を示してきましたが、依然として限定されたスキル、すなわちeyes-handsまたはeyes-mindsに焦点を当てているため、臨床での信頼性と有用性が制限されています。これらの課題に対処するために、本研究ではエンドツーエンドのEcho解釈に特化したエージェント型システムEchoAgentを提案します。EchoAgentは、心臓超音波検査士のように、学習し、観察し、操作し、そして推論することで、eyes-hands-mindsを完全に協調させたワークフローを実現します。まず、専門性に基づく認知エンジンを導入し、エージェントが信頼できるEchoガイドラインを構造化された知識ベースに自動的に取り込み、Echoに最適化されたmindを構築できるようにします。次に、階層的な協調ツールキットを設計し、EchoAgentにeyes-handsを付与します。これによりEchoビデオストリームを自動的に解析し、心臓のビューを識別し、解剖学的セグメンテーションを行い、定量計測を実施できます。第三に、知覚されたマルチモーダルの証拠を、この専用の知識ベースと統合した上で、説明可能な推論を行うためのオーケストレーションされた推論ハブに組み込みます。EchoAgentを、14の心臓解剖学的領域にまたがる48種類の異なる心エコー観察ビューを含むCAMUSおよびMIMIC-EchoQAデータセットで評価します。実験結果は、EchoAgentが多様な構造解析において最適な性能を達成し、全体の精度が最大80.00%であることを示しています。重要なのは、EchoAgentが単一のシステムで、心臓専門医のように学習し、観察し、操作し、推論する能力を備えている点であり、信頼できるEcho解釈に大きな期待が持てることです。