Au-M-ol：医療音声と言語理解のための統一モデル

Abstract

本研究では、音声処理を統合してLarge Language Models（LLM）を拡張する新しいマルチモーダルアーキテクチャであるAu-M-olを提案します。本モデルは、自動音声認識（ASR）のような臨床的に重要なタスクにおける性能の向上を目的としています。Au-M-olは主に3つのコンポーネントから構成されます：（1）医療音声から豊かな音響特徴を抽出する音声エンコーダ、（2）音声特徴をLLMの入力空間へ写像する適応層、（3）転写および臨床言語理解を行う事前学習済みLLMです。この設計により、モデルは話された医療内容を直接解釈できるため、精度と頑健性の両方が向上します。実験では、Au-M-olは医療転写タスクにおいて最先端のベースラインに比べてWord Error Rate（WER）を56\%低減します。また、本モデルは、雑音環境、領域固有の専門用語、話者によるばらつきといった、難しい条件下でも良好に動作します。これらの結果は、信頼性の高いかつ文脈に配慮した音声理解が不可欠である実世界の臨床応用において、Au-M-olが有力な候補であることを示唆しています。