HealthAdminBench：医療アドミニストレーションタスクにおけるコンピュータ利用エージェントの評価

要旨: 医療の事務（ヘルスケア管理）は年間で10億ドル（$1 trillion）超の支出を占めており、LLMベースのコンピュータ利用エージェント（CUA）にとって有望なターゲットとなっています。LLMの臨床応用は大きな注目を集めている一方で、CUAをエンドツーエンドの事務ワークフローで評価するためのベンチマークは存在しません。このギャップに対処するため、現実的なGUI環境4つから成るベンチマーク「HealthAdminBench」を導入します。具体的には、EHR、ペイヤー・ポータル2つ、ファックスシステムです。そして、3種類の事務タスクタイプにまたがる135の専門家定義タスク（Prior Authorization、Appeals and Denials Management、Durable Medical Equipment（DME）Order Processing）を含みます。各タスクは細粒度で検証可能なサブタスクに分解され、1,698の評価ポイントが得られます。複数のプロンプトおよび観測設定のもとで7つのエージェント構成を評価した結果、サブタスクにおける性能が高いにもかかわらず、エンドツーエンドの信頼性は依然として低いことが分かりました。最も性能の高いエージェント（Claude Opus 4.6 CUA）でもタスク成功率は36.3パーセントにとどまり、GPT-5.4 CUAはサブタスク成功率として最も高い82.8パーセントを達成します。これらの結果は、現在のエージェント能力と、実世界の事務ワークフローが要求するものとの間に大きな隔たりがあることを示しています。HealthAdminBenchは、医療の事務ワークフローを安全かつ信頼性のある形で自動化するための進展を評価するための、厳密な基盤を提供します。