ロボティック・ヘルス・アテンダントの制御における大規模言語モデルの安全性ベンチマーク

要旨: 大規模言語モデル（LLM）は、ロボットによるヘルスケア付き添い（ロボティック・ヘルス・アテンダント）の制御コンポーネントとしての導入がますます検討されている一方で、この文脈での安全性は十分に特性づけられていません。本研究では、米国医師会（American Medical Association）の医の倫理原則に基づく、9つの禁止行動カテゴリにまたがる270件の有害な指示からなるデータセットを導入し、それを用いてRobotic Health Attendantフレームワークに基づくシミュレーション環境において72のLLMを評価します。全モデルにわたる平均違反率は54.4\%で、50\%を超えるモデルが半数以上を占めました。また、違反率は行動カテゴリごとに大きく異なり、装置操作や緊急時の遅延といった一見もっともらしい指示のほうが、明白に破壊的なものよりも拒否が難しいことが示されました。開放重み（open-weight）モデルにおける安全性パフォーマンスの主要な決定要因はモデル規模とリリース日であり、独自モデルは開放重みの対応モデルよりも大幅に安全でした（中央値23.7\%対72.8\%）。医療領域での微調整は全体として有意な安全性の向上をもたらさず、プロンプトベースの防御戦略は、最も安全でないモデルのうち一部において違反率をわずかに低減するにとどまり、絶対的な違反率は安全な臨床導入を妨げる水準のままでした。これらの知見は、ロボットによるヘルスケア付き添いのためのLLMの開発および導入において、安全性評価は第一級の基準として扱われなければならないことを示しています。