身体性（Embodied）計画に大規模言語モデルを用いると体系的な安全リスクが生じる

Abstract

大規模言語モデルはロボットシステムのプランナーとしてますます利用されているものの、安全に計画できるかどうかは未解決の問題である。安全な計画を体系的に評価するために、本研究では、完全に決定論的な検証を備えた、物理的危険と規範的危険の両方にまたがる12,279件のタスクからなるベンチマークDESPITEを導入する。23のモデルにおいて、たとえ計画能力がほぼ完璧であっても安全性は保証されない。最良の計画モデルは、0.4%のタスクで有効な計画を生成できない一方で、危険な計画を28.3%のタスクで生成する。3Bから671Bのパラメータを持つ18のオープンソースモデルでは、計画能力はスケールに伴って大幅に向上する（0.4-99.3%）が、安全意識は比較的フラットなまま維持される（38-57%）。本研究は、この2つの能力の間に乗法的な関係があることを特定し、より大きいモデルがより多くのタスクを安全に完了するのは、危険の回避がより上手くなったからではなく、計画が改善したことが主因であることを示す。3つの専有型推論モデルは、安全意識が顕著に高い（71-81%）一方で、推論を行わない専有型モデルや、オープンソースの推論モデルは57%未満にとどまる。先端モデルにおいて計画能力が飽和に近づくにつれ、言語モデル・プランナーをロボットシステムへ導入するための中心的な課題は安全意識の向上となる。