LLM制御ロボットシステムにおける事前実行セーフティゲートとタスクセーフティ契約

要旨: 大規模言語モデル（LLM）は、タスク指令をロボットが実行可能なコードへ変換する用途にますます使われるようになっていますが、このパイプラインには、ロボットコードに翻訳される前に危険で欠陥のある指令を検出するための検証ゲートが欠けています。さらに、最初の時点では安全に見える指令であっても、継続的な制約監視がない場合、実行中に危険な状態遷移を引き起こすことがあります。本研究では、危険な自然言語タスク指令がロボットの実行に到達することを防ぐ、ニューロシンボリックな安全性アーキテクチャであるSafeGateを提案します。ISO 13482の安全規格に基づき、SafeGateは自然言語指令から安全に関わる構造化された特性を抽出し、実行を許可するか拒否するかを決定論的な意思決定ゲートで適用します。加えて、Task Safety Contracts（タスク安全契約）を導入し、ゲートを通過した指令を、不変条件、ガード、および中止条件に分解することで、実行中の危険な状態遷移を防ぎます。さらに、Task Safety Contractsから導出される制約検査を強制するために、Z3 SMTソルバによる解法を組み込みます。230のベンチマークタスク、30のAI2-THORシミュレーションシナリオ、および実環境でのロボット実験において、SafeGateを既存のLLMベースのロボット安全性フレームワークとベースラインLLMに対して評価しました。その結果、SafeGateは無害なタスクの受理率を高く維持しながら、欠陥のある指令の受理を大幅に低減することを示し、LLMが制御するロボットシステムに対する実行前安全ゲートの重要性を明らかにしました