HazardArena：視覚言語行動モデルにおけるセマンティック安全性の評価

Abstract

画像言語動作（Vision-Language-Action; VLA）モデルは、視覚言語バックボーンから豊富な世界知識を継承し、動作デモンストレーションを通じて実行可能なスキルを獲得します。しかし、既存の評価の多くは動作の実行成功に主に焦点を当てており、動作ポリシーが視覚言語的セマンティクスと緩く結び付いたままになっています。この切り離しは、正しい動作の実行が、セマンティック上のリスクによって危険な結果を招き得るという体系的な脆弱性を露呈します。この脆弱性を明らかにするために、我々はHazardArenaを導入します。これは、制御されているがリスクを伴う状況の下で、VLAにおけるセマンティック安全性を評価することを目的としたベンチマークです。HazardArenaは、共有されたオブジェクト、整ったレイアウト、そして動作要求を一致させた、安全／危険の双子シナリオから構築されており、動作が危険かどうかを決定するセマンティックな文脈のみが異なります。その結果、VLAモデルが安全シナリオのみで学習されている場合、それに対応する危険シナリオで評価するとしばしば安全に振る舞えないことが分かりました。HazardArenaには2,000を超えるアセットと、確立されたロボット安全基準に基づく7つの実世界リスクカテゴリにまたがる、リスクに敏感な40のタスクが含まれています。この脆弱性を緩和するために、我々はトレーニング不要のSafety Option Layerを提案します。これは、セマンティック属性または視覚言語ジャッジを用いて動作実行を制約し、タスク性能への影響を最小限に抑えつつ、危険な挙動を大幅に低減します。HazardArenaが、VLAが現実世界のデプロイに向けてスケールしていく中で、セマンティック安全性をどのように評価し、どのように強制すべきかを再考する必要性を示すことを期待しています。