ICAT:インシデント事例に基づく適応的テストで、身体性を備えたワールドモデルによる物理的リスク予測を行う

arXiv cs.RO / 2026/4/21

📰 ニュースIdeas & Deep AnalysisModels & Research

要点

  • 動画生成のワールドモデルは身体性のある計画や方策学習の「ニューラル・シミュレータ」として活用が進む一方、危険行動に伴う物理的リスクや重大結果の予測能力はこれまで十分に評価されていなかった。
  • 研究では、主要なワールドモデルが重要な危険の手がかりや重篤な結果を軽視・省略し、その結果として想像ロールアウトで不安全な嗜好が形成されうる点を指摘した。
  • これに対しICATは、実際のインシデント報告と安全マニュアルを根拠にリスク記憶を構造化し、因果連鎖と重大度ラベルを伴うリスク事例の生成を取得・合成によって制約する。
  • ICATベースのベンチマーク実験では、多くの主流ワールドモデルがメカニズムや引き金となる条件を取り逃し、重大度の校正も誤っており、安全性が不可欠な身体性ある運用に必要な信頼性に達していないことが示された。

要旨: 動画生成型の世界モデルは、身体性のある計画および方策学習のためのニューラル・シミュレータとしてますます用いられていますが、物理的なリスクや深刻な結果を予測する能力は、ほとんど評価されていません。私たちは、これらのモデルが危険な行動に対する重要な危険合図や深刻な結果をしばしば過小評価したり、そもそも省略したりすることを見出しました。これにより、想像上のロールアウトに対する計画や学習の間に、危険な選好が誘発され得ます。そこで私たちは ICAT を提案します。ICAT は、実際のインシデント報告と安全マニュアルに基づいてテストを行うものであり、構造化されたリスク記憶を構築し、それらを検索・合成することで、因果関係の連鎖と重大度ラベルを伴うリスク事例の生成を制約します。ICAT ベースのベンチマークでの実験では、主流の世界モデルがしばしばメカニズムや引き金となる条件を見落とし、重大度の校正も誤っていることが示され、安全性に重大な身体性を伴う実運用に必要とされる信頼性に届いていません。

ICAT:インシデント事例に基づく適応的テストで、身体性を備えたワールドモデルによる物理的リスク予測を行う | AI Navigate