不完全知覚エージェントに対する区間POMDPシールド(Interval POMDP Shielding)

arXiv cs.AI / 2026/4/23

📰 ニュースIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、学習された知覚がセンサ読み取りを誤分類すると自律エージェントが危険な判断をする問題に取り組み、「シールド」によって危険な行動をブロックする手法を提案する。
  • 著者らは、有限のラベル付きデータから知覚の不確実性を推定し、知覚結果の確率に対する信頼区間を構築することで、既知のシステムダイナミクスと不確実性を組み合わせて扱う。
  • その上で、有限の区間付き部分観測マルコフ決定過程(Interval POMDP)として定式化し、これまでの観測と整合する保守的な信念集合を計算するアルゴリズムを提示する。
  • 実行時のランタイムシールドとして、学習データに関する高い確率のもとで、真の知覚不確実性率が学習された区間内にあるなら、シールドが許可するすべての行動が安全性の下限を満たす有限ホライズン保証を与える。
  • 4つのケーススタディの実験では、提案手法(派生バリアントを含む)が最先端のベースラインよりシステムの安全性を向上させることを示す。

要旨: 学習された知覚に依存する自律システムは、センサーの読み取りが誤分類されると、安全でない判断を下す可能性があります。本研究では、この設定に対するシールド(遮蔽)を扱います。提案された行動が与えられると、シールドは安全性を侵害し得る行動をブロックします。ここでは、システムのダイナミクスは既知である一方、知覚の不確実性は有限のラベル付きデータから推定する必要がある、一般的なケースを考えます。これらのデータから、知覚結果の確率に対する信頼区間を構築し、それを用いて、離散的な状態と行動を持つ有限の区間部部分観測マルコフ決定過程(finite Interval Partially Observable Markov Decision Process)としてシステムをモデル化します。次に、これまでに観測された内容と整合する、基礎となる状態に対する保守的な信念(belief)の集合を計算するためのアルゴリズムを提案します。
これにより、有限ホライズンの保証を備えた実行時シールドを構築できるようになります。訓練データに関して高い確率で、真の知覚不確実性の率が学習された区間内にあるならば、シールドによって許可されるすべての行動は、安全性に関する所定の下限を満たします。4つのケーススタディに関する実験により、提案するシールド手法(およびそこから導出した変種)が、最先端のベースラインと比べてシステムの安全性を改善することが示されました。