要旨: 学習された知覚に依存する自律システムは、センサーの読み取りが誤分類されると、安全でない判断を下す可能性があります。本研究では、この設定に対するシールド(遮蔽)を扱います。提案された行動が与えられると、シールドは安全性を侵害し得る行動をブロックします。ここでは、システムのダイナミクスは既知である一方、知覚の不確実性は有限のラベル付きデータから推定する必要がある、一般的なケースを考えます。これらのデータから、知覚結果の確率に対する信頼区間を構築し、それを用いて、離散的な状態と行動を持つ有限の区間部部分観測マルコフ決定過程(finite Interval Partially Observable Markov Decision Process)としてシステムをモデル化します。次に、これまでに観測された内容と整合する、基礎となる状態に対する保守的な信念(belief)の集合を計算するためのアルゴリズムを提案します。
これにより、有限ホライズンの保証を備えた実行時シールドを構築できるようになります。訓練データに関して高い確率で、真の知覚不確実性の率が学習された区間内にあるならば、シールドによって許可されるすべての行動は、安全性に関する所定の下限を満たします。4つのケーススタディに関する実験により、提案するシールド手法(およびそこから導出した変種)が、最先端のベースラインと比べてシステムの安全性を改善することが示されました。
不完全知覚エージェントに対する区間POMDPシールド(Interval POMDP Shielding)
arXiv cs.AI / 2026/4/23
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、学習された知覚がセンサ読み取りを誤分類すると自律エージェントが危険な判断をする問題に取り組み、「シールド」によって危険な行動をブロックする手法を提案する。
- 著者らは、有限のラベル付きデータから知覚の不確実性を推定し、知覚結果の確率に対する信頼区間を構築することで、既知のシステムダイナミクスと不確実性を組み合わせて扱う。
- その上で、有限の区間付き部分観測マルコフ決定過程(Interval POMDP)として定式化し、これまでの観測と整合する保守的な信念集合を計算するアルゴリズムを提示する。
- 実行時のランタイムシールドとして、学習データに関する高い確率のもとで、真の知覚不確実性率が学習された区間内にあるなら、シールドが許可するすべての行動が安全性の下限を満たす有限ホライズン保証を与える。
- 4つのケーススタディの実験では、提案手法(派生バリアントを含む)が最先端のベースラインよりシステムの安全性を向上させることを示す。
関連記事

ChatGPTが『依存』だとユーザーを疑う件について
note

【AI×マインドフルネス】SUNO AIで挑む「朝の活力」4分間瞑想ガイド制作記
note

【note更新、嫌になってませんか】告知ゼロで19,860円の記事が累計3本売れた夜に、私が見ている世界規模の油田の話。あなたは今、石油を掘っている自覚はありますか? #生成AI #AI活用 #noteで読めるマンガ #ChatGPTImages2.0 #ChatGPT #Claude #Gemini #Kindle出版 #nanobanana #note #情報発信 #ビジネス #noteの書き方 #副業 #マーケティング
note

XのAI、Grok(グロク)と宇宙や構成のお話するよ。まずはグロクの性格から!
note

XのAI、Grok(グロク)と宇宙や構成のお話するよ。まずはグロクの性格から!
note