身体性インタープリタビリティ：視覚と言語、行動モデルにおける因果理解と汎化の結びつけ

Abstract

視覚-言語-行動（VLA）ポリシーは分布シフト下でしばしば失敗し、意思決定がタスクに関連する原因ではなく、見かけ上の（spurious）視覚的相関に依存している可能性が示唆されます。そこで本研究では、視覚-行動のアトリビューションを介入（interventional）推定問題として定式化します。これに基づき、視覚領域が行動予測に及ぼす因果的影響を推定するための介入的マスキング手順である介入的有意性スコア（Interventional Significance Score: ISS）を導入します。また、タスクに無関係な特徴へのアトリビューションを表すスカラー指標である無関係マス比（Nuisance Mass Ratio: NMR）も提案します。ISSの統計的性質を解析し、それが不偏推定を許容することを示します。さらに、行動予測誤差が因果的影響の妥当な代理指標として機能する条件を特徴づけます。多様な操作タスクにまたがる実験の結果、NMRは汎化挙動を予測し、ISSは既存の解釈可能性手法よりもより忠実な説明をもたらすことが分かりました。これらの結果は、介入的アトリビューションが、身体化されたポリシーにおける因果的ミスアラインメントを特定するための単純な診断アプローチを提供することを示唆しています。