VLA-Forget: 身体化基盤モデルにおける視覚-言語-行動のアンラーニング

要旨: 視覚-言語-行動（VLA）モデルは、ロボットのマニピュレーションのための身体性を持つ基盤モデルとして登場しつつありますが、その導入には新たな忘却（アンラーニング）の課題が伴います。すなわち、知覚、言語グラウンディング、行動制御を劣化させることなく、危険な、紛れ込みのある（スパリアスな）、またはプライバシーに敏感な振る舞いを除去する必要があります。OpenVLAスタイルのポリシーでは、振る舞いは結合された視覚エンコーダ、クロスモーダル・プロジェクタ、トークン化されたロボット行動を予測する言語バックボーンによって生成されます。そのため、不適切な知識は、単一のモジュールに閉じ込められるのではなく、知覚、アライメント、推論/行動の各層に分散し得ます。結果として、視覚スタックのみに対して、あるいは言語バックボーンのみに対して部分的に忘却を適用するだけでは不十分であることが多く、一方で、単体の視覚モデルや言語モデルを対象に設計された従来の忘却ベースラインは、残存する忘却（忘れ残し）が生じたり、身体性のある設定では不要な有用性の損失を招いたりする可能性があります。私たちは、VLA-Forgetを提案します。これは、知覚に対して比率に配慮した選択的編集とクロスモーダルの特異性を組み合わせ、ユーティリティを保った忘却のために、層選択的な推論/行動の忘却を行うハイブリッドな忘却フレームワークです。VLA-Forgetは、視覚エンコーダ、プロジェクタ、上位の行動生成トランスフォーマブロックに対する段階的な更新を通じて、3つの目的、すなわちターゲットされた忘却、知覚の保持、推論の保持を同時に最適化します。忘却セットの振る舞いプローブおよび保持タスクの評価において、VLA-Forgetは、強力な忘却ベースラインに比べて、忘却の有効性を10%向上させ、知覚の特異性を22%保持し、推論とタスク成功を9%保持し、量子化後の回復を55%削減します。