SOMA：インコンテキスト適応による視覚言語行動モデルの頑健性を実現する、記憶増強型・戦略的オーケストレーション・システム

Abstract

汎用ロボットコントローラとしてのVision-Language-Action（VLA）モデルへの期待はあるものの、アウト・オブ・ディストリビューション（OOD）タスクにおける知覚ノイズや環境変動に対する頑健性は、長期メモリの欠如、因果的な失敗帰属の欠如、動的介入能力の欠如によって本質的に制限されています。これに対処するため、我々はSOMA（Strategic Orchestration and Memory-Augmented System）を提案します。SOMAは、パラメータのファインチューニングなしで凍結したVLAポリシーをアップグレードし、頑健なインコンテキスト適応を可能にします。具体的には、SOMAは、対比的なDual-Memory Retrieval-Augmented Generation（RAG）のオンライン・パイプライン、Attribution-Driven Large-Language-Model（LLM）オーケストレータ、拡張可能なModel Context Protocol（MCP）による介入、そして、実行トレースを信頼できる事前知識へと継続的に蒸留するオフラインのメモリ統合モジュールを通じて動作します。LIBERO-PROおよび我々が提案するLIBERO-SOMAベンチマークにおいて、3つのバックボーンモデル（pi0、pi0.5、SmolVLA）で行った実験評価により、SOMAが平均絶対成功率の向上56.6%を達成することが示されました。これには、長いホライズンのタスク連鎖における絶対的改善89.1%という顕著な向上が含まれます。プロジェクトページとソースコードは以下で利用可能です: https://github.com/LZY-1021/SOMA。