1トークンで実現するピクセルレベルのシーン理解：視覚状態には「何が・どこにあるか（what-is-where）」の構成が必要だ
arXiv cs.RO / 2026/3/26
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本研究は、ロボットが連続動画から得る視覚状態表現について、「何が・どこにあるか（what-is-where）」を明示的にエンコードすることが、時系列における微妙な変化を捉える鍵だと主張している。
- 提案手法CroBoは、参照画像をコンパクトなボトルネック「1トークン」に圧縮し、そのグローバルな文脈を用いてローカルに大きくマスクされた領域を復元する「global-to-local再構成」を学習する。
- 学習されたボトルネックトークンは、シーン内の要素の意味的な同一性・空間的位置・構成（configuration）を含む、きめ細かな表現を獲得し、観測間での要素の移動や相互作用を追跡できるとしている。
- ロボット向けの視覚ポリシー学習ベンチマークでSOTA性能を達成したほか、復元分析や知覚的整合性（perceptual straightness）の実験で、ピクセルレベルのシーン構図が保持されることを示した。
