VLA-InfoEntropy：Vision-Language-Actionモデルの推論加速と成功のための、トレーニング不要の視覚注意情報エントロピーアプローチ

要旨: Vision-Language-Action（VLA）モデルは、視覚認識、言語理解、行動の意思決定を統合し、モダリティをまたぐセマンティックな整合を実現することで幅広い応用可能性を示しています。しかし、高次元の視覚特徴、複雑な言語入力、連続した行動シーケンスの共同処理は、大きな計算オーバーヘッドと低い推論効率を招くため、リアルタイムでの導入や信頼性を妨げています。この課題に対処するために、各視覚トークンのグレースケール分布の特性を定量化するために画像エントロピーを用い、タスク関連テキスト上での注意スコアの分布を捉えるために注意エントロピーを導入します。視覚エントロピーは、テクスチャが豊富な領域や構造的に有益な領域を特定し、注意エントロピーは、意味的に関連するトークンを特定します。さらにタイムステップ情報と組み合わせることで、モデルの注目を大域的な視覚特徴から、注意に導かれた局所の情報的領域へと切り替える動的遷移戦略を可能にします。これにより、得られるVLA-InfoEntropy手法は、重要な内容を保持しつつ冗長性を削減するために、空間、意味、時間の手がかりを統合します。大規模な実験により、本手法が推論パラメータを削減し、推論速度を加速させ、既存の手法よりも優れていることが示されます。