身体化AIデータセットにおける言語多様性の限定性

Abstract: 言語はVision-Language-Action（VLA）モデルにおいて重要な役割を果たしますが、これらのシステムを訓練および評価するために使用されるデータセットの言語的特性は、十分に文書化されていません。本研究では、広く用いられているいくつかのVLAコーパスに対して体系的なデータセット監査を行い、これらのデータセットが実際にどのような種類の指示（instruction）を含んでいるのか、またどれほどの言語的多様性を提供しているのかを特徴づけることを目的とします。私たちは、語彙的多様性、重複や重なり、意味的類似性、統語的複雑性といった相補的な次元に沿って指示言語を定量化します。分析の結果、多くのデータセットが、構造のばらつきが限られた、高度に反復的でテンプレートのようなコマンドに依存しており、その結果として指示形式の分布が狭くなっていることが分かりました。私たちはこれらの知見を、現在のVLAの訓練および評価データに含まれる「言語シグナル」の記述的なドキュメンテーションとして位置づけます。これは、より詳細なデータセット報告を支援し、より原理的なデータセット選択を促し、さらに言語のカバレッジを広げるための、対象を絞ったキュレーションまたは拡張（augmentation）戦略につなげることを意図しています。