KITE：VLMベースのロボット故障解析のためのキーフレーム索引付きトークン化エビデンス

要旨: 本論文では、訓練不要で、キーフレームにアンカーした、レイアウトを根拠とするフロントエンドであるKITEを提示する。KITEは、長いロボット実行動画を、視覚言語モデル（VLM）向けのコンパクトで解釈可能なトークン化されたエビデンスへ変換する。KITEは、各軌道を少数の動きの重要性が高いキーフレームの集合へ蒸留し、オープン・ボキャブラリの検出を行う。そして各キーフレームと、相対的な物体のレイアウト、軸、タイムスタンプ、検出信頼度を符号化する模式的な俯瞰図（BEV）表現をペアにする。これらの視覚的手がかりは、ロボットのプロファイルおよびシーン文脈トークンとともに統一プロンプトへ直列化され、既製のVLMによって、同じフロントエンドが失敗検出、同定、ローカリゼーション（位置特定）、説明、そして修正を支援できるようになる。RoboFACベンチマークにおいて、Qwen2.5-VLを用いたKITEは、訓練不要設定において、素のQwen2.5-VLを大幅に上回る。特に、シミュレーションにおける失敗検出、同定、ローカリゼーションで非常に大きな改善が見られる一方、RoboFACで調整されたベースラインとも競争力を維持している。さらに、小規模なQLoRAによる微調整により、説明と修正の品質が一層向上する。加えて、実際のデュアルアームロボットに関する定性的結果も報告し、ロボットの故障解析のための構造化され解釈可能なフロントエンドとしてのKITEの実用的な適用可能性を示す。コードとモデルはプロジェクトページで公開している: https://m80hz.github.io/kite/