3D-VCD：視覚コントラスト付きデコーディングによる3D-LLMエンボディドエージェントにおける幻覚の抑制

Abstract

大規模マルチモーダルモデルは、3D環境で動作する身体性のあるエージェントの推論中核としてますます利用されている一方で、安全で根拠のない意思決定を引き起こし得る幻覚（ハルシネーション）に依然として脆弱です。既存の推論時（inference-time）における幻覚対策手法の多くは、主に2Dの視覚と言語の設定を対象としており、失敗の原因がピクセルレベルの不整合ではなく、物体の存在、空間レイアウト、そして幾何学的な根拠付けにある身体性のある3D推論には十分に転移しません。本研究では、3D身体性エージェントにおける幻覚対策のための、最初の推論時ビジュアル対比付きデコーディング枠組みである3D-VCDを提案します。3D-VCDは、カテゴリの置換や座標・範囲の破損といった、物体中心表現に対して意味的および幾何学的な摂動を適用することで、歪んだ3Dシーングラフを構築します。元の3D文脈と歪んだ3D文脈の下での予測を対比させることで、根拠のあるシーン証拠に鈍感であり、そのため言語の事前知識（プライア）に駆動されている可能性が高いトークンを抑制します。3D-VCDを3D-POPEおよびHEALベンチマークで評価し、再学習なしで一貫して根拠のある推論を改善できることを示します。さらに、構造化された3D表現上での推論時対比付きデコーディングが、より信頼できる身体性インテリジェンスへの有効かつ実用的な経路であることを確立します。