GIFT：柔軟なテスト時報酬のための意図の一般化

要旨: ロボットはユーザのデモンストレーションから報酬関数を学習しますが、これらの報酬はしばしば新しい環境へうまく一般化できません。この失敗は、学習された報酬がデモンストレーションが表す人間の意図の背後にあるものではなく、学習データに含まれる紛らわしい相関に結び付いてしまうために起こります。既存の手法は、視覚的または意味的な類似性を活用して頑健性を高めますが、これらの表層的な手がかりは、人間が実際に気にしている事柄としばしば食い違います。本研究では、表層の手がかりではなく人間の意図に基づいて報酬の一般化を行う枠組み、Flexible Test-Time Rewards（GIFT）に対するGeneralizing Intentを提示します。GIFTは、ユーザのデモンストレーションにおいて好まれる行動と好まれない行動を対比することで、言語モデルを用いて高次の意図を推論します。導入時には、GIFTは意図に条件付けられた類似性により、新しいテスト状態を行動的に同等な学習状態へと対応付けます。これにより、再学習なしに分布シフトをまたいで学習された報酬を一般化可能にします。新しい物体とレイアウトを用いたテーブルトップ操作タスクでGIFTを評価します。50個以上の未見物体を含む4つのシミュレーションタスクにおいて、GIFTはテスト時のペアワイズ勝率と状態整合のF1スコアの両方で、視覚的および意味的な類似性のベースラインを一貫して上回ります。さらに、7自由度のFranka Pandaロボットでの実世界実験により、GIFTが物理環境へ確実に移植されることを示します。詳しい議論は https://mit-clear-lab.github.io/GIFT/ をご覧ください。