LLMPhy：大規模言語モデルと物理エンジンを組み合わせたパラメータ同定可能な物理推論

要旨: 複雑な物理的推論に対する学習ベースの多くのアプローチは、シーンのダイナミクスを支配する重要な問題であるパラメータ同定（例：質量、摩擦）を回避しがちです。しかし、衝突回避やロボット操作のような現実世界の応用では、その重要性は極めて高いです。本論文では、物理推論のために大規模言語モデル（LLM）と物理シミュレータを統合するブラックボックス最適化フレームワークであるLLMPhyを提案します。LLMPhyの中核となる着想は、LLMに埋め込まれた教科書的な物理知識を、現代の物理エンジンに実装された世界モデルと橋渡しし、潜在パラメータ推定によって入力シーンのデジタルツインを構築できるようにすることです。具体的には、LLMPhyはデジタルツイン構築を次の2つのサブ問題に分解します：（i）物理パラメータを推定する連続問題と、（ii）シーンのレイアウトを推定する離散問題です。各サブ問題に対して、LLMPhyは反復的にLLMへプロンプトを行い、パラメータ推定を符号化するコンピュータプログラムを生成させます。次に、それらを物理エンジン上で実行してシーンを再構成し、再構成誤差をフィードバックとして用いてLLMの予測を洗練（改良）します。既存の物理推論ベンチマークは、パラメータの識別可能性（identifiability）をほとんど考慮していないため、本研究ではゼロショット設定で物理推論を評価するための新しいデータセットを3つ導入します。結果として、LLMPhyは提案タスクにおいて最先端の性能を達成し、物理パラメータをより正確に復元でき、従来のブラックボックス手法よりもより確実に収束します。詳細はLLMPhyプロジェクトページをご覧ください: https://www.merl.com/research/highlights/LLMPhy