プランを検証するトランスフォーマーの能力について

要旨: トランスフォーマーはAI計画タスクにおいて一貫した成功を示していないことがあり、一般化がいつ期待されるべきかという理論的理解には限界がありました。私たちは、与えられた計画が正しく解決するかどうかを検証する能力をデコーダーのみのモデルを分析することによって、このギャップに対処する重要な一歩を踏み出します。オブジェクトの数が増え、それによって実質的な入力アルファベットがテスト時に拡大する一般的な設定を分析するために、C*-RASPを導入します。これは、シーケンス長と語彙サイズの同時拡大の下でトランスフォーマーの長さ一般化保証を確立するよう設計されたC-RASPの拡張です。私たちの結果は、トランスフォーマーが長い計画を検証できることを理論的に学習できる古典的計画ドメインの大きなクラスを特定し、長さ一般化可能な解の学習可能性に著しく影響を与える構造的特性を示します。実証実験は私たちの理論を裏付けます。