一般的な関数近似に基づく敵対的模倣学習：理論解析と実用アルゴリズム

概要: 模倣学習における代表的な手法である敵対的模倣学習（AIL）は、ニューラルネットワークによる近似によって強力に支えられ、実務上大きな成功を収めてきました。しかし、既存のAILに関する理論的解析は主に、表形式データや線形関数近似のような単純化された設定に限られており、また、実装を妨げる複雑なアルゴリズム設計を伴っています。これにより、理論と実践の間には大きな隔たりが生じています。本論文は、この隔たりを埋めるために、一般的な関数近似のもとでのオンラインAILの理論的基盤を探ります。私たちは、報酬学習に対してオンライン最適化を行い、方策学習に対して楽観主義（optimism）で正則化した最適化を組み合わせる、新しい枠組みである最適化ベースAIL（OPT-AIL）を提案します。この枠組みの中で、2つの具体的な手法、すなわちモデルフリーOPT-AILとモデルベースOPT-AILを開発します。理論的解析により、両バリアントが、エキスパートに近い方策を学習するための専門家サンプル複雑度と相互作用複雑度のいずれも多項式で達成することを示します。私たちの知る限り、これらは一般的な関数近似のもとで「証明に基づいて」効率的であるAIL手法として初めてのものです。実務的観点からは、OPT-AILは2つの目的関数に対する近似的な最適化のみを要求するため、実装を容易にします。実験的研究では、OPT-AILが複数の困難なタスクにおいて、従来の最先端の深層AIL手法を上回ることが示されています。