文脈的インテリジェンス：強化学習の次の飛躍

Abstract

強化学習（RL）は、ゲーム、ロボティクス、および連続制御において目覚ましい成果を生み出してきました。しかし、これらの成功にもかかわらず、学習された方策はしばしば訓練分布を超えて一般化できず、その結果として現実世界での影響が制限されます。文脈強化学習（cRL）に関する最近の研究は、エージェントを環境の特性――文脈――にさらすことで、ゼロショット転移が改善され得ることを示しています。これまでのところ、コミュニティは文脈を単一で静的な観測対象として扱ってきましたが、このアプローチはRLエージェントの一般化能力を制約します。 文脈上の知能を実現するために、まず、異種生（環境によって課される）要因と自己生成（エージェントによって駆動される）要因を分離する、独自の文脈に関する分類法（タクソノミー）を提案します。真に文脈に基づく知能を促進するには、対処すべき3つの基礎的な研究方向があることを特定します：（1）異種の文脈を用いた学習。これにより、エージェントがタクソノミーの階層が世界への影響にどう関わるか、そしてその逆を明示的に推論できるようにします；（2）マルチタイムスケールのモデリング。ここでは、異種生の変数はゆっくり進展する、あるいは静的であるのに対し、自己生成の変数はエピソード内で変化し得るため、異なる学習メカニズムが必要になる可能性があることを認識します；（3）抽象的で高レベルな文脈を統合すること。これにより、役割、資源・規制の体制、不確実性、および行動に決定的に影響するその他の非物理的記述子を組み込みます。 私たちは、文脈を第一級のモデリング原子として捉えることで、エージェントが「自分はいったい誰なのか」「世界が何を許すのか」「そしてそれらはいかに時間とともに変化するのか」を推論できるようになると構想しています。そうすることで、現実世界で安全かつ効率的に展開できる、新しい世代の文脈対応型エージェントを触媒することを目指します。