行動模倣（Behavior Cloning）＋HG-DAgger [P] を用いて『Resident Evil Requiem』をプレイするAIを訓練する

プロジェクトのコード: https://github.com/paulo101977/notebooks-rl/tree/main/re_requiem

私はResident Evil Requiemの一部をプレイするエージェントの訓練に取り組んでいます。焦点は、敵と時間的なプレッシャーがある、スピード感のあるセミリニアな脱出シーケンスです。

最初から完全な強化学習を行うのではなく、ハイブリッドな手法を使いました:

• Behavior Cloning（BC）：人間のデモンストレーションから初期の方策を学習する
• HG-DAgger：性能を反復的に改善し、累積する誤りを減らす

環境はゲームプレイのキャプチャに基づいており、コントローラ入力を離散化されたアクション空間にマッピングします。観測はフレームから直接抽出します（いくつかの前処理を含む）。そしてエージェントは、まず振る舞いを模倣し、その後時間とともに振る舞いを洗練していくことを学びます。

主な課題の一つは初期の不安定さでした。特に、エージェントがデモンストレーションされた軌跡から少しでも逸れると、（BCでよくある）典型的な問題が起きました。HG-DAggerは、分布外の状態を修正することで大いに役立ちました。

もう一つ難しい点は、画面上で実際に起きていることに対してアクションを同期させることでした。この種のゲームでは、わずかなタイミングのズレでも学習が完全に破綻することがあるためです。

訓練後、エージェントは次のことができるようになります:

• シーケンスを一貫してナビゲートする
• 敵に対してリアルタイムに反応する
• 小さな逸脱から（ある程度）立て直す

私は現在、頑健性と汎化性の向上を試験的に行っています（現状では、このシーケンス部分にかなり特化しています）。

興味がある方には、さらに詳しい情報（訓練のセットアップ、前処理、アクション空間など）も共有できます。