自律型サイバー防御のためのより良い環境づくり

概要: 2025年11月、著者らは、自律型サイバー防御（ACD）のための強化学習（RL）環境として何が良いのかをテーマにワークショップを開催しました。本論文は、ワークショップの場で共有された知見と、直後に寄稿によって提供された内容の両方を詳述します。ワークショップ参加者は、学術界・産業界・政府から集まっており、RLおよびサイバー環境の設計や運用に関して豊富な実務経験を有しています。ACDのためのRLに関する研究には、現在かなりの量の文献が存在しますが、それでもなお、単一のリソースで包括的に詳述されていない、技術的な作法（tradecraft）、ドメイン知識、そして共通の落とし穴が数多くあります。本研究の貢献は、政府および重要インフラのネットワークを含むネットワーク防御シナリオにおいて、自律型RLエージェントを訓練・評価するためのより良い環境を構築することに特に焦点を当てた、という点にあります。貢献は2つに大別されます： (1) RLのサイバー環境と実システムの間のインターフェースを分解するための枠組み、(2) ワークショップで得られた主要な知見に基づく、RLベースのACD環境開発とエージェント評価に関する現在の最良実践（ベストプラクティス）に関するガイドラインです。