CSLE：自律的なセキュリティ管理のための強化学習プラットフォーム

要旨: 強化学習は、ネットワーク化されたシステムにおける自律的かつ適応的なセキュリティ管理に対する有望なアプローチである。しかし、セキュリティ管理のための現行の強化学習ソリューションは主にシミュレーション環境に限定されており、運用システムへの一般化がどの程度可能かは不明である。本論文では、この制約に対処するために、現実的な条件下での実験を可能にする自律的セキュリティ管理のための強化学習プラットフォームであるCSLEを提示する。概念的に、CSLEは2つのシステムから構成される。第一に、仮想化環境において対象システムの主要な構成要素を複製するエミュレーションシステムを含む。本システムを用いて計測とログを取得し、それに基づいて、マルコフ決定過程などのシステムモデルを同定する。第二に、システムモデルのシミュレーションによってセキュリティ戦略を効率的に学習するシミュレーションシステムを含む。学習された戦略は、その後エミュレーションシステムで評価・改良され、理論と運用上の性能のギャップを埋める。CSLEは4つのユースケース、すなわちフロー制御、レプリケーション制御、セグメンテーション制御、リカバリ制御を通じて実証する。これらのユースケースを通して、CSLEが運用システムを近似した環境において、準最適なセキュリティ管理を可能にすることを示す。