CLAD：圧縮表現上で直接行う効率的なログ異常検知

要旨: システムログの爆発的な増加により、ストリーミング圧縮が不可欠となっている一方で、既存のログ異常検知（LAD）手法は、完全な復号とパースを必要とするため、深刻な前処理オーバーヘッドが発生します。本研究では、圧縮されたバイトストリーム上でLADを直接行う最初の深層学習フレームワークであるCLADを提案します。CLADは、重要な洞察を活用することで、これらのボトルネックを回避します。すなわち、正常なログは規則的なバイトパターンへ圧縮されるのに対し、異常はそれを体系的に乱す、という点です。判読できないバイトからこれらのマルチスケールな逸脱を抽出するために、本用途に合わせて設計したアーキテクチャとして、拡張（dilated）畳み込みバイトエンコーダ、ハイブリッドTransformer--mLSTM、そして4方向のアグリゲーション・プーリングを統合したものを提案します。さらに、深刻なクラス不均衡を効果的に扱うために、マスク付き事前学習とファーカル・コントラスト付き微調整の2段階トレーニング戦略を組み合わせます。5つのデータセットで評価した結果、CLADは平均F1スコア0.9909という最先端の性能を達成し、最良のベースラインを2.72パーセンテージポイント上回りました。復号およびパースのオーバーヘッドを完全に排除しながら、精度をより高め、構造化されたストリーミング・コンプレッサに対しても汎化可能な、堅牢な解決策を提供します。