データドリフトは、機械学習（ML）モデルの入力データの統計的性質が時間の経過とともに変化し、その結果として予測の精度が徐々に低下していくときに発生します。マルウェア検知やネットワーク脅威分析のような業務にMLを頼っているサイバーセキュリティの専門家は、未検知のデータドリフトが脆弱性につながり得ることを実感しています。古い攻撃パターンで訓練されたモデルは、今日の高度な脅威を見落とす可能性があります。データドリフトの初期兆候を認識することは、信頼でき効率的なセキュリティシステムを維持するための最初の一歩です。
なぜデータドリフトがセキュリティモデルを損なうのか
MLモデルは、過去のデータのスナップショットで訓練されます。実データがそのスナップショットと一致しなくなると、モデルの性能は低下し、重大なサイバーセキュリティ上のリスクが生まれます。脅威検知モデルは、実際の侵害を見逃すことでより多くの偽陰性を生み出したり、逆により多くの偽陽性を生み出して、セキュリティチームにアラート疲れを引き起こしたりする可能性があります。
敵対者はこの弱点を積極的に悪用します。2024年には、 攻撃者がエコー・スプーフィング手法を使用してメール保護サービスを回避しました。システム側の設定ミスを悪用し、ベンダーのML分類器をすり抜ける何百万通もの偽装メールを送信したのです。この事例は、脅威アクターが入力データを操作して死角を突き得ることを示しています。セキュリティモデルが戦術の変化に適応できない場合、そのモデルは負債になってしまいます。
データドリフトの5つの指標
セキュリティの専門家は、ドリフト（またはその可能性）が存在することを、いくつかの観点から認識できます。
1. モデル性能の突然の低下
精度、適合率、再現率は、しばしば最初に犠牲になる指標です。これらの重要な指標が一貫して低下していることは、モデルが現在の脅威状況と同期していないという警戒サインです。
Klarnaの成功例を考えてみましょう。同社のAIアシスタントは初月に顧客サービスの会話を230万件取り扱い、700人のエージェントに相当する作業を実行しました。この効率によって リピート問い合わせが25%減少し、解決時間も2分未満に短縮されました。
では、ドリフトによってこれらのパラメータが突然逆転したらどうでしょうか。セキュリティの文脈では、同様の性能低下は単に顧客が不満になるだけでなく、成功した侵入や潜在的なデータ流出（エクスフィル）の可能性も意味します。
2. 統計的分布の変化
セキュリティチームは、入力特徴量の主要な統計的性質――平均、中央値、標準偏差など――を監視すべきです。学習データからこれらの指標が大きく変化していれば、基となるデータが変わったことを示している可能性があります。
こうした変化を監視することで、ドリフトが侵害につながる前にチームが検知できます。たとえば、フィッシング検知モデルが平均添付ファイルサイズ2MBのメールで訓練されていたとします。新しいマルウェア配布手法によって平均添付ファイルサイズが突然10MBに跳ね上がった場合、モデルはそれらのメールを正しく分類できないかもしれません。
3. 予測挙動の変化
全体の精度が安定して見えても、予測の分布が変わることがあります。この現象は、しばしば予測ドリフトと呼ばれます。
例えば、詐欺検知モデルがこれまで取引の1%を「不審」として検知していたのに、突然5%または0.1%を不審として検知し始めたとします。何かが変わったか、あるいは入力データの性質が変わった可能性があります。モデルを混乱させる新しい種類の攻撃、またはモデルが識別するように訓練されていない正当なユーザー行動の変化を示しているかもしれません。
4. モデルの不確実性の増加
予測とともに信頼スコアや確率を提示するモデルでは、確信度の全般的な低下が、ドリフトの微かな兆候になり得ます。
最近の研究は、敵対的攻撃の検知における を強調しています。モデルが、予測全体にわたって自信を持てなくなっているなら、訓練していないデータに直面している可能性が高いです。サイバーセキュリティの場面では、この不確実性はモデルの潜在的な失敗を示す初期サインであり、モデルが馴染みのない状況で動作しているため、意思決定がもはや信頼できないかもしれないことを示唆します。
5. 特徴量同士の関係の変化
異なる入力特徴量間の相関も、時間の経過とともに変化することがあります。ネットワーク侵入モデルでは、通常運用時にトラフィック量とパケットサイズが強く結びついているかもしれません。もしその相関が消えてしまえば、モデルが理解できないネットワーク挙動の変化を示す可能性があります。特徴量の突然の切り離しは、新しいトンネリング戦術や、巧妙な流出（エクスフィル）を狙う試みを示していることがあり得ます。
データドリフトの検知と軽減へのアプローチ
一般的な検知手法には、コルモゴロフ・スミルノフ（KS）検定と、母集団安定性指数（PSI）があります。これらは、ライブデータと学習データの分布を比較して、逸脱を特定します。KS検定は2つのデータセットが有意に異なるかどうかを判定し、PSIはある変数の分布が時間とともにどれだけ変化したかを測定します。
軽減手法として選ばれるものは、ドリフトの現れ方に左右されることが多いです。なぜなら、分布の変化は突然起こり得るからです。たとえば、新しい製品やプロモーションの開始によって、顧客の購買行動がその日のうちに変わることがあります。一方で、ドリフトがより長い期間にわたって徐々に起こる場合もあります。そのため、セキュリティチームは、急激なスパイクとゆっくりした進行の両方を捉えるように監視の頻度（キャデンス）を調整することを学ぶ必要があります。軽減は、より最近のデータでモデルを再学習し、その有効性を取り戻すことを含むことになります。
より強いセキュリティのためにドリフトを積極的に管理する
データドリフトは避けられない現実であり、サイバーセキュリティチームは、検知を継続的かつ自動化されたプロセスとして扱うことで、強固なセキュリティ体制を維持できます。先回りした監視とモデルの再学習は、MLシステムが進化し続ける脅威に対する信頼できる味方であり続けるための基本的な実践です。
Zac Amosは ReHack のFeatures Editorです。
