[P] Deezer、圧縮オーディオではCNN検出が失敗することを示す—MP3を生き残るデュアルエンジン方式

私はAI生成音楽の検出に取り組んでいて、Deezerのチームが論文で記載していたのと同じ壁にぶつかりました。メルスペクトログラム上でのCNNベースの検出は、音声がMP3に圧縮されると破綻します。

問題: メルスペクトログラムで訓練したResNet18はWAVファイルではうまく機能しますが、実世界の音楽はMP3/AACとして配信されています。圧縮によって、CNNが依拠している微妙なスペクトルのアーティファクトが失われます。

実際にうまくいったこと: CNNをより頑健にするのをやめて、ソースセパレーション（Demucs）に基づく2つ目のエンジンを追加しました。考え方はシンプルです：

1. トラックを4つのステム（ボーカル、ドラム、ベース、その他）に分離する
2. それらを再ミックスする
3. 元の音声と再構成した音声の差を測定する

人が録音した音楽では、録音中にステム同士が互いににじみます（部屋の残響、マイクのクロストークなど）ため、分離＋再構成によって明確な差が生まれます。一方、AI音楽では、各ステムが独立に合成されるため、分離と再構成の結果はほぼ同一になります。

結果:

• 人間の誤検出率: 約1.1%
• AI検出率: 80%+
• 音声コーデックに関係なく動作（MP3、AAC、OGG）

CNNは簡単なケース（高い自信の予測）を処理し、再構成エンジンはCNNが確信できないときだけ起動します。ソースセパレーションは高コストなので、これにより計算量を節約できます。

制限:

• 検出率は異なるAIジェネレーター間で変動する
• Demucsは非決定的で、境界ケースでは実行ごとに結果が反転し得る
• 音楽のみでテスト済みで、音声や効果音は未検証

誰かが同様のハイブリッド手法を探求したことがあるか、あるいは再構成分析をより頑健にするアイデアがあるか気になります。