チュータ・学生強化学習：堅牢なディープフェイク検出のための動的カリキュラム

概要: ディープフェイク検出に対する標準的な教師あり学習では、すべてのサンプルが一様に重要であるとみなされますが、堅牢で汎化可能な特徴を学習するうえでは最適でない可能性があります。本研究では、学習カリキュラムを動的に最適化する新しいTutor-Student強化学習（TSRL）フレームワークを提案します。提案手法は、学習過程をマルコフ決定過程としてモデル化し、そこにおいて「Tutor」（指導役）エージェントが「Student」（深層フェイク検出器）を導くように学習します。Tutorは近傍方策最適化（Proximal Policy Optimization: PPO）エージェントとして実装され、各学習サンプルに対する豊富な状態表現を観測します。そこには、視覚的特徴だけでなく、EMA損失や忘却回数といった履歴的な学習ダイナミクスも含まれます。この状態に基づき、Tutorは連続値の重み（0〜1）をサンプルの損失に割り当てることで行動をとり、それにより学習バッチを動的に再重み付けします。Tutorは、Studentの直近の性能変化に基づいて報酬を受けます。具体的には、不正解から正解への遷移を報酬するように設計します。この戦略は、hard-but-learnable（学習可能だが難しい）例などの高い価値を持つサンプルを優先するカリキュラムをTutorが学習することを促し、より効率的で効果的な学習プロセスにつながります。本研究では、この適応的カリキュラムが、従来の学習手法と比べて、未見の操作手法に対するStudentの汎化能力を向上させることを示します。コードは https://github.com/wannac1/TSRL で公開されています。