Rectified Flow における一般化と記憶化

arXiv cs.LG / 2026/3/17

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、メンバーシップ推論攻撃(MIA)を用いて Rectified Flow(RF)ジェネレーティブモデルの記憶化ダイナミクスを研究する。
  • 3つのMIA検定統計量と、複雑さを校正した指標(T_mc_cal)を提案し、固有の画像複雑さと記憶化信号を分離して、攻撃AUCを最大で15%向上させ、TPR@1%FPRを最大で45%向上させる。
  • 標準的な均一な時系列訓練の下でのMIA感受性は、モデルの線形挙動からの乖離により、積分の中間点でピークに達することを特定した。
  • 対称的指数関数的(U字型)タイムステップサンプリングを提案し、脆弱な中間タイムステップへの露出を最小化する。生成忠実性を維持しつつ、3つのデータセットで記憶化抑制を検証した。

概要:Flow Matching目的に基づく生成モデル、特にRectified Flowは、効率的で高忠実度な画像合成の支配的パラダイムとして現れている。とはいえ、既存の研究が生成品質とアーキテクチャのスケーリングを重視する一方で、RFモデルが訓練データをどのように記憶するかという基礎的な動的はまだ十分には解明されていない。本論文では、メンバーシップ推論攻撃(MIA)の検定統計量を通じて、RFの記憶化挙動を系統的に調査する。我々は3つの検定統計量を順次定式化し、最終的には画像の固有の空間的複雑さを真の記憶信号からうまく切り離す、複雑さを校正した指標(T_\text{mc\_cal})に至る。この較正は顕著な性能向上をもたらし、攻撃のAUCを最大で15%、プライバシーにとって重要なTPR@1%FPR指標を最大で45%向上させ、RFに特化した初の非自明なMIAを確立した。これらの洗練された指標を活用して、明確な時間的パターンを明らかにする:標準的な一様時系列訓練の下で、MIAに対するモデルの感受性は統合の中点で厳密にピークに達する、これはネットワークが線形近似から強制的に逸脱することによって正当化される現象である。最後に、均一なタイムステップのサンプリングを対称的指数分布(U字型)に置換することで、脆弱な中間のタイムステップへの露出を効果的に最小化できることを示す。3つのデータセットにわたる広範な評価は、この時系列正則化が生成忠実度を維持しつつ記憶を抑制することを確認した。