概要: 不均衡な経験的クラス分布の下で学習したグローバル事前分布を用いる変分オートエンコーダ(VAE)は、潜在空間において末尾(テール)クラスが過小表現される原因になります。t^3VAEは重い裾を持つスチューデントのt分布の事前分布により頑健性を高めますが、その単一のグローバル事前分布はクラス頻度に比例して確率質量を割り当ててしまいます。そこで本研究では、潜在幾何学的バイアスに対処するために、C-t^3VAEを提案します。これは潜在変数と出力変数に関して、クラスごとのスチューデントのtの同時事前分布を割り当てます。この設計により、クラス条件付きの各成分間で均一な事前分布の質量が促進されます。モデルを最適化するために、-パワー・ダイバージェンスから閉形式の目的関数を導出し、クラスバランスの取れた生成のための等重み潜在混合を導入します。SVHN-LT、CIFAR100-LT、CelebAの各データセットにおいて、C-
ablat^3VAEは、極めて深刻なクラス不均衡下でt^3VAEおよびガウス系VAEのベースラインよりも一貫して低いFIDスコアを達成し、さらにバランスが取れた場合、または軽度に不均衡な場合でも競争力を維持します。クラスごとのF1評価では、当モデルは高度に不均衡な設定において条件付きガウスVAEを上回ります。加えて、ガウス系モデルが依然として競争力を保つ軽度不均衡の閾値としてrho < 5を特定します。しかし、rho \u003e= 5では、本アプローチによりクラスバランスの取れた生成とモード被覆が改善されます。
ロングテール生成モデリングのための重い裾(ヘビーテイル)クラス条件付き事前分布
arXiv stat.ML / 2026/4/16
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文では、不均衡な経験的クラス分布を反映したグローバル事前分布で学習したVAEが、潜在空間においてテールクラスの表現が過小になることを見出す。
- 単一のグローバル事前分布を、潜在変数と出力変数にわたるクラスごとの重い裾を持つ(heavy-tailed)Studentのtの同時事前分布(joint prior)に置き換える C-$t^3$VAE を提案し、潜在空間の幾何学的バイアスを低減する。
- 著者らは $
- \gamma$-パワー・ダイバージェンスに基づく閉形式の学習目的関数を導出し、クラスバランスの取れた生成を可能にするために等重みの潜在混合(equal-weight latent mixture)を用いる。
- SVHN-LT、CIFAR100-LT、CelebA による実験では、厳しいクラス不均衡のもとで t^3VAE およびガウス系VAEのベースラインに比べて一貫して FID が低いことが示され、さらにクラスごとの F1 が大幅に改善される。
- 実用的な「緩い不均衡」閾値として (rho < 5) ではガウス系ベースラインが競争力を保てることを報告するが、(rho 5以上) ではクラスバランスの取れた生成とモードカバレッジにおいて明確な改善が得られることを示す。




