モデルが崩壊しないとき：反復MLEの整合性について

概要: 生成モデルの広範な利用はフィードバックループを生み出しており、そこでは各世代のモデルが、その前身が部分的に生成したデータで学習されます。このプロセスにより、モデルの崩壊（モデル崩壊）についての懸念が提起されています。これは、合成データに対する反復学習によって引き起こされる性能の決定的な劣化です。しかし、文献中の異なる分析は、モデル崩壊の深刻さについて異なる結論に到達しています。そのため、この現象がどれほど憂慮すべきものなのか、またどのような仮定の下で回避できるのかが依然として不明です。これに対処するため、我々は、合成データを元のデータセットに徐々に追加していく自然な状況において、最大尤度推定（MLE）に対するモデル崩壊を理論的に研究します。標準的な仮定（MLEの漸近的な一致性および漸近的な正規性を証明するために長年使われてきたものと類似）のもとで、実データの割合がゼロに近づく場合であっても、崩壊が回避できることを示す非漸近的な上界を確立します。一方で、我々は、ある仮定（MLEの一致性を超えたもの）については実際に必要であることを証明します。これらがない場合、元のデータが学習セットにまだ存在しているとしても、モデル崩壊は任意に速い時間スケールで起こり得ます。私たちの知る限り、これらは、データが蓄積されていく反復的な生成モデリングが、急速にモデル崩壊へ至ることを示す最初の厳密な例です。