要旨: 本論文は、オンライン継続自己教師あり学習（Online Continual Self-Supervised Learning: OCSSL）を探究する。これは、モデルがラベルなしの非定常データの連続ストリームから学習する状況であり、通常はリプレイを用いるとともに、速い収束が中心的な望ましさ（デジデラタム）となる。われわれは、OCSSLには安定性-可塑性のトレードオフに特別な注意を払う必要があることを見いだした。すなわち、安定的な手法（例：Reservoir sampling を用いたリプレイ）は、可塑的な手法（例：FIFOバッファ）と比べてより速く収束できるが、特定の条件下では性能低下を引き起こす。われわれは、この崩壊現象を「潜在リハーサル減衰（Latent Rehearsal Decay）」仮説によって説明する。これは、リプレイの安定性が過度になることで潜在空間が劣化するといったことに起因するとする。さらに、潜在劣化を診断し、精度低下と相関する2つの指標（Overlap と Deviation）を導入する。これらの知見に基づき、Deviation の効率的なオンライン代理指標を活用してバッファ管理を導き、明示的な Overlap loss を組み込むことで、SOLAR は可塑性を適応的に管理できるよう提案する。実験の結果、SOLAR は OCSSL の視覚ベンチマークにおいて最先端の性能を達成し、収束の速さと最終性能の双方で優れていることが示される。
SOLARによるオンライン継続的SSLにおける潜在リハーサル劣化の防止
arXiv cs.LG / 2026/4/14
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、オンライン継続的自己教師あり学習（OCSSL）を対象に、リプレイと高速収束が重要な目標となる、非定常でラベルなしのデータストリームにおける安定性–可塑性のトレードオフに着目して研究する。
- 「潜在リハーサル劣化（Latent Rehearsal Decay）」という破綻現象を特定し、過度に安定なリプレイが潜在空間における表現を劣化させ、特定の条件下で精度低下につながると主張する。
- 著者らは、潜在劣化を検出し、その後の性能低下と追随する2つの診断指標—Overlap（重なり）とDeviation（逸脱）—を提案する。
- Deviation指標のオンライン近似を用いてリプレイバッファの挙動を制御し、可塑性のバランスを適応的に取るための明示的なOverlap損失を追加することで、SOLARを導入する。
- 視覚分野のOCSSLベンチマークにおける実験により、SOLARは最先端の結果を達成しつつ、急速な収束と強い最終性能の両方を維持することが示される。
