1つのプールでは不十分：実用的テスト時適応のためのマルチクラスター・メモリ

Abstract

テスト時適応（TTA）は、ラベルなしのテストデータのみを用いて、推論時に分布シフトへ事前学習済みモデルを適応させます。Practical TTA（PTTA）設定、すなわちテストストリームが時間的に相関し、かつ i.i.d. ではない状況では、安定した適応のためのメモリが不可欠な構成要素となっています。しかし既存手法は一様に、サンプルを単一の非構造化プールに保存する設計を採用しています。私たちは、この単一クラスタ設計がPTTAに対して根本的に不一致であることを示します。ストリームのクラスタ可能性解析により、テストストリームは本質的に多峰性（multi-modal）であり、混合成分の最適な数は常に1を大きく上回ることが明らかになります。この構造的なギャップを埋めるために、軽量なピクセルレベルの統計記述子を用いて、保存したサンプルを複数のクラスタに整理するプラグアンドプレイ型の枠組みである Multi-Cluster Memory（MCM）を提案します。MCMは3つの補完的なメカニズムを導入します。異なる分布モードを捉えるための記述子ベースのクラスタ割当、最も時間的に隣接したクラスタを統合してメモリ使用量を抑える Adjacent Cluster Consolidation（ACC）、および適応中にすべてのモードへバランスの取れた教師信号を与える Uniform Cluster Retrieval（UCR）です。CIFAR-10-C、CIFAR-100-C、ImageNet-C、DomainNetの4つのデータセット上で、3つの最新のTTA手法に統合した結果、全12の構成において一貫した改善が得られ、ImageNet-Cで最大5.00%、DomainNetで12.13%の向上を達成します。特に、これらの改善は分布の複雑さに応じて拡大します。多峰性が高い、より大きなラベル空間を持つ場合に、複数クラスタによる組織化が最も大きく寄与します。GMMベースのメモリ診断により、MCMは分布のバランス、エントロピー、モードのカバレッジをほぼ最適に維持する一方、単一クラスタのメモリでは持続的な不均衡と、モード喪失の進行が見られることがさらに確認されます。これらの結果は、実用的なテスト時適応における設計上の重要な軸として、メモリの組織化が位置付けられることを示しています。