AcTTA：動的アクティベーションによるテスト時適応の再考

arXiv cs.LG / 2026/3/30

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、テスト時適応（TTA）が正規化層のアフィン変調に過度に焦点を当てている一方で、分布シフト下における表現ダイナミクスに対する活性化関数の役割が十分に検討されていないと主張する。
そこで、AcTTAという活性化を意識した枠組みを提案する。これは、一般的な活性化関数（例：ReLU、GELU）を学習可能なパラメータ付き形に再パラメータ化し、テスト時に応答しきい値や勾配感度を調整できるようにする。
AcTTAは、ネットワークの重みを変更せず、かつソースドメインのデータを必要とせずに、推論中に活性化挙動を適応的に更新し、軽量なドメインシフト耐性を目指す。
CIFAR10-C、CIFAR100-C、ImageNet-Cでの実験により、AcTTAは頑健で安定した適応を達成し、正規化ベースのTTA手法に対して一貫して高い性能を示す。
これらの結果は、活性化適応を、支配的な「正規化中心」の見方に対するコンパクトな代替として位置づけ、ドメインシフトに頑健なテスト時学習の設計空間を広げる可能性を示唆している。

Abstract

テスト時適応（TTA）は、推論中にモデルのパラメータを更新することで、分布シフト下での性能劣化を緩和することを目的とします。既存の手法は主に、適応をアフィン変調として捉え、正規化レイヤーの再調整に焦点を当ててきました。この見方は効果的ではあるものの、表現ダイナミクスにおける別の影響の大きい要素、すなわち活性化関数の存在を見落としていました。そこで本研究では、この見落とされてきた領域を再検討し、活性化を意識した枠組み AcTTA を提案します。AcTTA は、従来の活性化関数を学習可能な観点から再解釈し、テスト時にそれらを適応的に更新することで、活性化を考慮した適応を実現します。AcTTA は、従来の活性化関数（例：ReLU、GELU）を、応答のしきい値をシフトし、勾配の感度を変調するパラメータ化された形へと作り替えます。これにより、ドメインシフトの下でネットワークが活性化挙動を調整できるようになります。この機能的な再パラメータ化により、ネットワークの重みを変更したり、ソースデータを要求したりすることなく、活性化挙動を連続的に調整できます。シンプルであるにもかかわらず、AcTTA は多様な破損（corruptions）に対して頑健かつ安定した適応を達成します。CIFAR10-C、CIFAR100-C、ImageNet-C のいずれにおいても、AcTTA は一貫して正規化ベースの TTA 手法を上回ります。これらの結果は、活性化の適応が、ドメインシフトに頑健なテスト時学習へ向けたコンパクトで効果的な経路となり得ることを示しており、適応をアフィン中心に捉える従来の見方を広げるものです。