ProtoTTA：プロトタイプ誘導型テスト時適応

要旨: 入力と関連付けることができる、プロトタイプに基づく解釈可能な表現に依存する深層ネットワークは、高い精度と内在する解釈可能性のバランスを取るために大きな注目を集めており、医療のような重要な領域に適しています。しかし、これらのモデルは学習データへの依存によって制約されており、分布シフトに対する頑健性が損なわれます。テスト時適応（TTA）は、パラメータと統計量を更新することで深層ネットワークの頑健性を高めますが、解釈可能モデルのプロトタイプは、この目的のために検討されていません。そこで本研究では、中間のプロトタイプ信号を活用し、モデル出力のみに依存しない、プロトタイプ化モデルのための汎用フレームワークであるProtoTTAを提案します。ProtoTTAは、プロトタイプ類似度分布のエントロピーを最小化することで、シフトしたデータに対してより自信のある、かつプロトタイプ固有の活性化を促します。安定性を維持するために、幾何学的フィルタリングを用いて、信頼できるプロトタイプ活性を持つサンプルに更新を限定します。これには、プロトタイプ重要度の重みとモデルの信頼度スコアによる正則化を組み合わせます。微視的な視覚、病理組織学、NLPにまたがる4つの多様なベンチマーク上で、4つのプロトタイプ基盤バックボーンにわたる実験により、ProtoTTAが標準的な出力エントロピー最小化よりも頑健性を改善し、さらにプロトタイプ活性における正しい意味的焦点を回復させることを示します。また、新しい解釈可能性指標と、TTAのダイナミクスを説明するための視覚-言語モデル（VLM）評価フレームワークも導入します。その結果、ProtoTTAは人間に整合した意味的焦点を回復し、VLMが評価する推論の質と確実に相関することを確認します。コードは以下で利用可能です: https://github.com/DeepRCL/ProtoTTA。