正準相関分析（CCA）によるクロスモデル一致を用いた表現選択

arXiv cs.CV / 2026/4/2

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、正準相関分析（CCA）を適用する学習不要の事後処理（post-hoc）手法を導入し、2つの事前学習済み画像エンコーダにまたがって、線形射影を見つけることで冗長な視覚表現次元を選択・削減する。
モデル間の一致（cross-model agreement）を活用することで、PCAのような単一モデルに対する次元削減だけではより効果的に、共有される意味内容を保持しつつ、過剰な（overcomplete）次元やモデル固有の次元を捨てることを目指す。
ImageNet-1k、CIFAR-100、MNISTといったデータセットでの実験により、表現を75%以上の次元削減を行っても、下流タスクの性能が向上することが示される。
この方法は、固定次元のもとでも利用でき、大きなモデルや微調整（fine-tuned）済みモデルから表現を転移・改良するために適用可能であり、PCAおよびベースライン射影に比べて最大12.6%の精度向上が報告されている。

Abstract

現代のビジョン・パイプラインは、タスクやモデルをまたいで表現を再利用する、事前学習済みの画像エンコーダにますます依存しています。しかし、これらの表現はしばしば過剰であり、モデル固有になっています。そこで本研究では、後処理としての正準相関分析（CCA）演算子を用いることで、画像表現の効率を改善するための、シンプルで学習不要な手法を提案します。2つの事前学習済み画像エンコーダによって生成された表現間に存在する共通の構造を活用することで、本手法は、表現選択と次元削減のための原理に基づく形式として機能する線形射影を見つけます。これにより、冗長な次元を捨てつつ、共有された意味的内容を保持できます。単一の埋め込み空間に対して動作する標準的な次元削減手法であるPCAとは異なり、本アプローチは、表現蒸留と洗練を導くために、クロスモデル間の合意（一致）を活用します。この手法により、下流タスクの性能を改善しながら、次元を75%以上削減できます。また、大きいモデルや微調整済みモデルからの後処理的な表現転移によって、固定された次元数のまま表現を強化することも可能です。ImageNet-1k、CIFAR-100、MNIST、および追加のベンチマークに関する実験結果は、ベースラインおよびPCA投影された表現の両方に対して一貫した改善を示しており、精度向上は最大12.6%に達します。