SATTC: 被験者間EEGから画像への検索における構造を考慮したラベルなしテスト時キャリブレーション

arXiv cs.CV / 2026/3/24

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、埋め込みの類似度ジオメトリを歪め、少数のtop-kリストを不安定にする「被験者シフト」および「ハブネス」を補正することで、被験者間のEEGから画像への検索を改善するためのSATTC(Structure-Aware Test-Time Calibration)を提案する。

Abstract

視覚デコーディングのための、被験者をまたぐEEGから画像への検索は、埋め込み空間における被験者シフトとハブネスによって、類似度の幾何(geometry)が歪められ、top-kのランキングが不安定化することで、少数kの短い候補リストが信頼できなくなるという課題に直面しています。我々はSATTC(Structure-Aware Test-Time Calibration)を提案します。SATTCは、凍結したEEGエンコーダと画像エンコーダの類似度行列上で直接動作する、ラベル不要のキャリブレーション用ヘッドです。SATTCは、幾何学的エキスパート(専門家)により、EEG埋め込みの被験者適応型ホワイトニングと、Cross-domain Similarity Local Scaling(CSLS)の適応版を組み合わせ、さらに相互最近傍(mutual nearest neighbors)、双方向のtop-kランキング、およびクラスの人気(class popularity)から構築される構造的エキスパートを用意し、これらを単純なProduct-of-Experts(積の専門家)則で融合します。THINGS-EEGにおいて、厳格な「被験者を1つ除外する(leave-one-subject-out)」プロトコルの下で、コサイン類似度、L2正規化された埋め込み、候補のホワイトニングによる標準化推論は、元のATM検索設定に対してすでに強力な被験者間ベースラインを達成します。このベースラインに基づき、SATTCはTop-1およびTop-5精度をさらに改善し、ハブネスとクラスごとの不均衡を低減し、より信頼性の高い少数kの短い候補リストを生成します。これらの向上は複数のEEGエンコーダにまたがって転移し、SATTCを、被験者間ニューラルデコーディングのための、エンコーダに依存しないラベル不要のテスト時キャリブレーション層として位置付けます。