SIMON：注目度（サリエンシー）を考慮した統合マルチビュー・オブジェクト中心ニューラルデコーディング

Abstract

近年のEEGから画像への検索手法は、事前学習済みの視覚エンコーダと、注視（foveation）に着想を得た事前知識を活用していますが、通常は固定された中心視の見え方を前提としています。こうした中心バイアスは、内容に導かれる人間の注意と衝突し、視覚特徴とEEG応答の間に幾何学的・意味論的な不一致を生じさせます。そこで本研究では、ゼロショットのEEGから画像への検索のための、顕著性（saliency）を考慮したマルチビュー枠組みSIMONを提案します。SIMONは、前景のセグメンテーションと顕著性予測を組み合わせ、Saliency-Aware Sampling（SAS）により注視中心を選択します。続いて、背景の雑多さを抑えつつ、情報量の多い対象領域を強調する、中心窩（foveated）ビューを生成します。THINGS-EEGにおいてSIMONは、被験者内および被験者間の両設定で最先端の性能を達成し、それぞれ平均Top-1精度69.7%および19.6%を記録しました。さらに、直近の競合ベースラインを一貫して上回ります。サンプリングの粒度、EEGチャネルのトポロジ、視覚／脳エンコーダのバックボーンにまたがる分析により、顕著性を考慮したマルチビュー統合の頑健性がさらに裏付けられます。コードとモデルは https://github.com/simonlink666/SIMON で公開されています。