想像を見抜く：fMRIデータからの視覚イメージ復元における潜在機能整合

要旨: fMRIからの視覚脳デコーディングにおける最近の進展は、自然画像データセット（NSD）のような大規模データセットや、強力な拡散ベースの生成モデルによって可能になってきました。現在のパイプラインは主に知覚のために最適化されていますが、心的イメージ（mental-imagery）に対する性能は、いまだ十分に理解されていません。本研究では、最先端（SOTA）の知覚デコーダ（DynaDiff）を、Imagery-NSDベンチマークからの想起内容の再構成にどのように適応できるかを検討します。我々は、残りの構成要素は凍結したまま、イメージが喚起した活動を、事前学習済みモデルの条件付け空間へと写像する、潜在機能アラインメント（latent functional alignment）アプローチを提案します。対応するイメージ—知覚の教師データ量が限られていることへの対策として、セマンティックに関連するNSDの知覚試行を選択する、検索ベースのデータ拡張戦略もさらに導入します。4名の被験者において、潜在機能アラインメントは、凍結された事前学習ベースラインおよびボクセル空間リッジ・アラインメント基準に比べて、高レベルの意味論的再構成指標を一貫して改善し、複数の皮質領域からチャンスを超えるデコーディングを可能にしました。これらの結果は、知覚から学習された意味構造を、分布外条件下における視覚的イメージングのデコーディングを安定化し、向上させるために活用できることを示唆しています。