過分散潜在モデリングのための負の二項変分オートエンコーダ

Abstract

人工ニューラルネットワークはしばしば脳に着想を得たものだと説明されますが、その表現は通常、連続的な活性化、たとえば変分オートエンコーダ（VAE）における連続的な潜在変数に依存しています。そのため、実在のニューロンにおける離散的なスパイクベースの信号伝達と比べると、生物学的妥当性が制限されます。Poisson VAE のような拡張では離散のカウントに基づく潜在変数が導入されますが、平均と分散が等しいという仮定は、ニューラルスパイクの過分散（overdispersion）を捉えられず、表現力および情報量の点で劣った表現となります。そこで本研究では、スパイク数を柔軟にモデリングするための分散パラメータを備えた負の二項分布の潜在変数モデルである NegBio-VAE を提案します。NegBio-VAE は解釈可能性を維持しつつ、新しい KL 推定と再パラメータ化により、表現品質と学習の実現可能性を向上させます。4つのデータセットでの実験により、NegBio-VAE は、競合する単層 VAE のベースラインと比べて、常に再構成および生成の性能が優れていることを示します。また、下流タスクに対して堅牢で有益な潜在表現をもたらします。モデルの頑健性について、さまざまな構成要素に関して検証するために、広範なアブレーション研究を実施します。コードは https://github.com/co234/NegBio-VAE で公開しています。