ニューラル表現における固有次元推定の再考

要旨: ニューラル表現の分析は、ニューラルネットワークの内部の仕組みをよりよく理解することを目指す研究の中で不可欠な一部となってきました。ニューラル表現を調べる方法はいくつもありますが、その中で重要な研究の流れは、本質的次元（ID）の観点を通してそれを行うことに焦点を当ててきました。この視点は有益な洞察を提供し、かなりの追随研究を促してきた一方で、このアプローチの重要な限界は依然としてほとんど十分に扱われていません。本論文では、ニューラル表現におけるIDの理論と実践の間に存在する重要な不一致を明らかにします。理論的にも実証的にも示すことで、一般的なID推定器が実際には表現の真の基礎となるIDを追跡していないことを示します。この否定的結果を、文献中で一般に報告されているIDに関連する結果を駆動しうる基礎要因の調査と対比します。これらの洞察に基づき、ニューラル表現におけるID推定に関する新たな視点を提案します。