ニューラルネットワークの損失地形（ロス・ランドスケープ）を可視化する [P]

やあ r/MachineLearning,

ニューラルネットワークの損失地形（loss landscape）を可視化するのは、何百万次元の空間を自然に理解できないため、厳密に言うと非常に難しいことで知られています。私たちはしばしば基本的な2Dの等高線（輪郭）アナロジーに頼りますが、それらは常に空間の真の幾何学構造や局所最小（local minima）の鋭さを捉えられるわけではありません。

このためのより良い直感を育てる助けとして、私はインタラクティブなブラウザ実験 https://www.hackerstreak.com/articles/visualize-loss-landscape/ を作りました。さまざまな最適化手法（optimizer）がこれらの空間をどのように探索・移動するかをマッピングし、実際に地形を可視化できるようにしています。

3Dのサーフェスプロットを生成するために、私は Li et al. (NeurIPS 2018) の手法を用いました。これは完全にクライアントサイドのWebツールです。アーキテクチャ（単純な1層MLPからResNet-8やLeNet-5まで）を調整したり、合成データセットまたは実画像データセットを切り替えたりして、得られた地形を描画できます。

次元削減に関する既知の制限として、2D/3Dへの射影は、真の高次元空間には存在しない幾何学的な面を作り出してしまうことがある点が挙げられます。最適化理論を研究している方の意見として、モデルの汎化（generalization）を分析したりデバッグしたりする際、こうした視覚的解析にどれくらい実際の信頼を置いているのかぜひ聞かせてください。