分光の無限次元性と、それでもモデルが成功し、失敗し、そして誤誘導する理由

概要: 機械学習（ML）モデルは、分光分類タスクにおいてしばしば化学的に意味のある特徴を用いていることの明確な証明なしに、驚くほど高い精度を達成してきました。既存の研究では、これらの結果がデータ前処理の選択、ノイズへの感度、モデルの複雑さと結び付いていることが示されてきましたが、これまで統一的な説明は得られていません。本研究では、これらの現象が分光データの本質的な高次元性から自然に生じることを示します。Feldman-Hajek の定理および測度集中に基づく理論解析により、ノイズ、正規化、または装置的アーティファクトによって生じる、たとえ微小な分布上の差異であっても、高次元空間では完全に分離可能になり得ることを示します。合成および実データの蛍光スペクトルに対する一連の具体的な実験を通じて、化学的な区別が存在しない場合でもモデルがほぼ完全な精度を達成し得ること、また特徴重要度マップがスペクトル的に無関係な領域を強調し得る理由を説明します。厳密な理論的枠組みを提示し、実験によってその効果を確認し、分光におけるMLモデルの構築と解釈に関する実践的な推奨事項として結論づけます。