要旨: 埋め込みが異方的になり、マルチスケール構造を失っていく表現の崩壊（representational collapse）は、性能指標が反応するずっと前に下流の性能を損なうことがあります。そこで本研究では、進化するニューラル表現に対するオンラインのトポロジー認識型モニタを提案し、Modular Morse Homology Maintenance（MMHM）と複合的な崩壊指数（Collapse Index: CI）を結び付けます。各エポックごとに複体を作り直すのではなく、固定したスケールで疎な編集を適用し、離散モース（discrete Morse）のマッチングを維持することで、高速かつ漸進的な更新を実現します。LLMの微調整および時間的KGE（temporal KGE）学習において、CIは低遅延の早期警告シグナルを提供し、学習中の介入（in-training interventions）に適しています。コードと実験用スクリプトは公開予定です
トポロジーによるニューラル学習のモニタリング：フットプリント予測可能なコラプス指数
arXiv cs.LG / 2026/5/1
📰 ニュースDeveloper Stack & InfrastructureModels & Research
要点
- この論文は、埋め込みが異方的になり多尺度構造を失う「表現の崩壊」を、標準的な性能指標が悪化する前に早期検知するオンライン・モニタを提案している。
- Modular Morse Homology Maintenance（MMHM）と、複合的なCollapse Index（CI）を組み合わせ、学習中に変化する表現から異方性や多尺度構造の喪失を評価する。
- 毎エポックで複雑体を作り直す代わりに、固定スケールでの疎な編集と離散モースマッチングの維持により、高速なインクリメンタル更新を実現する。
- LLMのファインチューニングと時間的KGE（知識グラフ埋め込み）の学習実験で、CIが低レイテンシの早期警告シグナルとして機能し、学習中の介入を支えられることを示している。
- 著者はコードと実験スクリプトを公開する予定である。
