フォールトトレラントなマルチモーダル表現学習のための層別リプシッツ変調
arXiv cs.LG / 2026/3/27
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、リプシッツおよびヤコビアンに基づく基準を用いて、ニューラル演算子がモダリティ間で局所的な欠陥を増幅するのか減衰するのかを予測する、フォールトトレラントなマルチモーダル表現学習フレームワークを提示する。
- 自己教師ありの異常検出と誤り訂正を、単一のアーキテクチャに統合し、クリーンデータによるマルチモーダル畳み込みオートエンコーダの事前学習から開始する2段階の学習戦略を含む。
- 異常同定のための対照（コントラスト）目的と並行して訂正を行うために、密結合層からなる学習可能な計算ブロックを追加する。
- 検出モジュールと訂正モジュールで感度を異なるように制御するために、層別のリプシッツ変調と勾配クリッピングを導入する。
- マルチモーダルな欠陥データセットに対する実験では、センサー破損下で異常検出の精度と再構成品質の双方が向上すると報告されており、理論的な頑健性保証と実運用ニーズを結び付けることを目指している。
広告
