Linear-Coreサロゲート：分類と構造化予測で線形レートを実現する滑らかな損失関数
arXiv cs.LG / 2026/5/1
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- この論文は「Linear-Core（LC）サロゲート」と呼ばれる新しい凸損失関数の族を提案し、滑らかな損失（最適化は速いが統計的な整合性が遅い）と、区分的線形損失（整合性は速いが非微分）という根本的なトレードオフを両立させることを目指しています。
- LCサロゲートは、どこでも微分可能であることを証明しつつ、厳密な線形のH整合性（H-consistency）境界も維持することで、最適化と統計効率の双方を保つ設計になっています。
- 構造化予測の領域では、滑らかさによって、Viterbiのような厳密推論に伴うO(|Y|^2)の二次的複雑性を回避しながら、二次計算を必要としない偏りのない確率的勾配推定量が可能になると示しています。
- 実験では、大語彙のシーケンスタギングでStructured SVMに対して23×の高速化を報告しており、さらにInstance-dependentなラベルノイズへの頑健性でCross-Entropyより2.6%良い結果（腐敗したCIFAR-10）も示しています。
- 全体として、LCサロゲートは分類と構造化予測の両方で、学習の加速とノイズ耐性の向上を同時に提供し得ることを示唆しています。
