SOC-ICNN：多面体幾何から円錐（コン）幾何へ—凸サロゲート関数を学習するために

arXiv cs.LG / 2026/4/27

📰 ニュースModels & Research

共有:

要点

本論文は、ReLUベースの入力凸ニューラルネットワーク（ICNN）が線形計画法（LP）の最適値関数に対応するため、表現力が多面体的な折れ線（piecewise-linear）関数に制限されると指摘している。
そこで、SOC-ICNNはLPから第二次錐計画法（SOCP）へと最適化クラスを拡張し、正半定値の曲率とユークリッドノルムに基づく円錐プリミティブを明示的に組み込むことで滑らかな曲率を表現に導入する。
著者らは、SOC-ICNNがReLU-ICNNの表現空間を厳密に拡張しつつ、順伝播の計算量の漸近オーダーは増やさないことを形式的に証明している。
実験では、SOC-ICNNが関数近似を大きく改善しながら、下流の意思決定タスクでも競争力のある品質を示している。
実装コードは指定のGitHubで公開されている。

要旨: 古典的なReLUベースの入力凸ニューラルネットワーク（ICNN）は、線形計画法（LP）の最適値関数と同値である。こうした本質的な構造的同値性により、その表現能力は区分的線形の多面体関数に制限される。この表現上のボトルネックを克服するために、我々はSOC-ICNNを提案する。これは、基礎となる最適化クラスをLPから第二次錐計画（SOCP）へ一般化するアーキテクチャである。正定値半定曲率およびユークリッドノルムに基づく錐プリミティブを明示的に注入することで、本定式化は、最適化理論に基づく厳密な解釈を維持しつつ、表現に自然な滑らかな曲率を導入する。我々は、SOC-ICNNが漸近的な順伝播計算量のオーダーを増やすことなく、ReLU-ICNNの表現空間を厳密に拡張することを形式的に証明する。大規模な実験により、SOC-ICNNが関数近似を大幅に改善する一方で、下流の意思決定品質において競争力のある性能を提供することを示す。コードは https://github.com/Kanyooo/SOC-ICNN で公開されている。