AgenticRS-EnsNAS: アンサンブル分離型自己進化アーキテクチャ探索

要旨:
ニューラルアーキテクチャ探索（NAS）の産業用生産システムへの展開は、本質的な検証ボトルネックに直面している。単一の候補アーキテクチャ pi の検証には、展開済みの M モデルのアンサンブルを評価する必要があり、候補ごとに膨大な O(M) 計算コストを要する。
このコスト障壁は、頑健性の標準であるアンサンブル（M=50-200）が現実世界のアプリケーションで広く使われる場合、アーキテクチャの反復頻度を著しく制限する。
本研究は Ensemble-Decoupled Architecture Search を紹介する。これはアンサンブル理論を用いて、単一学習器の評価からシステムレベルの性能を予測するフレームワークである。
同質性仮定の下で、単調なアンサンブル改善を保証する十分条件を備えた Ensemble-Decoupled Theory を確立する：候補アーキテクチャ pi は、現在のベースラインよりもアンサンブル誤差が低くなる。条件は rho(pi) < rho(pi_old) - (M / (M - 1)) * (Delta E(pi) / sigma^2(pi)) となる。ここで Delta E、rho、sigma^2 は軽量なデュアル学習器の訓練から推定可能である。
このことは、アーキテクチャ探索を全アンサンブル訓練から切り離し、候補ごとの探索コストを O(M) から O(1) に低減する。一方、検証済みの勝者に対してのみデプロイ時の O(M) コストを維持する。
パイプラインの連続性全体にわたる解法戦略を統合する：(1) 連接的な pi を扱える場合の閉形式最適化（CTR予測における特徴バギングの例）、(2) 難解な連続 pi に対する制約付き微分可能最適化、(3) 離散 pi に対する逐次的単調受理を伴うLLM駆動の探索を統合。
このフレームワークは、基本的多様性の利得と精度の利得という 2 つの直交的改善メカニズム――基本的多様性の利得と精度の利得――を明らかにし、産業規模の NAS の実用的な設計原則を提供する。
すべての理論的導出は厳密であり、詳細な証明は付録に付される。
本研究のジャーナル拡張版には、包括的な経験的検証が含まれる予定である。