AI Navigate

適応ドメインモデル: 幾何学的AIとニューロモルフィックAIのためのベイズ的進化、ウォームローテーション、原理に基づく訓練

arXiv cs.AI / 2026/3/20

📰 ニュースIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、次元型システムと決定論的メモリ管理、プログラムハイパーグラフ、および b-posit 標準に基づく代替的なAIトレーニングアーキテクチャを提案し、検証可能な勾配処理とハードウェアターゲット全体にわたるメモリ効率の良いトレーニングを可能にする。
  • 深さに依存しないトレーニングメモリを推論フットプリントのおおよそ2倍程度に制限でき、勾配の正確な蓄積と勾配を保持した重み更新を提供する。これらは従来の損失ベースモデルおよびスパイクタイミング依存性ニューロモルフィックモデルの双方に適用可能である。
  • データが不足する領域でのドメイン特化型訓練をブートストラップするために、一般目的モデルから潜在的事前知識を抽出するベイズ蒸留を導入する。
  • デプロイメントのために、更新されたモデルがサービス停止なしにアクティブ推論へ移行できるようなウォームローテーションを提供するパターンを紹介し、PHG証明書と署名済みのバージョン記録によって検証される。これにより、既存のモデルから初期化可能な、より小型で、より正確、継続的に適応するドメイン特化AIシステムが実現する。

要約: 一般的なAIトレーニング基盤はIEEE-754算術上の逆モード自動微分を前提としています。推論に対するトレーニングのメモリオーバーヘッド、オプティマイザの複雑さ、そしてトレーニングを通じた幾何学的性質の構造的劣化は、この算術基盤の結果です。本論文は、3つの既知の成果に基づく代替的なトレーニングアーキテクチャを提案します:次元型システムと決定論的メモリ管理フレームワーク [6] は、スタック適格な勾配割り当てと正確なquire蓄積を設計時に検証可能な性質として確立します;プログラムハイパーグラフ [8] は、幾何代数計算を介したグレード保持を型レベルの不変条件として確立します;および b-posit 2026標準 [10] は、ポジット算術を従来推論専用と見なされてきたハードウェア目標全般にわたって扱えるようにします。これらの組み合わせは、深さに依存しないトレーニングメモリを推論フットプリントの約2倍程度に制限し、グレードを保持するウェイト更新と正確な勾配蓄積を可能にします。これは、ロス関数最適化モデルとスパイク時刻依存性ニューロモルフィックモデルの双方に一様に適用可能です。我々はベイジアン蒸留を導入します。これは、一般目的モデルの潜在的事前構造をADMトレーニングレジームを介して抽出する仕組みであり、ドメイン特化トレーニングのデータ不足によるブートストラップ問題を解決します。デプロイメントには、ウォームローテーションを導入します。更新されたモデルがサービス停止することなくアクティブな推論経路へ移行する運用パターンで、PHG証明書と署名付きバージョン記録によって構造的正当性を形式化します。その成果は、一般目的モデルより小さく、より精密なドメイン特化型AIシステムのクラスであり、継続的に適応し、各領域の物理的構造に関して検証可能に正確で、既存のモデルから初期化可能です。