[R] ZeroProofML: 科学的MLにおける未定義ターゲットのための「滑らかに訓練し、厳密に推論する」

Reddit r/MachineLearning / 2026/3/15

💬 オピニオンIdeas & Deep AnalysisTools & Practical UsageModels & Research

要点

  • ZeroProofML は、科学的 ML における未定義ターゲットに対する意味論的アプローチを提案します。これは、ゼロ除算がすべての演算に伝播する吸収要素 ⊥ を生み出す Signed Common Meadows を用いるものです。
  • 学習中は滑らかな N/D の対を用いて勾配を流し続ける“Train on Smooth, Infer on Strict”という訓練パラダイムを実装します。推論時には特異境界を横切る際に明示的な状態を出力するよう、厳密デコードに切り替えます。
  • 有理ニューラルネットは、ポール状の成長と鋭い遷移に対して自然な帰納バイアスを提供します。ZeroProofML は意味層を追加し、特異点近傍で出力がクリップされた有限代替に依存する必要をなくします。
  • 3つの領域(投薬の dose–response、RF フィルタ外挿、逆運動学)において、本フレームワークは顕著な向上を示します(例:dose–response における偽の有限予測の劇的な減少、RF 外挿におけるピーク保持率の向上と位相誤差の低減、ロボティクスにおける seed 間分散の大幅な低減)。ただし、特定の状況では最適化の未解決とバイアス-分散のトレードオフを認識しています。

私たちは ZeroProofML を共有します。これは、ターゲットが本当に未定義または同定不能となり得る科学的機械学習の問題を扱う小規模なフレームワークです。例えば、極、アッセイ検閲境界、運動学的ロックなど。根本的な問題は 0 での除算です。数値的なバグとしてではなく、学習された有理関数がポールに達する時、正規化の分母が消滅する時、あるいは物理量が同定不能になる時に現れる意味論的なイベントです。

動機となる課題は意味論的であり、数値的なだけではありません。分母の病理に対する一般的な修正は ε 正則化です: N/D を N/(D+ε) に置換します。これにより学習は安定しますが、意味も変わってしまいます。本来「未定義」とデコードされるべき点が、代わりに大きな有限数へと変わってしまいます。我々のアプローチは Common Meadows(共通 Meadows)という理論計算機科学の代数的フレームワークに基づいています。ここでは除算は全て定義され、ゼロ除算すると吸収要素 ⊥ が返され、それ以降のすべての演算に伝搬します。私たちが用いる特定の変種は Signed Common Meadows(SCM)であり、特異境界において符号/方向情報も保持します。

実用的な難点は、⊥ が勾配を打ち消してしまうため、厳密モードで直接学習することができない点です。我々の解決策は『滑らかに訓練し、厳密に推論する』です。訓練中は、勾配が流れ続けるように、モデルは滑らかな射影対 ⟨N, D⟩ を用います。推論時には、分母が特異境界を横切るときに ε に安定化した大きな値ではなく、明示的な状態を出力する厳密デコードへ切り替えます。有理ニューラルネットはすでに表現力の点で役立ちます。これは平凡な MLP よりも、ポール状の成長と鋭い遷移をより自然にモデル化できます。ZeroProofML はその有理的帰納バイアスを前提に構築しますが、より厳密な意味層を追加します。特異境界の近傍では、出力がクリップされた有限代替を返す必要はありません。

3つのドメイン(10 種のシード):

  • Dose–response (pharma): 厳密デコードにより、検閲入力における偽の有限予測を 57.3%(有理+εのベースライン)から約 1.2×10⁻⁴ に低減し、FN_in = 0 を達成します。
  • RF フィルタ外挿(electronics): Q_f における OOD 外挿を 33× 程度下回る中、共有分母 SCM モデルはピーク保持率を 39.8% から 77.3% に改善し、位相誤差を大幅に低減します。
  • Inverse kinematics (robotics): 射影的パラメータ化により seed-to-seed 分散を 31.8×低減します。

いくつかの制限:

  • 薬物動態(Dose)では、検閲方向の監視と高品質な回帰の整合を取ることはまだ未解決の最適化問題です。
  • ロボティクスでは、バイアス-分散のトレードオフがあります。
  • 通常の滑らかな回帰問題に対しては、これは不要なオーバーヘッドです。

算術設計は帰納的バイアスだと主張します。特異域では、モデルがゼロ除算を明示的に表現するかどうかが重要になることがあります。

ブログ: