エピステミック・コンプレッション:高リスクAIにおける意図的な不知のために

arXiv cs.LG / 2026/3/27

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、基盤モデルが高リスクで信頼性が決定的に重要な領域(医療、金融、政策)においてしばしば性能を十分に発揮できない理由が、「フィデリティ・パラドックス」による構造的な問題であり、単なるデータの問題ではないと主張する。
  • 「エピステミック・コンプレッション」を導入し、頑健性は、単にパラメータをスケールすることではなく、訓練データの有効な保管期間(安定性)にモデルの複雑さを整合させることで得られると述べる。
  • この方法は従来の正則化とは異なり、パーシモニー(節約性)をアーキテクチャのレベルで強制することで、データ中の証拠に支持されない変動を符号化することが、モデルにとって本質的にコストの高いものになる。
  • このアプローチは、「レジーム・インデックス」により実装される。ここでは、Shifting Regimes(変動する状況、データが乏しい—単純さを優先)と、Stable Regimes(不変な状況、データが豊富—複雑さを許容)を区別する。
  • 15の高リスク領域にまたがる探索的な統合(synthesis)では、レジーム・インデックスが経験的により良い戦略と一致した割合が86.7%(13/15)であり、高リスクAIに対する、原理に基づくパーシモニーへの転換を支持する結果となった。

要旨: 基盤モデルは安定した環境では優れた性能を発揮しますが、信頼性が最も重要となる領域——医療、金融、政策——ではしばしば機能しません。この忠実度パラドックスは単なるデータの問題ではなく、構造的な問題です。ルールが時間とともに変化する領域では、モデルの追加的な容量は、シグナルを捉えるというよりはノイズを増幅します。我々は、エピステミック・コンプレッションを提案します。これは、頑健性がパラメータをスケーリングすることから生まれるのではなく、モデルの複雑さをデータの保存期間(有効期間)に合わせることで生まれる、という原理です。事後的に重みを罰する従来の正則化とは異なり、エピステミック・コンプレッションはアーキテクチャを通じて倹約性(パースル/parsimony)を強制します。すなわち、モデル構造そのものが、データ中の証拠を超えて変動(分散)を表現することを建築学的に困難にすることで、過学習を抑えるよう設計されます。これを実装するために、レジーム指数(Regime Index)を導入します。これは、変化するレジーム(Shifting Regime:不安定でデータが乏しい——単純さが勝つ)と、安定したレジーム(Stable Regime:不変でデータが豊富——複雑さが成立する)を分けます。高リスクな15の領域に関する探索的統合では、この指数は、経験的に優れたモデリング戦略と86.7%の場合(13/15)で一致しました。高リスクAIは、単にスケールすることのためのスケーリングから、原理に基づく倹約性へと転換を必要とします。