推論時の確率的アテンションにより科学的基盤モデルを校正する

Abstract

トランスフォーマーベースの科学基盤モデルは、高リスクな状況でますます導入されつつありますが、現行のアーキテクチャでは決定論的な出力となり、校正された予測的不確実性に対する十分なサポートが提供されていません。そこで本研究では、軽量な推論時の修正であるStochastic Attention（確率的注意）を提案します。これは、softmaxの重みを、単一の集中パラメータによって制御された正規化された多項分布（multinomial）サンプルで置き換えることで注意をランダム化し、再学習なしで予測アンサンブルを生成します。さらに、このパラメータを設定するために、確率的注意の出力がターゲットと一致するようにする校正目的を導入し、効率的な一変量の事後（post-hoc）チューニング問題として定式化します。私たちは、この仕組みを、天候と時系列予測のための2つの科学基盤モデルと、追加の回帰タスクに対して評価します。不確実性を意識したベースラインとのベンチマークを通じて、Stochastic Attentionは同等のカバレッジにおいて最も強いネイティブな校正と最も鋭い予測区間を実現しつつ、競争力のあるベースラインでの再学習に要する日数ではなく、事後チューニングに要するのはわずか数分で済むことを見出しました。