広告

分布がシフトする際に、不完全なマルチタスク学習者が犯す認識論的エラー

arXiv stat.ML / 2026/4/1

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、ベイズニューラルネットワークなどの不確実性を意識した学習手法を扱い、点予測のみではなく不確実性推定を出力することに焦点を当てる。特に、認識論的(低減可能な)不確実性によって生じる誤りを対象とする。
  • 認識論的エラーのための原理的な定義を導入し、ソースタスクとターゲットタスクの間でデータ分布がシフトする場合の、不完全なマルチタスク学習に適用可能な、分解に基づく認識論的エラーバウンドを導出する。
  • このバウンドは、複数の要因に対して認識論的エラーを帰属させる。具体的には、どのソースタスクが学習データを生成するか、シフトによってターゲットデータがそれらのタスクのデータとどう異なるか、そして学習者がソースデータの生成過程を正確に特徴づけられるかどうか、である。
  • 系(コロラリ)は、一般的なバウンドをベイズ転移学習およびε近傍内に制約された分布シフトへと特化し、これらの状況に対してより的を絞った指針を提供する。

要旨: ベイズニューラルネットワークのような不確実性を考慮する機械学習器は、点予測の代わりに不確実性の定量化を出力します。本研究では、不確実性を考慮する学習器に対し、還元可能な(エピステミックな)不確実性に起因する誤りを特徴づけ、そしてそれを取り除く方法を特定するための、原理に基づく枠組みを提供します。エピステミック誤りのための原理に基づく定義を導入し、分布シフトのもとでの不完全なマルチタスク学習という、非常に一般的な状況で動作する分解可能なエピステミック誤りの上界を与えます。この設定では、学習(ソース)データは複数のタスクから生じ得て、テスト(ターゲット)データはソースデータのタスクから系統的に異なる可能性があり、さらに学習器がソースデータを正確に特徴づけられない可能性もあります。本上界は、学習手続きと環境の複数の側面それぞれに対して、エピステミック誤りを個別に帰属させます。一般結果の系として、ベイズ転移学習および

近傍内での分布シフトの設定に特化したエピステミック誤りの上界を、
-近傍の設定において提示します。

広告
分布がシフトする際に、不完全なマルチタスク学習者が犯す認識論的エラー | AI Navigate