同値損失による不確実性サンプリングの理解

Abstract

不確実性サンプリングは、現在の予測モデルが不確かだと判断するデータサンプルの注釈を、逐次的に問い合わせる能動学習アルゴリズムとして広く普及しています。しかし、不確実性サンプリングの利用はほとんどが経験則に基づいてきました。すなわち、特定の損失のもとで特定のタスクに対して「不確実性」を適切に定義する方法について合意がなく、また、アルゴリズムを実装するための標準的な手順を規定する理論的保証も存在しません。本研究では、用いられる不確実性指標と元の損失関数に依存する「同等な損失」の概念を通して、二値分類問題における不確実性サンプリングアルゴリズムを体系的に調べ、ある不確実性サンプリングアルゴリズムが、そのような同等な損失に対して最適化していることを確立します。この視点は、既存の不確実性指標の妥当性を二つの観点から検証します。すなわち、代理特性（サロゲート特性）と損失の凸性です。凸性が保たれる場合、同等な損失に関するサンプル複雑度の結果を提示し、その後、代理リンク関数を介して二値損失の保証へと変換します。このアプローチにより、弱い条件のもとで、不確実性サンプリングが受動学習に対して漸近的に優れていることを証明します。また、プールベースの設定や、多クラス分類、回帰問題への潜在的な拡張など、いくつかの可能な拡張についても議論します。