実世界のクラウドソーシングによるテキスト注釈を用いたアクティブ・ラーニング手法の分析

Abstract

アクティブラーニングのアルゴリズムは、大量の未ラベルデータから最も有益なサンプルを自動的に特定し、機械学習モデルを学習させる際に必要となる人手によるアノテーションの労力を大幅に削減します。従来のアクティブラーニングの設定では、ラベリングオラクルは不変（不誤）である、つまり問い合わせた未ラベルのインスタンスに対して常に正しい答え（クラスラベルの観点で）を返すと仮定されますが、これは現実のアプリケーションでは保証できません。そこで、このような不完全／ノイズのあるオラクルの存在下で動作するアクティブラーニングアルゴリズムの開発に関する研究が進められてきました。ノイズのあるオラクルを用いた既存研究では、典型的に機械学習モデルによってオラクルをシミュレートします。しかし現実の状況ははるかに難しく、アノテーションのパターンをMLモデルでシミュレートするだけでは、現実におけるアノテーション上の課題のニュアンスを適切に捉えられない可能性があります。本研究ではまず、クラウドソーシングプラットフォームを通じてクラウドソーシングの作業者からテキストサンプルのアノテーションを収集します（3つのベンチマークのテキスト分類データセットから）。次に、取得したアノテーションを用いて、8つのよく使われるアクティブラーニング手法（深層ニューラルネットワークと組み合わせて）について大規模な実証的研究を行います。これらの分析により、アノテータが誤ったラベルを提示したり、ラベル提示を拒否したりし得るような、現実の課題の下でのこれらの手法の性能が明らかになります。本研究が、現実のアプリケーションにおける深層アクティブラーニングシステムの実運用に役立つ貴重な洞察を提供できることを願っています。取得したアノテーションは https://github.com/varuntotakura/al_rcta/ で利用できます。