少数サンプルで翻訳タスクを行う際のアクティブラーニングの前提を検証する

概要: アクティブラーニング（AL）は、テストセットに対するモデル性能を向上させるために、ラベル付けされていないサンプルを注釈（アノテーション）する対象として選択する訓練パラダイムであり、注釈できるサンプル数が限られている場合に有用です。これらのアルゴリズムは、多くの場合、注釈対象となる訓練データの「情報量（informativeness）」と「多様性（diversity）」を最適化することで機能します。近年の研究では、100〜500サンプルを用いるさまざまな言語生成タスクにおいて、AL戦略がランダムサンプリングを上回る性能を達成できないことが分かっています。限られた少数サンプルのみを使用する場合にALの性能が低い理由を理解するために、AL戦略の根幹をなす仮定が成り立っているかを調べます。その結果、AL戦略が最適化している訓練データの情報量や多様性は、テストセットの性能と相関していないことが分かりました。代わりに、訓練サンプルの順序や、事前学習データとの相互作用といった要因のほうが、性能への影響が大きいことが示唆されます。これは、今後のAL手法が非常に少数のサンプルで機能するためには、これらの要因を考慮する必要があることを意味します。