BoSS: 深層アクティブラーニングのオラクルとしての戦略ベストセレクター

要約: アクティブ・ラーニング（AL）は、価値のあるインスタンスを反復的に選択することにより、アノテーションコストを削減しつつモデルの性能を最大化することを目的としています。基盤モデルはこれらのインスタンスを特定するのを容易にしていますが、既存の選択戦略は異なるモデル、アノテーション予算、データセット間でロバスト性に欠けます。既存のAL戦略の潜在的な弱点を浮き彫りにし、研究の参照点を提供するために、オラクル戦略を探ります。すなわち、実務的なALシナリオでは利用できない正解データの情報にアクセスして最適な選択を近似する戦略、すなわちオラクル戦略です。現在のオラクル戦略は、しかしながら、大規模なデータセットや複雑な深層ニューラルネットワークに対して効果的にスケールすることができません。これらの制限に対処するために、大規模なALシナリオを想定して設計されたスケーラブルなオラクル戦略である Best-of-Strategy Selector（BoSS）を導入します。BoSSは、選択戦略のアンサンブルを通じて候補バッチのセットを構築し、最大の性能向上をもたらすバッチを選択します。選択戦略のアンサンブルとして、BoSSは新しい最先端戦略が出現するにつれて容易に拡張でき、将来も信頼できるオラクル戦略であり続けます。我々の評価は、i) BoSSが既存のオラクル戦略を上回ること、ii) 最先端のAL戦略は依然としてオラクルの性能に著しく及ばないこと、特に多クラスを含む大規模データセットで、iii) AL戦略の一貫性のない性能に対抗する1つの可能な解決策は、選択のためにアンサンブルベースのアプローチを採用することかもしれない、ことを示しています。