UniPROT：部分最適輸送による一様プロトタイプ選択とサブモジュラ保証

要旨: ソース分布からの代表的な例を選択してターゲットのデータ分布を表現することは、機械学習における基本的な問題である。既存の部分集合選択（subset selection）手法はしばしば暗黙的な重要度スコアに依存しており、これが多数クラスに偏ることで、少数クラスに対する質の低いプロトタイプにつながり得る。我々は、一様に重み付けされたプロトタイプ分布とターゲット分布の間の最適輸送（OT）距離を最小化する、新しい部分集合選択の枠組み
methodpropを提示する。直観的ではあるものの、この定式化は、
cardinality（要素数）制約付きの、
\emph{超加法的（super-additive）}な目的関数の最大化問題へと帰着するが、一般に効率よく近似することは困難である。これに対処するために、OTの周辺（marginal）制約を筋の通った形で再定式化し、その結果として部分的な最適輸送に基づくサブモジュラ（submodular）目的関数を得ることを提案する。この再定式化により、元の超加法的最大化問題に対して(1-1/e)の近似保証を備えた貪欲アルゴリズムが可能になることを証明する。実験的に、UniPROTにおいてプロトタイプ重みを一様に強制することで、クラス不均衡の分類ベンチマークにおける少数クラスの表現が一貫して改善される一方、多数クラスの精度を損なわないことを示す。大規模言語モデルにおけるドメイン不均衡下のファインチューニングと事前学習の両方の設定において、UniPROTはソースからの貢献を一様に強制し、頑健な性能向上をもたらす。我々の結果は、UniPROTが、一様重み付けプロトタイプ選択のための、スケーラブルで理論的に裏付けられた解であることを示している。我々のコードはGitHubで公開されている\footnote{Code: https://github.com/efficiency-learning/UniPROT}