共有線形表現を用いるマルチタスク学習のための、準最適で効率的な一次アルゴリズム

arXiv cs.LG / 2026/5/4

📰 ニュースIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、共有線形表現を用いる場合でも、多タスク学習に対して尤度ベースで効率的に解けるアルゴリズムを構築する点での研究の不足を扱います。
  • 非凸性の主要因となる行列因子分解に対処しつつ、共有表現とタスク固有パラメータを同時に学習する一次最適化手法を提案しています。
  • このアルゴリズムは、対数因子を除いた形で O~(1) 回の反復で収束することが保証されており、高い効率性が示されます。
  • 推定誤差は O~(dk/(TN)) を達成し、既存の尤度ベース手法より k 分だけ改善することが主張されています。
  • まとめると、本研究は、検討された設定の下で尤度ベースの一次手法がマルチタスク学習を効率的に解けることを理論的に裏付けています。

Abstract

多タスク学習(MTL)は、複数の関連するタスク間で共有構造を活用することで、機械学習における重要なパラダイムとして登場してきました。実証的な成功にもかかわらず、(共有された線形表現でさえ)尤度に基づく効率的に解けるアルゴリズムの開発は、主として行列因子分解に固有の非凸構造によって、いまだ十分に進んでいません。本論文では、共有表現とタスク固有のパラメータを同時に学習し、保証された効率性を持つ一次(first-order)アルゴリズムを導入します。特に、この手法は \widetilde{\mathcal{O}}(1) 回の反復で収束し、 \emph{近最適}な推定誤差 \widetilde{\mathcal{O}}(dk/(TN)) を達成します。ここで d, k, T, N はそれぞれ入力次元、表現次元、タスク数、各タスクあたりのサンプル数を表します。さらに、この推定誤差は既存の尤度に基づく手法に比べて k 倍改善しています。本研究の結果は、尤度に基づく一次手法が MTL 問題を効率的に解けることを裏付けています。