マルチタスク学習における高度なオプティマイザの適用可能性を掘り下げる

要旨: マルチタスク学習（MTL）は、基盤となる機械学習の問題であり、過去10年間で広範に開発されてきました。近年では、最適化の軌跡を変えることで、複数のタスクを同時に学習するための、さまざまな最適化ベースのMTL手法が提案されています。これらの手法はタスクの競合を解消し、再バランスすることを目指していますが、先進的な最適化手法を用いる際に見落とされがちな要因によって、その有効性がしばしば損なわれることを、実験的に明らかにします。具体的には、即時に導出された勾配は、実際のパラメータ更新においてはわずかな役割しか果たしていないという点です。この不整合により、MTLフレームワークは学習ダイナミクスにおける力を十分に発揮できません。さらに、最近登場した先進的な最適化手法である Muon-a は、本質的にマルチタスク学習者として機能していることを観察しており、そのことは、その直交化に用いられる勾配の重要性を強調しています。これらの課題に対処するために、APT（Applicability of advanced oPTimizers）を提案します。APTは、先進的最適化手法とMTLの強みのバランスを取るための、単純な適応的モーメンタム機構を備えたフレームワークです。加えて、Muon's の直交化を促進するための軽量な方向保存手法も導入します。4つの主要なMTLデータセットにわたる大規模な実験の結果、APTは既存のMTL手法を一貫して改善し、大幅な性能向上をもたらすことが示されました。