マイノリティを制する：難長尾シーケンス学習のための不確実性ガイド付きマルチエキスパートフレームワーク

要約：
不均衡なデータ分布は逐次学習における重大な課題であり、モデルは頻繁に現れるカテゴリを容易に識別してしまう一方、マイノリティクラスを適切に検出できない。
Mixture-of-Expertsモデルはスケーラブルな解決策を提供しますが、その適用はパラメータの非効率性、専門家の専門化不足、予測衝突の解決の難しさによってしばしば妨げられます。
マイノリティクラスを効果的に扱うために、私たちは不確実性ベースのマルチエキスパート融合ネットワーク（UME）フレームワークを提案します。
UMEは3つの核心的な革新を備えて設計されています：
第一に、パラメータ効率の高いモデリングのために Ensemble LoRA を採用し、学習可能パラメータ数を大幅に削減します。
第二に、DST（Dempster-Shafer Theory）に導かれた逐次専門化を導入し、難易度の高い尾部クラスへの効果的な専門化を保証します。
最後に、不確実性ガイド付き融合メカニズムは、DSTの確実性指標を用いてエキスパートの意見を動的に重み付けし、最も自信のある専門家を優先することで信頼性の高い最終予測を実現し、衝突を解決します。
4つの公開階層的テキスト分類データセットにわたる広範な実験は、UMEが最先端の性能を達成することを示しています。
個々のカテゴリで最良のベースラインを最大で17.97%上回る性能向上を達成し、学習可能なパラメータを最大で10.32%削減します。
この知見は、不確実性ガイド付きのエキスパート協調が、難易度の高い尾部シーケンス学習に対処するための原理的な戦略であることを示しています。
私たちのコードは https://github.com/CQUPTWZX/Multi-experts で利用可能です。