ミクスチャモデルの観点から見直すLLMエンsembling

要旨: モデルアンサンブリングは、機械学習モデルの性能を向上させるための確立された手法です。従来は、複数のモデルの出力分布を平均し、最も確からしいラベルを選択することによって行われます。この発想は自然に大規模言語モデル（LLM）にも拡張され、その結果として性能が向上する一方で、計算コストが大幅に増大します。この非効率性の原因は、従来のアンサンブル実装をLLMにそのまま適用してしまう点にあります。LLMでは、アンサンブル分布を明示的に計算するために、各モデルごとに別々の順伝播（forward pass）が必要になります。本論文では、Mixture-model-like Ensemble（ME）を提案します。アンサンブルを混合モデルとして再解釈することで、MEは各ステップで確率的に単一のモデルを選択して次トークンを生成し、アンサンブル分布全体を明示的に計算する必要を回避します。MEは数学的にはアンサンブル分布からのサンプリングと同等ですが、呼び出すモデルは1つだけで済むため、従来のアンサンブルよりも1.78倍〜2.68倍高速です。さらに、この観点は、LLMアンサンブリングとトークンレベルのルーティング手法を結び付け、LLMアンサンブリングがルーティング手法の特殊なケースであることを示唆します。本研究の発見は、効率的なLLMアンサンブリングに向けた新たな道を開き、LLMに対するトークンレベルのルーティング戦略のさらなる探究を動機づけます。コードは https://github.com/jialefu/Mixture-model-like-Ensemble/ で公開しています。