MoEITS：MoE-LLMを簡素化するためのグリーンAIアプローチ

arXiv cs.LG / 2026/4/14

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、計算量、メモリ使用量、エネルギー消費を削減することを目的に、Mixture-of-Experts（MoE）LLMを簡素化するためのアルゴリズム「MoEITS」を提案する。
MoEITSは標準化された情報理論的フレームワークに基づいて構築され、理論的な計算量解析と実際の実験の両方によって評価される。
実験では、Mixtral 8×7B、Qwen1.5-2.7B、DeepSeek-V2-Liteを含むモデルに対して、MoEITSを最先端のMoE-LLMプルーニング手法と比較する。
結果は、MoEITSがベンチマークにわたって精度を維持しつつ、計算効率の面で大きな改善を達成する簡素化モデルを生成することを示している。
著者らは、実装コードをGitHubで公開すると述べており、再現性と普及を支援する。

概要: 大規模言語モデルは学術や産業のあらゆる分野を変革しており、研究者、実務家、そして一般の人々の注目を集めています。より強力なアーキテクチャを求める流れの中で、アンサンブルモデルに着想を得たMixture-of-Experts（MoE）が、有力な選択肢の1つとして登場してきました。しかし、これは学習と推論の両方において高い計算負荷を意味します。計算およびメモリ使用量、ならびにエネルギー消費への影響を低減するために、簡略化手法が非常に効果的な手順として現れてきました。
本論文では、MoE-LLMの簡略化のためのオリジナルなアルゴリズムであるMoEITSを提案します。このアルゴリズムは、標準化された情報理論的枠組みによって裏付けられた、洗練された簡素化を特徴とします。MoEITSは、理論的および実務的な観点から深く分析されます。その計算計算量（複雑性）を調べます。さらに、簡略化されたLLMの精度における性能と達成される削減率について、入念に設計された実験を通じて評価します。この実証評価には、Mixtral $8\times7$ B、Qwen1.5-2.7B、そしてDeepSeek-V2-Liteに適用した最先端のMoE-LLMプルーニング手法との比較が含まれます。広範に行われた実験により、MoEITSが最先端技術を上回ることが示されており、すべてのベンチマークで有効であり、かつ計算効率の高いモデルを生成します。
本手法を実装したコードは https://github.com/luisbalru/MoEITS で公開されます。