 | ai2からの新しいMoEリリース - EMO、1b-active/14b-total、1tトークンで学習 興味深いのはドキュメント単位のルーティングです。表層のパターンではなく、専門家は健康、ニュースなどの領域ごとにクラスタを形成します [リンク] [コメント] |
AI2がMoEモデル「EMO」を発表（ドキュメント単位ルーティングが特徴）
Reddit r/LocalLLaMA / 2026/5/9
📰 ニュースSignals & Early TrendsModels & Research
要点
- AI2（AllenAI）から、MoE（Mixture of Experts）モデル「EMO」が新たにリリースされたと報じられています。
- EMOは「1b-active/14b-total」の構成で、累計1兆トークン（1T tokens）で学習されたとされています。
- 特徴として、ドキュメント単位でルーティング（document-level routing）を行い、専門家（experts）が医療・ニュースなどの“領域”ごとにクラスタ化される点が挙げられています。
- モデルはHugging Faceのコレクション（allenai/emo）で公開されています。
