 | new MoE release from ai2 - EMO, 1b-active/14b-total trained on 1t tokens interesting thing is document-level routing. experts cluster around domains like health, news, etc. instead of surface patterns [link] [comments] |
new MoE from ai2, EMO
Reddit r/LocalLLaMA / 5/9/2026
📰 NewsSignals & Early TrendsModels & Research
Key Points
- AI2（AllenAI）から、MoE（Mixture of Experts）モデル「EMO」が新たにリリースされたと報じられています。
- EMOは「1b-active/14b-total」の構成で、累計1兆トークン（1T tokens）で学習されたとされています。
- 特徴として、ドキュメント単位でルーティング（document-level routing）を行い、専門家（experts）が医療・ニュースなどの“領域”ごとにクラスタ化される点が挙げられています。
- モデルはHugging Faceのコレクション（allenai/emo）で公開されています。
Related Articles
The Semantic Airgap: Why "Hinglish" is the Ultimate Zero-Day for Voice Agents
Dev.to
A protocol for auditing AI agent harnesses
Dev.to
Anthropic says it hit a $30 billion revenue run rate after 'crazy' 80x growth
VentureBeat
Anthropic prompt caching cut our RCA cost by 90%
Dev.to
OpenAI brings GPT-5-class reasoning to real-time voice — and it changes what voice agents can actually orchestrate
VentureBeat
