約1年前にDeepSeek R1が671BパラメータのMoEアーキテクチャで登場したのに、今日のGemma 4 MoEはわずか26Bで、しかも本当に印象的なのだという事実に、衝撃を受けています。25分の1にまで小さくなっているのに、25分の1だけ劣っているのでしょうか？
ローカルLLMの未来にワクワクしています。
[リンク] [コメント]
1年前、DeepSeek R1はGemma 4の25倍の大きさだった
Reddit r/LocalLLaMA / 2026/4/5
💬 オピニオンSignals & Early TrendsModels & Research
要点
- 投稿では、約1年前に報告されていたDeepSeek R1の671BパラメータのMoEモデルと、今日のGemma 4のMoE（約26Bパラメータ）を比較している。
- Gemma 4はDeepSeek R1の約25分の1の大きさであることが強調され、その分小さいモデルは品質もそれに応じて劣るのではないかという疑問が投げかけられている。
- 著者はローカルLLMの進歩に興奮を示しており、効率と能力の急速な改善を示唆している。
- 全体として、コンテンツはより強力なモデルをローカルで動かせるようになる将来性について、前向きな兆しとして位置付けている。
投稿者 /u/rinaldo23
[リンク] [コメント]
