LLM Architecture Gallery徹底解説：30+モデルの内部構造を4軸で横断比較する
Zenn / 2026/3/29
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- LLM Architecture Galleryを題材に、30+モデルの内部構造を「4軸」で整理し、横断比較できるように解説している
- 比較軸ごとに各モデルの特徴や設計思想の違いを示し、アーキテクチャ選定や理解の基準を提供している
- 主要な構成要素（例：層・モジュールの考え方や学習/推論に関わる設計上の差）を俯瞰して、モデル間の系統的な見方を促している
- 個別モデルの暗記ではなく、アーキテクチャの観点から判断するための読み方（比較フレーム）を提示する内容になっている
LLM Architecture Gallery徹底解説：30+モデルの内部構造を4軸で横断比較する
この記事でわかること
Sebastian RaschkaのLLM Architecture Galleryの全体像と活用方法
MHA→GQA→MLA→Linear Attentionへ至るアテンション機構の進化と各方式の設計意図
QK-Norm・RMSNorm・NoPEなど正規化・位置エンコーディングの選択基準
Mixture-of-Experts（MoE）設計の分類と、密モデルとの使い分け判断基準
2026年3月時点のフロンティアモデル（Qwen3.5、Kimi K2.5、G...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
