マルチモーダルAI「Flamingo」を読むための前提知識まとめ②（Catastrophic Forgetting、Frozen backbone、セルフアテンションとクロスアテンション、自己回帰モデル）
Qiita / 5/4/2026
💬 OpinionIdeas & Deep AnalysisModels & Research
Key Points
- Flamingoを理解するために必要な前提知識（Catastrophic Forgetting、Frozen backbone、セルフアテンション/クロスアテンション、自己回帰モデル）を整理する連載の第2回である。
- Catastrophic Forgettingは学習・適応の際に既存能力が失われる問題として、モデル運用や学習設計の重要論点として扱う。
- Frozen backboneでは基盤モデル側を固定し、学習対象を限定する設計思想が、マルチモーダル適用時の安定性に関係する。
- セルフアテンションとクロスアテンションの役割の違いを押さえることで、画像/テキストなど異なるモダリティ統合の仕組みを読み解ける。
- 自己回帰モデルの前提（逐次予測の考え方）を理解することで、Flamingoの推論・生成の捉え方が整理される。
はじめに
前回に引き続いて、こちらの論文の周辺知識を備忘録としてまとめていきます。
今回は、Catastrophic Forgetting、Frozen backbone、セルフアテンションとクロスアテンション、そして自己回帰モデルについてです。
Catastrophi...
Continue reading this article on the original site.
Read original →Related Articles
AnnouncementsBuilding a new enterprise AI services company with Blackstone, Hellman & Friedman, and Goldman Sachs
Anthropic News
Dara Khosrowshahi on replacing Uber drivers — and himself — with AI
The Verge
CLMA Frame Test
Dev.to
You Are Right — You Don't Need CLAUDE.md
Dev.to
Governance and Liability in AI Agents: What I Built Trying to Answer Those Questions
Dev.to
