マルチモーダルAI「Flamingo」を読むための前提知識まとめ②（Catastrophic Forgetting、Frozen backbone、セルフアテンションとクロスアテンション、自己回帰モデル）
Qiita / 2026/5/4
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- Flamingoを理解するために必要な前提知識（Catastrophic Forgetting、Frozen backbone、セルフアテンション/クロスアテンション、自己回帰モデル）を整理する連載の第2回である。
- Catastrophic Forgettingは学習・適応の際に既存能力が失われる問題として、モデル運用や学習設計の重要論点として扱う。
- Frozen backboneでは基盤モデル側を固定し、学習対象を限定する設計思想が、マルチモーダル適用時の安定性に関係する。
- セルフアテンションとクロスアテンションの役割の違いを押さえることで、画像/テキストなど異なるモダリティ統合の仕組みを読み解ける。
- 自己回帰モデルの前提（逐次予測の考え方）を理解することで、Flamingoの推論・生成の捉え方が整理される。
はじめに
前回に引き続いて、こちらの論文の周辺知識を備忘録としてまとめていきます。
今回は、Catastrophic Forgetting、Frozen backbone、セルフアテンションとクロスアテンション、そして自己回帰モデルについてです。
Catastrophi...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →関連記事
Blackstone、Hellman & Friedman、Goldman Sachsとともに新たなエンタープライズAIサービス企業を設立
Anthropic News
三菱電機も出資するユニコーン予備軍 東大発新興の燈、フィジカルAI 「26年内に」
日経XTECH
API vs Local LLMの『一択』時代は2026年に終わった — 値上げと値下げが同時進行する 25ドル vs 0.87ドル、30倍格差を読み解く
Qiita
Claude Code + Python で AI 情報収集→記事化パイプラインを Phase 3 まで作って分かったこと
Zenn
LLMのためのとても基本的なリトマステスト
Reddit r/LocalLLaMA
