要旨: 本原稿には、刊行予定の第3版 {6em Cover and Thomas's Elements of Information Theory5em} に収録することが検討されている章のプレプリントが収められており、Wiley からの許可を得て掲載しています。新しい版の目次（EIT-3 ToC）は以下で確認できます: https://docs.google.com/document/d/1L-m4oQEJw1PJhoxBeMwrrBD8S_HmvzMEkPbYvS24980/edit?usp=sharing 。ご意見・ご感想は abbas@ee.stanford.edu までお願いします。
学習と情報理論は、モデル学習と基礎的な性能限界の特徴づけの両方において交差します。本原稿は、その最初の交差点について、情報理論と統計に関する基本的な背景（学部上級または大学院1年程度）だけで読める、簡潔でアクセスしやすい取り扱いを提供します。章末問題により、本資料は授業での使用はもちろんのこと、自主学習にも適しています。
この章では、線形回帰やロジスティック回帰から、自回帰モデル、変分オートエンコーダ、拡散モデル、生成敵対ネットワーク、スコアベースモデルに至るまでの幅広い例を通して、モデル学習における発散（divergence）指標の役割に焦点を当てます。証拠下限（ELBO）、f !発散、そしてフィッシャー発散を導入します。特に、生成拡散モデルの取り扱いは、文献で一般的なものよりも、より体系的かつ明示的な導出を提供しています。
情報理論と統計的学習
arXiv stat.ML / 2026/5/6
💬 オピニオンIdeas & Deep AnalysisTools & Practical UsageModels & Research
要点
- 本プレプリントは、*Cover and Thomas’s Elements of Information Theory* 第3版への収録が検討されている章の原稿であり、学習と情報理論を「学習・訓練」と「性能限界」の両面からつなぐ内容になっています。
- 章では、分岐（ダイバージェンス）指標がモデル学習に果たす役割に焦点を当て、線形・ロジスティック回帰から拡散モデルやGAN、スコアベースモデルまで幅広い例を扱います。
- evidence lower bound（ELBO）、fダイバージェンス、Fisherダイバージェンスといった重要概念を導入し、統計的学習の目的関数と情報理論的な量を結び付けます。
- 特に生成拡散モデルについて、文献で一般的な説明よりも体系的かつ明示的な導出を提示する点が強調されています。
- 内容は、上級学部または修士1年程度の基礎知識で読み進められるよう配慮され、章末問題も含めて授業や独学に適した構成です。
