トークン超入門 — LLM の「単位」を腑に落とす
Zenn / 4/29/2026
💬 OpinionDeveloper Stack & InfrastructureIdeas & Deep AnalysisTools & Practical Usage
Key Points
- LLMの「トークン」が請求・生成速度・品質を左右する基本単位であり、文字単位との違いから理解することが最適化の出発点だと説明している
- サブワード/BPE、コンテキストウィンドウ、prefill/decode、prompt anatomyなどの概念を一連の因果でつなぎ、価格やモデル名に依存しないfirst-principlesで整理している
- promptの衛生原則、計測方法、アンチパターンを通じて、実務でハマりやすい失敗を回避する考え方を提示している
- 最適化のための具体的整理として「9つの最適化理由」や「3 moves × 7 families」などの枠組みを提供している
LLM の請求書・速度・品質をすべて決める『トークン』を、文字との違いから最適化への道筋まで一気通貫で身体化する決定版ガイド。サブワード、BPE、コンテキストウィンドウ、prefill/decode、prompt anatomy、衛生原則、計測、アンチパターン、9つの最適化理由、3 moves × 7 families まで、価格やモデル名に依存しない first-principles で解説。本編16章 + 付録2章 + 巻末コラムの計20章（はじめに含む）。
