【LLM 基礎】トークンって一体何者なの？
Zenn / 2026/4/16
💬 オピニオンModels & Research
要点
- LLMが扱う「トークン」とは、文章を分割してモデルに入力するための最小単位であり、単語そのものとは限らない点を説明している。
- トークン化の考え方によって、同じ文章でも分割のされ方（単語単位/サブワード単位など）が変わり得ることが示される。
- トークンはモデルの推論・生成の基盤となるため、入力長や出力長、コスト感（計算量/課金の見え方）にも直結するという観点が整理されている。
- LLM基礎として、トークンの役割を押さえることで、以降の仕組み（文脈理解や生成の流れ）を理解しやすくなる。
LLMの文脈で質問、検索をしていると 「トークンが足りません」「トークン消費が多い」 といったキーワードにぶつかって困惑することが多いです。
ここでは、「トークン」というLLMの生成プロセス中の最重要キーワードについて説明していきます。
トークンとトークナイザー：AIが言葉を咀嚼する仕組み
指示（プロンプト）を最小の単位に分割したものが「トークン」です。
LLMは、このトークンの単位で検索や処理を行います。
分割の基準となるのは、LLMの言語処理プロセスにおける「Tokenizer（トークナイザー）」というツールです。これは本体のLLMモデルとは独立した、前処理用のツールとしての役...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
