LLM の API を初めて触る前に、トークン・コンテキスト・料金の 3 つだけは押さえておくと、コードもコスト試算も一気に見通しが良くなります。この 3 つは互いにつながっていて、「テキストはトークンに分解される → 一度に渡せるトークン数（コンテキスト）に上限がある → 使ったトークン数で課金される」という一本の流れになっています。本記事ではその流れを、2026 年時点の実際のモデルや仕組みを例にしながら、図とともに整理します。
FIG.1 テキスト → トークン分解 → コンテキスト枠に収める → 使った量で課金、という一本の流れ
01トークン ── LLM が読む最小単位
LLM はテキストを「単語」ではなくトークンという小さな断片に分けて処理します。トークンは単語そのもののこともあれば、単語の一部・記号・空白のこともあります。たとえば tokenization のような語は token と ization のように複数トークンに割れますし、スペースや改行も 1 トークンとして数えられます。料金もコンテキストの上限も、このトークン数を基準に決まるため、まず「文字数ではなくトークン数で考える」癖をつけるのが出発点です。
- 英語：おおむね 1 単語 ≈ 1.3 トークン、1 トークン ≈ 4 文字が目安。
- 日本語：BPE 系のトークナイザではほぼ 1 文字 ≈ 1 トークンになりやすく、同じ意味の文でも英語の 3〜4 倍のトークンを食うことがある。漢字・かなで増減する。
- コード：インデントの空白・記号・括弧もすべてトークンとして数えられる。
- 画像・音声・動画：マルチモーダル入力もトークン換算で課金される（換算ルールは API ごとに異なるので公式を確認）。
トークン数を確認する方法
「このプロンプトは何トークンか」を事前に知りたい場面は多いです。提供元によって手段が異なります。
| OpenAI（公開トークナイザ） | Anthropic / Google（非公開） |
|---|---|
tiktoken ライブラリや Web の Tokenizer ツールで、手元で正確に数えられる | トークナイザが公開されていないため、専用 API（Anthropic の count tokens など）か経験的な概算で見積もる |
| 事前に厳密なトークン数が分かる | 「英語 4 文字 ≈ 1 トークン／日本語はほぼ 1 文字 1 トークン」の目安で当たりを付ける |
