【LLM基礎】生成AIの「トークン」って何？ —— 文字数との違いと「日本語コスパ問題」
Zenn / 2026/3/20
💬 オピニオンIdeas & Deep AnalysisTools & Practical Usage
要点
- 実務的には概算トークン数を見積る方法を使い、短く的確な表現を心がけるほか、トークン計測ツールの活用が有効である。
当初、AIのトークン＝言葉、だと理解していました。
「猫」も「なつやすみ」も「English」もすべて１トークンという理解。
ところがどうもそういうわけではないらしい、という疑問を紐解いてみました。
AI（LLM）を利用していると、
「4000トークン（約3000文字）」
といった表記を見かけます。
「あれ？文字数よりトークンのほうが多いのはなぜ？」と疑問に思ったため調べてみました。
1. トークンはAI専用の「パズルのピース」
人間は言葉を「文字」や「単語」として認識しますが、AIはそのままでは理解できません。そこで、言葉を独自の最小単位である**「トークン（Token）」**に...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
