【LLM基礎】生成AIの「トークン」って何？ —— 文字数との違いと「日本語コスパ問題」

当初、AIのトークン＝言葉、だと理解していました。 「猫」も「なつやすみ」も「English」もすべて１トークンという理解。 ところがどうもそういうわけではないらしい、という疑問を紐解いてみました。 AI（LLM）を利用していると、 「4000トークン（約3000文字）」 といった表記を見かけます。 「あれ？文字数よりトークンのほうが多いのはなぜ？」と疑問に思ったため調べてみました。 1. トークンはAI専用の「パズルのピース」 人間は言葉を「文字」や「単語」として認識しますが、AIはそのままでは理解できません。そこで、言葉を独自の最小単位である**「トークン（Token）」**に...