【LLM 基礎】トークンって一体何者なの？

LLMの文脈で質問、検索をしていると 「トークンが足りません」「トークン消費が多い」 といったキーワードにぶつかって困惑することが多いです。 ここでは、「トークン」というLLMの生成プロセス中の最重要キーワードについて説明していきます。 トークンとトークナイザー：AIが言葉を咀嚼する仕組み 指示（プロンプト）を最小の単位に分割したものが「トークン」です。 LLMは、このトークンの単位で検索や処理を行います。 分割の基準となるのは、LLMの言語処理プロセスにおける「Tokenizer（トークナイザー）」というツールです。これは本体のLLMモデルとは独立した、前処理用のツールとしての役...