圧縮の前に分離せよ：WWHOトークン化アーキテクチャ

要旨: 現在の大規模言語モデル（LLM）の多くは、BPE（Byte Pair Encoding）ベースのトークナイザを主に使用しており、英語のような単純な構造をもつラテン文字体系では非常に効果的です。しかし、標準的なBPEトークナイザは、その構造の複雑さのために、アブギダ文字（Abugida）を処理するのが困難です。問題は、これらのトークナイザが複雑な重合（conjunct）—複数のコードポイントから成るグラフェムクラスタ（結合文字）—を、意味のないサブ文字単位へと分割してしまうことです。これは推論時に基本的な表記（オーソグラフィ）の構造を学習させることを強制し、LLMの推論効率を低下させます。また、推論コストが増大し、その結果、「トークン税（Token Tax）」としてグローバルサウスで大きな負担が生じます。そこで本研究では、新しい三層アーキテクチャWWHO（Where-What-How Often）と、SGPE（Syllable-aware Grapheme Pair Encoding）というアルゴリズムを提案します。これは、言語の規則（スクリプトの文法的ルール）を統計的な圧縮処理から切り離しつつ、シームレスな多言語トークン化を可能にします。非常に複雑なアブギダ文字体系としてシンハラ語とデーヴァナーガリー（ヒンディー語/サンスクリット）を用い、クリーニング済みの3,000万文のデータセットでWWHOを学習し、1,499,950文から成るテストセットで評価しました。シンハラ語では、SGPEは、文字/トークン比に相当するTWR（Token to Word Ratio）を1.274とし、1トークンあたり4.83文字となり、OpenAIのo200kベースと比べてトークンを61.7パーセント削減します。ヒンディー語では、TWRが1.181（o200kに対して27.0パーセント削減）を達成します。混在文字（シンハラ語、デーヴァナーガリー、英語）のデータセットでは、SGPEは全体としてTWRが1.240となり、o200kベース、Llama 4 Scout、DeepSeek V3に対してそれぞれ36.7パーセント、39.6パーセント、60.2パーセントのトークン削減を実現します。これにより、これらのアブギダ言語に対して、最大で4.38倍まで実用的なコンテキストウィンドウを実質的に拡張しつつ、「言語的ゼロ・ブレーク保証（Linguistic Zero-Breakage Guarantee）」を確実にします。これは、妥当な音節（syllable）が複数トークンにまたがって分割されることが一度もないことを保証するものです。