バイトレベルのシミュレーションによる言語モデル学習におけるサブワードトークン化の効果の切り分け

要旨: サブワードのトークン化は、現代の大規模言語モデル（LLM）の重要な要素である一方、そのトークン化が学習効率およびモデル性能に与える具体的な寄与は、いまだ十分に理解されていません。本研究では、制御されたバイトレベルの事前学習パイプラインの中でサブワードトークン化の効果を切り分けることで、その影響を分離します。サンプルスループット、語彙のスケーリング、サブワード境界の言語的事前分布といった多様な観点にわたって仮説を定式化し、検証します。バイトレベルの設定でこれらの効果をシミュレーションすることで、なぜサブワードモデルが生のバイトモデルを上回るのかについての理解を深め、将来のバイトレベルおよびサブワードモデルの事前学習を改善するための洞察を提供します。具体的には、学習スループットの向上の重要な役割と、サブワード境界を明示的な事前分布、あるいは帰納バイアスのいずれとして統合することの重要な役割が、私たちの実験によって強調されます。