 | Qwen 3 ベースライン：36兆トークン Qwen 3.5 の説明：Qwen 3 と比べて、*視覚テキスト（ビジュアルテキスト）トークンの規模が大幅に大きい*とされています。 マルチモーダル要因：テキストのみの学習から、ネイティブの視覚テキスト（マルチモーダル）学習へ移行することで、画像-テキストのペアのエンコードと、より豊かなデータ表現により、総トークン量が増加します。 **控えめな推定：42〜48兆トークン** 推論：
この範囲は、憶測による過大評価を避けつつ、控えめなままです。 **出典：** [link] [comments] |
Qwen 3.5-397Bのトークン推定：公式情報のみに基づく
Reddit r/LocalLLaMA / 2026/4/20
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- Qwen 3.5-397Bは約42〜48兆トークンで学習されたと推定されており、Qwen 3の36Tトークンという想定ベースラインからの見積もりになっています。
- 主な増加要因として、テキストのみの学習からネイティブなマルチモーダル（視覚-テキスト）学習への移行が挙げられており、画像とテキストのペア符号化や追加のトークンストリームがトークン総量を押し上げるとしています。
- 推定レンジは、36Tからの15〜30%程度の成長を反映した保守的なものであり、憶測的な外挿は避けていると説明されています。
- 見積もりの根拠として、Qwen 3とQwen 3.5に関する公式ブログ記事が参照されています。
- 重要な示唆として、マルチモーダル学習はモデル規模が同程度のクラスであっても、有効なトークン量を大きく増やし得る点が強調されています。
