（1D）順序付けられたトークンが効率的なテスト時探索を可能にする
arXiv cs.AI / 2026/4/20
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、自己回帰生成モデルにおけるトークンの構造が、検証器（verifier）で候補生成を評価しながら行うテスト時探索による生成誘導の有効性に影響するかを検証しています。
- 画像生成の実験では、粗密（coarse-to-fine）構造を持つ1Dの順序付けトークナイザが、従来の2Dグリッド型トークナイズよりもテスト時のスケーリング挙動が良いことが示されました。
- 著者らは、粗密シーケンスの中間状態がより意味を持ち、検証器がそれを信頼できる形で評価できるため、生成誘導が効果的になると説明しています。
- さらに、順序構造により、トークン列に対する探索をテスト時に行うだけで（自己回帰モデルの学習なしで）、画像テキストの検証器に導かれたトレーニングフリーのテキストから画像生成が可能になることを示しています。
- best-of-N、ビームサーチ、ルックアヘッド探索など複数の古典的探索手法に加え、検証器や自己回帰事前分布（AR priors）がトークン構造とどう相互作用するかを体系的に調べ、推論時スケーリングの指針を提示しています。
