GeoBlock: 拡散言語モデルにおける依存関係ジオメトリからブロック粒度を推論する

arXiv cs.CL / 2026/3/31

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

GeoBlock は、固定されたスケジュールや経験則ではなく、注意（attention）から得られる依存関係ジオメトリに基づいて最適なブロック粒度を導出する、拡散言語モデル向けの幾何学認識型ブロック推論フレームワークである。
本手法は、強い因果的順序を持つトークン領域（逐次更新が必要）と、意味的にまとまりのある領域（並列での洗練＝refinement が可能）を区別し、復号（decoding）中にブロック境界を動的に設定する。
GeoBlock は、ブロック拡散の並列効率を維持しつつ、依存関係に整合した洗練を強制することで、自己回帰的な信頼性を向上させる。
本アプローチは追加の学習を必要とせず、既存のブロック拡散アーキテクチャに統合できる。
複数のベンチマークに対する実験では、GeoBlock が、幾何学的に整合したブロック境界を確実に同定しつつ、計算コストのわずかな追加のみでブロック拡散の精度を改善することが報告されている。

Abstract

ブロック拡散は拡散言語モデルにおける効率的な並列洗練を可能にしますが、そのデコード挙動はブロックサイズに決定的に依存します。既存のブロックサイズ決定戦略は固定ルールまたはヒューリスティックなシグナルに依存しており、どのトークンを安全に同時に洗練できるかを決める依存関係の幾何学的な配置（dependency geometry）を考慮していません。これにより、拡散デコードの幾何学的な見方が動機づけられます：\emph{強い因果順序を持つ領域は逐次更新を必要とし、一方で意味的にまとまりのある領域は並列洗練を許容する。} 我々は、注意（attention）から得られる依存関係の幾何学に基づいてブロック粒度を直接推論する、幾何学に着想を得たブロック推論フレームワークGeoBlockを提案します。あらかじめ定められたスケジュールや局所的な信頼度ヒューリスティックに頼るのではなく、GeoBlockはトークン間の依存関係パターンを解析して、幾何学的に安定した洗練領域を特定し、デコード中に適切なブロック境界を動的に決定します。依存関係の幾何学に合わせてブロック粒度を調整することで、GeoBlockはブロック拡散の並列効率を維持しつつ、自己回帰的な信頼性を示す、依存関係に整合した洗練を強制します。GeoBlockは追加の学習を必要とせず、既存のブロック拡散アーキテクチャにシームレスに統合できます。複数のベンチマークにわたる大規模な実験により、GeoBlockが幾何学に整合したブロック境界を確実に同定し、わずかな追加の計算予算のみでブロック拡散の精度を向上させることが示されています。