EndoCoT: 拡散モデルにおける内生的連鎖思考推論のスケーリング

近年、マルチモーダル大規模言語モデル（MLLMs）は、空間推論などの複雑なタスクに対処するため、主にテキストエンコーダとして拡散フレームワークへ広く統合されている。しかし、このパラダイムには2つの重要な制限がある：（i）MLLMsのテキストエンコーダは推論の深さが不十分である。単一ステップのエンコーディングは Chain-of-Thought（CoT）過程を活性化できず、複雑なタスクに対して正確なガイダンスを提供するために不可欠である。（ii）デコーディング過程でのガイダンスは不変のままである。デコード中の不変ガイダンスは、正しいMLLMエンコーディングがあっても、DiTが複雑な指示を段階的なノイズ除去ステップへと進行的に分解するのを妨げる。これを踏まえ、我々は内生的連鎖思考（EndoCoT）という新規フレームワークを提案する。まず、反復的な思考ガイダンスモジュールを介して潜在的思考状態を反復的に洗練させることでMLLMの推論潜在力を活性化し、次にこれらの状態をDiTのノイズ除去プロセスに橋渡しする。第二に、終端思考グラウンディングモジュールを適用し、最終状態をグラウンドトゥルース解答と一致させることで、推論軌道がテキスト監督の下でグラウンディングされたままであることを保証する。これらの2つの要素により、MLLMテキストエンコーダは綿密に推論されたガイダンスを提供し、DiTがそれを段階的に実行して最終的には複雑なタスクを一歩ずつ解決できるようになる。Maze、TSP、VSP、Sudoku などの多様なベンチマークで広範に評価を実施し、平均正解率は92.1%に達し、最も強力なベースラインを8.3ポイント上回った。