制約付きデコーディング下の構造化生成における「スキーマのキー表現」を命令チャネルとして用いる研究

要旨: 制約付きデコーディングは、大規模言語モデル（LLM）による構造化生成に広く採用されており、出力がJSONやXMLのような事前定義された形式を満たすことを保証している。 しかし、既存の手法の多くはスキーマを純粋に構造的な制約としてのみ扱い、その言語的な定式化がモデル挙動に影響し得るという可能性を見落としている。 本研究では、構造化生成において命令の配置がモデル性能に与える影響を調べ、プロンプトやモデルパラメータを変更せずに、スキーマのキーの表現（言い回し）だけを変えることでも、制約付きデコーディング下でモデル性能が大きく変わり得ることを示す。 この観察に基づき、構造化生成をマルチチャネルの命令問題として再解釈することを提案する。ここでは、命令はプロンプトを通じて明示的に伝達され、デコーディング中はスキーマのキーを通じて暗黙的に伝達される。 知る限り、本研究は、スキーマキーの定式化が暗黙の命令チャネルとしてどのように機能し、制約付きデコーディング下でモデル性能にどう影響するかを、体系的に調べた最初の試みである。 複数の数学的推論ベンチマークでの実験により、異なるモデルファミリがこれらの命令チャネルに対して異なる感度を示すことが明らかになった。すなわち、Qwenモデルは一貫してスキーマレベルの命令の恩恵を受ける一方で、LLaMAモデルはプロンプトレベルのガイダンスにより強く依存する。 さらに、命令チャネル間に非加法的な相互作用効果があることを観察しており、複数のチャネルを組み合わせても必ずしもさらなる改善につながるわけではない。 これらの知見は、スキーマ設計が単に出力構造を決めるだけでなく、命令信号も運ぶことを示唆しており、LLMにおける構造化生成に対する新たな視点を提供する。