フォーマット税（Format Tax）

要旨: 大規模言語モデルにJSONで応答させることは、能力に対する課税ではなく、単なるフォーマット上の選択であるべきです。しかし、構造化された出力要件――JSON、XML、LaTeX、Markdown――は、オープンウェイトのモデル全般において、推論と文章作成の性能を実質的に大きく低下させることを私たちは見出しました。研究上の対応は制約付きデコーディングに焦点を当ててきましたが、サンプリングバイアスによる影響は低下のごく一部にすぎません。支配的なコストはプロンプトに入ります。フォーマットを要求する指示だけで、デコーダの制約を適用する前に、精度の損失の大部分が発生するのです。この診断は、単純な原理を示唆します。推論とフォーマットを切り離すことです。自由形式を先に生成してから2回目のパスで整形するにせよ、あるいは1つの生成の中で拡張的な思考を可能にするにせよ、この2つの関心事を分離すると、失われた精度は実質的に回復します。6つのオープンウェイトモデル、4つのAPIモデル、4つのフォーマット、そして数学・科学・論理・文章作成にまたがるタスクにおいて、分離によって失われた精度の大部分が回復します。注目すべきことに、最も最近のクローズドウェイトモデルではフォーマット課税がほとんど、あるいは全く見られません。これは、この問題が構造化された生成そのものに内在するものではなく、現在のオープンウェイトモデルがまだ埋め切れていないギャップであることを示唆しています。コードは https://github.com/ivnle/the-format-tax で公開されています。