LACE：スレッド間探索のための格子アテンション

要旨: 現在の大規模言語モデルは、単独で推論します。複数の推論経路を並列にサンプリングすることは一般的ですが、これらの軌跡は相互に作用せず、多くの場合同じ冗長な失敗の仕方で失敗します。私たちは、推論を独立した試行の集合から、協調的な並列プロセスへと変換する枠組みであるLACEを導入します。モデルのアーキテクチャを転用してスレッド間の注意（cross-thread attention）を可能にすることで、LACEは推論の並行経路が推論中間の洞察を共有し、推論（inference）中に互いを修正できるようにします。中心となる課題は、このような協調行動を示す自然な学習データが存在しないことです。私たちは、このギャップを、スレッド間でモデルが明示的に連絡し、誤りを訂正することを教える合成データのパイプラインで埋めます。実験の結果、この統一的な探索は標準的な並列探索を大幅に上回り、推論精度を7ポイント以上改善することが示されました。私たちの結果は、並列の推論経路が相互に作用できる場合、大規模言語モデルがより効果的になり得ることを示唆しています。