D5P4: 並列離散拡散デコードにおける多様性のためのパーティション付きデターミナント点過程

概要: 離散拡散モデルは、テキスト生成における自己回帰的アプローチの有望な代替手段ですが、それらのデコード手法は未だ十分には研究されていません。自己回帰モデルの標準的なデコード手法、たとえばビームサーチは、逐次的なデノイズ処理には直接適用できず、既存の拡散デコード技術はバッチ内の多様性を制御する手段が限られています。このギャップを埋めるために、並列に候補を生成し、モジュール型のビーム選択目標をサポートする、離散拡散のための一般化ビームサーチフレームワークを導入します。多様性に焦点を当てた実装として、D5P4を提案します。これは、選択ステップをMAP推論としてDeterminantal Point Process（DPP）上に定式化します。スケーラブルな貪欲ソルバーを活用することで、D5P4はマルチGPU互換性を維持し、モデル確率とターゲットとなる多様性との明示的なトレードオフを、ほぼゼロの計算オーバーヘッドで可能にします。自由形式生成および質問応答の実験は、D5P4が強力なベースラインよりも多様性を向上させつつ、生成品質も競争力のある水準を維持することを示しています。