二軸ジェネレーティブ報酬モデル：意味性とターンテイキングの頑健性に向けた対話型音声対話モデル

要旨: シームレスで人間らしい対話を実現することは、フルデュプレックスの音声対話モデル（SDM）にとって、依然として主要な課題である。強化学習（RL）はテキストおよび視覚言語モデルを大幅に向上させてきたが、RLの性能には、適切に設計された報酬信号が不可欠である。我々は、SDMにおける主要課題に対処するための有望な方策としてRLを検討する。しかし根本的な障壁が残っている。すなわち、対話品質を評価するための従来の自動化指標は、行動統計やタイミング予測の精度といった表面的な代理指標に依存しており、RLに対して信頼できる報酬信号を提供できない。これに対し、人手による評価は豊富ではあるものの、コストが高く、結果が一貫せず、規模拡大が難しい。我々は、この重要な障壁に取り組むために、デュアル・アクシス生成報酬モデル（Dual-Axis Generative Reward Model）を提案する。本モデルは、詳細な分類法とアノテーション付きデータセットを用いて、複雑な対話ダイナミクスを理解するよう訓練され、単一のスコアを生成するとともに、重要な点として、意味の品質と対話のタイミングについて別々の評価を提供する。これらの二系統の出力は、SDMに対する正確な診断的フィードバックを与え、オンライン強化学習に適した信頼でき、かつ指導的な報酬信号を提供する。我々のモデルは、多様なデータセットにわたる対話品質評価において、合成対話から複雑な現実世界の相互作用まで、最先端の性能を達成する。