まだ私たちの間で？ 第三者の割り込みに対する音声アシスタントの頑健性を評価・改善する

要旨: 近年の話し言葉言語モデル（SLM）は実世界のシナリオで積極的に導入されているものの、第三者による割り込み（TPI）を、主たる利用者の進行中のフローから識別する能力に欠けており、その結果、文脈的失敗に対して脆弱です。このギャップを埋めるために、我々は中断対応のための音響的キューの優先付けを強制する、話者を考慮したハードネガティブを用いて設計された88K件のインスタンスからなるデータセット「TPI-Train」と、欺瞞的な文脈における割り込み処理戦略の厳密な測定と、正確な話者弁別を行うことを目的とした包括的な評価フレームワーク「TPI-Bench」を提案します。実験の結果、我々のデータセット設計は、意味的ショートカットの学習を抑制することを示しています。これは、話者の切り替えを見分けるために不可欠な音響信号を無視しながら、モデルが意味的文脈を利用してしまうという重大な落とし穴です。本研究は、SLMにおけるテキスト優位の単一モダリティ依存を克服するための基礎となるリソースを確立し、より頑健なマルチパーティの音声対話への道を切り開くと考えています。フレームワークのコードは https://tpi-va.github.io で公開されています