マルチタスク強化学習を用いた音声LLMにおけるパラリンガスティック理解と生成の統合

要旨: 音声大規模言語モデル（LLMs）は、韻律、感情、非言語的音などのパラリンガスティックな手掛かりを観察する。これらは意図の理解にとって極めて重要である。
しかし、これらの手掛かりを活用する際には、訓練データの不足、アノテーションの難しさ、パラリンガスティック信号より語彙的ショートカットを活用するモデルといった課題がある。
私たちは、思考の連鎖を促すプロンプティングを組み込んだマルチタスク強化学習（RL）を提案し、明示的な感情推論を引き出します。
データ不足に対処するため、音声からの感情分類とパラリンガスティック配慮のある応答生成を、2段階のパイプラインを通じて共同最適化するパラリンガスティック対応音声LLM（PALLM）を導入します。
実験は、我々のアプローチが、監督付きベースラインおよび強力な独自モデル（Gemini-2.5-Pro、GPT-4o-audio）を、Expresso、IEMOCAP、RAVDESSにおいて8～12％上回るパラリンガスティック理解の向上を示している。
結果は、多タスクRLを用いたパラリンガスティック推論のモデリングが、感情知能を備えた音声LLMを構築するうえで不可欠であることを示している。