Temporal Contrastive Decoding：大規模音声言語モデル向けのトレーニング不要手法

Abstract

大規模音声言語モデル（LALM）は音声、音、音楽にわたって一般化しますが、統一デコーダは \emph{時間的平滑化バイアス}を示し得ます。すなわち、過渡的な音響手がかりが、言語の事前分布によりよく支えられ、時間的に滑らかな文脈を優先するために十分活用されず、その結果、音に基づく出力がより具体性に欠けるものになります。私たちは a training-free（追加学習不要）の統一LALM向けデコーディング手法である\ \emph{Temporal Contrastive Decoding（TCD）}を提案し、この効果を推論時に緩和します。TCDは、入力波形を平滑化して再符号化することで時間的にぼかしたスローパスの視点を構築し、そのうえで元の視点とスローパス視点の次トークンのlogitsを対比（コントラスト）します。対比の信号は、小さな候補集合に制限されたトークン単位のlogit更新として適用されます。自己正規化された安定性スコアによりブラー窓と更新スケールを設定し、不確実性および音への依存度に基づく段階的なゲートによって、必要な場合にのみ更新を有効化します。MMAUおよびAIR-Benchでの実験では、強力な統一LALMに対して一貫した改善が示されます。さらに、主要コンポーネントの寄与を分析し、TCDが大規模音声言語モデルの設計の違いのもとでどのように振る舞うかを調べるために、アブレーションおよびアーキテクチャ適用可能性に関する調査を行います。