対話タスクにおける言語生成のための、意味表現の強化が与える影響：タスク、コーパス、メトリクスの関連性に関する包括的な探究

要旨: 対話システムは、ユーザーと流暢かつ正確にやり取りするために、多様な言語表現を生成できるべきである。この文脈では、自然言語生成（NLG）エンジンが意味表現（MR）を文へと変換し、それがユーザーの認識に直接影響する。これらのMRは通常、DAs（談話行為）を介して伝達機能（例: 情報提供、要求、確認）を符号化し、スロット値ペアによって意味内容を列挙する。本研究の目的は、タスク実演者をジェネレータに提示することが、ファインチューニング済みモデルの生成を向上させるかどうかを分析することである。この実演者は、元のデータセットから抽出したMR文ペアであり、訓練および推論の両時点において入力を豊かにする。分析は、異なる言語的側面に焦点を当てる5つの指標と、ドメイン、サイズ、語彙（レキシコン）、MRの多様性、獲得プロセスなど複数の特徴が異なる4つのデータセットを用いて行う。われわれの知る限り、対話NLGにおいて、MRが生成品質に与える影響をドメイン、コーパスの特性、そして生成評価に用いる指標の観点で比較分析するという形で実装した最初の研究である。主要な洞察は、提案する「豊かにされた入力」が、MRと文の多様性が高い複雑なタスクおよび小規模データセットに対して有効であるという点である。また、あらゆるドメインにおけるゼロショット設定でも有益である。さらに、指標の分析から、意味に関する指標は語彙に関する指標よりも生成品質をより正確に捉えることが示される。加えて、これらの意味指標のうち、人間の評価で訓練されたものは、埋め込みベースの指標では見落とされがちな省略やその他の微妙な意味上の問題を検出できる。最後に、指標スコアの推移と、スロット精度および対話行為精度における優れた結果は、生成モデルが異なるタスクに対して迅速に適応でき、意味と伝達意図レベルの両面で頑健性を示すことを明らかにする。