セマンティクスを超えて：小規模言語モデルによる機械翻訳で細かな感情を保持する度合いの測定

Abstract

感情的なニュアンスを保持することは、機械翻訳（MT）において依然として課題です。そこではしばしば意味の同等性が、感情の忠実性よりも優先されます。本論文では、3つの最先端の小型言語モデル（SLM）――EuroLLM、Aya Expanse、Gemma――の性能を、逆翻訳における細かな感情の維持という観点で評価します。28の異なるカテゴリにわたるRedditのコメントから構成されるGoEmotionsデータセットを用い、5つのヨーロッパ言語、すなわちドイツ語、フランス語、スペイン語、イタリア語、ポーランド語にわたる感情の保持を評価します。具体的には、(i) これらのSLMが感情的なセンチメントを保持するうえで備えている本来的な能力、(ii) 感情を意識したプロンプトが保持の改善にどれほど有効か、(iii) MT評価における感情分類のための、BERTに代わる現代的な手法としてのModernBERTの性能――を調査します。