大規模言語モデルにおけるカルチャー対応機械翻訳：ベンチマークと調査

要旨: 大規模言語モデル（LLM）は一般的な機械翻訳において強い性能を示している一方で、文化を意識した状況における能力は十分に解明されていません。このギャップを埋めるために、本研究ではCanMTを提案します。CanMTは、機械翻訳のための文化に配慮した新規性駆動型の並列データセットであり、加えて文化的な翻訳品質を評価するための、理論的に裏付けられた多次元の評価フレームワークも併せて提供します。CanMTを活用し、さまざまな翻訳戦略の制約の下で、多岐にわたるLLMおよび翻訳システムを体系的に評価します。その結果、モデル間には大きな性能差があること、また翻訳戦略がモデルの挙動に対して体系的な影響を及ぼすことが示されます。さらに分析すると、翻訳の難しさは文化固有の項目の種類によって異なり、文化固有の知識の認識と、それを翻訳出力として正しく運用する能力との間には、継続的なギャップが残ることが分かります。加えて、参照訳を組み込むことで、LLM-as-a-judgeにおける評価の信頼性が大幅に向上することが示され、文化に配慮した翻訳品質の評価において参照訳が不可欠な役割を担うことが強調されます。コーパスとコードはCanMTで公開されています。