逆翻訳を用いた直接選好最適化によるニューラル機械翻訳のための枠組み

概要: 現代のニューラル機械翻訳（NMT）システムは、ほぼ例外なく、教師ありの並列データで訓練することによって構築されています。大きな進歩が達成されているにもかかわらず、これらのシステムには翻訳誤りが継続的に現れるという問題があります。本論文では、強化学習（RL）に基づく事後学習（post-training）パラダイムが、そのような誤りを効果的に修正できることを提案します。私たちは、一般的なテキストコーパスと、反復的なフィードバックを提供できる「専門の翻訳者」を（それが人間であってもAIシステムであっても）用意するだけでよい、独自の枠組みを導入します。実験では、代表的な高リソース言語ペアとして、英語からドイツ語への翻訳に焦点を当てます。重要な点として、私たちはこのRLベースの事後学習をDirect Preference Optimization（DPO）によって実装します。DPOに基づく枠組みをgemma3-1bモデルに適用したところ、英語からドイツ語タスクにおいて、COMETスコアが0.703から0.747へと大幅に向上しました。その結果は、DPOが、嗜好（preference）に基づく事後学習を通じて事前学習済みNMTモデルを強化するための、効率的で安定した手段を提供することを示しています。