要求に応じた言語、知識を核に：エンコーダー・デコーダー型翻訳モデルでLLMを合成し、拡張可能な多言語性を実現する

概要: 大規模言語モデル（LLM）は強い汎用的知能を示す一方で、多言語性能は依然として極めて不均衡です。LLMは統一された意味空間においてかなりの量の言語横断知識を符号化していますが、低リソース言語や未見の言語に対して、その知識を確実に扱えるような形で連携することにはしばしば困難を伴います。幸いなことに、事前学習済みのエンコーダー・デコーダー型翻訳モデルは、すでにバランスの取れた多言語能力を備えているため、LLMとの自然な補完関係が示唆されます。本研究では、XBridgeという、構成的なエンコーダー-LLM-デコーダーのアーキテクチャを提案します。このアーキテクチャは、多言語の理解と生成を外部の事前学習済み翻訳モデルへ委ねつつ、LLMを一般的な知識処理のための英語中心の中核として保持します。モデル間で生じる表現の不整合に対処するため、軽量なクロスモデル対応付け（マッピング）層と、最適輸送（optimal transport）に基づく整合目標を導入し、多言語生成におけるきめ細かな意味的一貫性を実現します。多言語理解、推論、要約、生成の4つの観点で、4つのLLMに対して行った実験では、XBridgeが強力なベースラインを上回ることが示されました。特に、低リソース言語やこれまでに見たことのない言語において、LLMを再学習することなく優れた性能を発揮します。