多言語間潜在トランスプランテーションの探究：相互の機会と未解決課題

arXiv cs.CL / 2026/4/13

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、推論中に言語間で潜在活性（latent activations）を転送し、LLMの内部にある多言語知識をより有効に活用するための、多言語間潜在トランスプランテーションの枠組みであるXTransplantを提案する。
実験結果から、多言語能力と文化適応性の双方において相互に有益な改善が示されており、最も大きな向上は低資源言語および低資源の文化で観測される。
本研究では、アーキテクチャ上の役割も明らかにする。すなわち、注意（attention）モジュールは多言語理解に寄与し、一方でフィードフォワード（feed-forward）モジュールはより文化固有の情報を捉える。
詳細な分析では、XTransplantの安定性、有効性、汎化可能性を扱う。さらに、利用可能な上限を探るプローブ（upper-bound probe）により、現在のLLMは利用可能な多言語的ポテンシャルを過小に活用している可能性が示唆される。
著者らは、XTransplantを多言語間相互作用を設計・評価するための新たな視点として位置づけつつ、これらの能力を広く活用する上で残る未解決課題を強調している。

要旨: 現在の大規模言語モデル（LLM）は、多言語能力と文化適応性においてしばしば不均衡が見られます。これは主に、英語中心の事前学習データに起因しています。本論文では、多言語知識を内部に取り込んだモデルの推論時でのさらなる活用を目指し、その効果としてLLMの多言語能力および文化適応性を検討する、検証用フレームワークであるクロスリンガル潜在移植（XTransplant）を提案し、調査します。XTransplantフレームワークは、言語間で潜在活性を移植することで、英語および非英語リソースの双方の補完的な強みをモデルが活用できるようにします。広範な分析を通じて、実験的に、言語間の相互作用の一形態であるXTransplantが、特に低リソース言語および文化において、LLMの多言語能力と文化適応性の双方に相互に有益な効果をもたらすことを示します。さらに、注意（attention）モジュールが多言語理解を支える上で重要な役割を果たし、一方でフィードフォワード（feed-forward）モジュールは文化固有の知識を捉えるのにより適していることを明らかにします。加えて、XTransplantの安定性、有効性、汎用性について深掘りした分析を行います。XTransplantの上限性能を探ることで、現在のLLMの多言語ポテンシャルが大きく活用されていないこと、つまり未解決の課題を可視化します。本分析が、言語間相互作用を発展させ、モデルに内在された多言語知識をより適切に活用するための新しい視点を提供できれば幸いです。