誰も万能ではない：固定プロンプトから学習されたルーティングへ、マルチリンガルLLMにおける新しいアプローチ

概要: 変換（翻訳）ベースのプロンプト提示は、多言語LLMで広く用いられていますが、その有効性は言語やタスクによって変動します。私たちは、資源レベルの異なる10の言語と4つのベンチマークにわたって、プロンプト提示戦略を評価します。分析の結果、単一の戦略があらゆる状況で普遍的に最適であることはないことがわかりました。翻訳は、翻訳品質が不完全であっても、低資源言語に強く有益であり、高資源言語では得られる利点がほとんどなく、またプロンプトベースの自己ルーティングは明示的な翻訳に劣ります。これらの知見に動機づけられて、私たちはプロンプト提示戦略の選択を学習された意思決定問題として定式化し、各インスタンスにおいてネイティブ方式か翻訳ベース方式かが最適かを予測する軽量な分類器を導入します。分類器は、4つのベンチマークにおいて固定戦略よりも統計的に有意な改善を達成し、さらに学習中に観測されなかったタスク形式にも汎化します。さらに分析すると、翻訳が有益となるかどうかは、翻訳品質だけではなく言語の資源レベルによって決まることが明らかになります。