RouteLMT：ハイブリッドLLM翻訳展開のための学習済みサンプルルーティング

要旨: 大規模言語モデル（LLM）は機械翻訳（MT）において目覚ましい性能を達成してきましたが、それらを大規模に展開することは依然として法外なコストがかかります。広く採用されている解決策はハイブリッド・システムのパラダイムであり、小さいモデルで大半の要求に対応し、要求の一部だけを大きいモデルに選択的にルーティングすることで、コストと品質のバランスを取ります。しかし、既存のルーティング戦略はしばしばヒューリスティック、外部予測器、または絶対的な品質推定に依存しており、大きいモデルが小さいモデルに対して実際に価値ある改善をもたらすかどうかを捉えられていません。本論文では、ルーティングを予算配分問題として定式化し、予算付きの意思決定における最適な信号として、限界利得、すなわち小さいモデルに対する大きいモデルの改善を特定します。これに基づき、
\textbf{RouteLMT}（LLMベースMTのためのルーティング）を提案します。これは、外部モデルや仮説のデコーディングを必要とせずに、小さいトランスレータのプロンプトトークン表現をプロービングすることで、この期待される利得を予測する、効率的なインモデル・ルータです。広範な実験により、提案するRouteLMTはヒューリスティックや品質/難易度推定のベースラインを上回り、より優れた品質—予算のパレートフロンティアを達成することを示します。さらに、回帰（レグレッション）のリスクを分析し、単純なガード付きバリアントによって深刻な品質低下を緩和できることを示します。