ExPosST: LLMベースの同時機械翻訳における適応マスキングを用いた明示的な位置割り当て

要約: 大規模言語モデル（LLMs）は、最近、同時機械翻訳（SimulMT）において有望な性能を示しています。しかし、デコーダのみのLLMsをSimulMTに適用すると、位置情報の不整合が生じ、デコードの効率性と位置的一貫性の間にジレンマが生まれます。既存の手法はしばしば特定の位置エンコーディングや慎重に設計されたプロンプト設計スキームに依存しており、推論の効率性、位置的一貫性、および広範なモデル互換性を同時に達成することができません。本研究では、このジレンマを明示的な位置割り当てによって解決する汎用フレームワークExPosSTを提案します。ExPosSTは、入力元トークンに対して固定の位置スロットを確保し、異なる位置エンコーディング手法に跨ってKVキャッシュを用いた効率的なデコードを可能にします。ファインチューニングと推論のギャップをさらに埋めるために、推論時のデコード挙動に合わせてトレーニングを整合させるポリシー整合型ファインチューニング戦略を導入します。複数の言語ペアにわたる実験は、ExPosSTが多様なポリシーの下で同時翻訳を効果的にサポートすることを示しています。