TLPO：大規模言語モデルの言語の混乱を抑えるためのトークン単位ポリシー最適化

要旨: 大規模言語モデル（LLM）は強力な多言語能力を示す一方で、意図した言語で一貫して応答を生成できないことが多く、これは言語の混乱と呼ばれる現象として現れます。DPO、ORPO、GRPO といったシーケンスレベルでの微調整に基づく従来の対策手法は、応答全体のレベルで動作するため、意図しない形で汎用モデル能力の低下につながり得ることがあり、よりきめ細かな代替手法の必要性が動機づけられます。そこで本研究では、言語の混乱を局所的なトークン単位の更新によって抑制するための微調整フレームワークである Token-Level Policy Optimization（TLPO）を提案します。TLPO は誤りが起きやすい位置を特定し、代替の候補トークンを探索したうえで、誤りを誘発する出力をきめ細かい粒度で抑制するように調整した目的関数を用いて方策を更新します。この選択的な介入により、モデルの汎用能力を損なうことなく、言語の混乱を効果的に緩和できます。多様な言語にわたる複数の多言語 LLM に対する実験では、TLPO が、下流タスクの精度を維持しつつ言語の一貫性を改善する点で、ベースラインを大きく上回ることが示されました。