「もっとマルチリンガルに考える：コードスイッチする推論モデルを教えるためのデータ効率的フレームワーク」

Abstract

近年の推論能力の発展により、大規模言語モデルは、ますます複雑な数学的・記号的・論理的タスクを解けるようになってきました。興味深いことに、推論モデルはしばしば単一言語のテキストを生成するよう訓練される一方で、これらのモデルがコードスイッチ（すなわち言語を混在させること）する様子も観察されています。先行研究では、コードスイッチを望ましくない誤りとして捉えるもの、入力プロンプトや出力デコード過程の変更によってコードスイッチを制御しようとするもの、あるいは言語・領域・タスク・モデルの限られた部分集合に焦点を当てるものがありました。私たちは、言語的および行動的動機づけに基づいて大規模言語モデルにおける有益なコードスイッチ推論行動を特定するための、最初の枠組みとなる微調整（fine-tuning）プログラムを導入することで、これらのギャップを埋めます。また、その枠組みを通じて、推論のためにより効果的にコードスイッチするようにモデルを教えます。まず、多様なモデル、言語、タスク、領域からなる推論トレースのデータセットを作成し、体系的に分析して、既存の推論モデルに見られるコードスイッチ行動の種類を理解します。次に、既存モデルにおける有益な行動の観察に基づき、推論モデルにコードスイッチを教える微調整の介入を開発します。私たちは、この枠組みにより、データ効率の高い方法で、有益なコードスイッチ推論行動を大幅に増やせることを見出しました。さらに興味深いことに、推論モデルにおけるコードスイッチ行動は、推論におけるコードスイッチを直接示さないタスク（例：機械翻訳）に対して微調整することで変更できることも分かりました。本研究は、データ効率の高い介入によって、推論モデルにおける有益な形式のコードスイッチ行動を根付かせられることを示唆しています。