Abstract
関数ベクトル（FVs）は、インコンテキスト学習中にモデルの活性から抽出されるタスクのベクトル表現である。先行研究では、多言語モデル表現が言語非依存であり得ることが示されてきたが、同じことが関数ベクトルにも当てはまるかどうかは明らかでない。本研究では、機械翻訳を事例として、FVsが言語非依存性を示すかどうかを調べる。3つのデコーダのみの多言語LLMにおいて、単一の英語
ightarrow対象言語方向から抽出した翻訳FVsが、他の対象言語へ転移し、複数の未知の言語にわたって正しい翻訳トークンの順位を一貫して改善することを見出す。アブレーション結果では、FVを取り除くと、関連しないタスクへの影響は限定的である一方、言語をまたいだ翻訳性能が低下することが示される。さらに、ベースモデルのFVsが、指示チューニング済みのバリアントへ転移し、単語レベルから文レベルの翻訳へ部分的に一般化することも示す。
