MORPHOGEN：性別に配慮した形態素生成を評価するための多言語ベンチマーク

要旨: 多言語の大規模言語モデル（LLM）は翻訳や質問応答のような高レベルのタスクで良好な性能を示す一方で、文法上の性（ジェンダー）や形態的な一致（モルフォロジカル・アグリーメント）を扱う能力は、十分に調査されていません。形態的に豊かな言語では、性は動詞の活用、代名詞、さらには性別の明示的・暗黙的な言及を伴う一人称の構文にも影響します。私たちは、3つの類型的に多様な、文法上の性を持つ言語（フランス語、アラビア語、ヒンディー語）における性を意識した生成を評価するための、形態に基づく大規模ベンチマークデータセット「MORPHOGEN」を導入します。本研究の中核タスクであるGENFORMは、意味と構造を保持したまま、一人称の文を反対の性に書き換えることをモデルに求めます。私たちは、これら3言語にまたがる高品質な合成データセットを構築し、15の人気の多言語LLM（2B〜70B）について、この変換を行う能力をベンチマークしました。その結果、現在のモデルが形態上の性をどのように扱っているかについて、大きなギャップと興味深い知見が明らかになりました。MORPHOGENは、性を意識した言語モデリングのための焦点の定まった診断的な視点を提供し、包括的で形態に配慮したNLPに関する今後の研究の基盤を築きます。