境界を越える語素: アラビア語トークナイザーとLLMにおけるルート-パターン形態の評価

要旨: 本研究は、巨大言語モデル（LLMs）とそのトークン化方式がアラビア語の語根-パターン形態をどれだけ効果的に表現・生成できるかを調査し、それらが真の形態構造を捉えているのか、それとも表面的な記憶に頼っているのかを検証する。アラビア語の形態体系は、LLMsが複雑で非連結的な形態をどのように扱うか、そしてトークン化の選択がこのプロセスにどのように影響するかを分析するうえで、豊富な検証基盤を提供する。我々の研究は、ゴールド標準のセグメンテーションに対するアラビア語および多言語トークナイザー間の形態忠実性の評価から始まり、新たに開発されたテストセットを用いた語根-パターン生成の生産的なパフォーマンスに関するLLMの性能分析に続く。我々の七つのアラビア語中心および多言語のLLMとそれぞれのトークナイザーにわたる所見は、トークナイザーの形態的整合性が形態生成に必須でも十分でもないことを示しており、下流の性能における形態的トークナイズの役割を疑問視させる。