オープン辞書によるロシア語の形態素タグ付けを効果的に行うマルチヘッドベースのアーキテクチャ

Abstract

この記事は、ロシア語における形態素タグ付けの問題を解決するために、Multi-head attention（マルチヘッド注意）に基づく新しいアーキテクチャを提案する。単語ベクトルの前処理では、まず単語をサブトークンに分割し、その後、サブトークンのベクトルをトークンのベクトルへ集約する学習済みの手順を行う。これにより、オープン辞書をサポートし、単語の一部（接頭辞、語尾など）を考慮しながら形態的特徴を分析できるようになる。オープン辞書により、将来的に学習データセットに存在しない単語も分析できる。SinTagRusおよびTaigaデータセットで実施した計算実験では、いくつかの文法カテゴリに対して、提案アーキテクチャが精度98〜99%およびそれ以上を示し、これまでに知られていた結果を上回る。10語中9語について、アーキテクチャはすべての文法カテゴリを正確に予測し、当該語ではどのカテゴリを分析してはいけないかも示す。さらに、提案アーキテクチャに基づくモデルは、一般向けのグラフィックスアクセラレータで学習でき、RNNに対するMulti-head attentionの利点をすべて保持する（提案手法ではRNNは使用されない）。また、BERTのような大量のラベルなしテキストに対する事前学習を必要とせず、これまでの結果よりも処理速度が高いことが示される。