資源の多寡にまたがる依存構造解析：高・低リソース言語でのアーキテクチャ評価

Abstract

トランスフォーマー型モデルは高リソース言語において最先端の係り受け解析を達成している一方で、低リソース環境におけるより単純なアーキテクチャに対する優位性がどの程度あるのかは、十分に理解されていません。私たちは、10の類型論的に多様な言語にわたって、4つのパーサー――Biaffine LSTM、Stack-Pointer Network、AfroXLMR-large、RemBERT――を評価し、とりわけ低リソースのアフリカ言語に焦点を当てます。その結果、Biaffine LSTMは低リソース環境において一貫してトランスフォーマーモデルを上回ることがわかりました。また、トランスフォーマーは学習データが増えるにつれて、その優位性を回復します。この交差（クロスオーバー）は、十分にリソースが得られていない言語のツリーバンクに典型的な範囲のリソース内に収まります。形態的複雑性（MATTRで測定）が、コーパスサイズを制御した後において、トランスフォーマーが相対的に不利となることの重要な二次的予測因子として現れます。これらの結果は、十分な注釈付きデータが利用可能になって、事前学習済みトランスフォーマーの表現能力を活用できるようになるまで、低リソース環境での統語ツール開発にはBiaffine LSTMのほうがより適している可能性を示しています。