要旨: トランスフォーマーは計算機言語学の最先端の言語モデルのほぼすべての基盤となっているが、人間の文処理モデルとしての認知的適切性は依然として議論がある。本研究では、surprisalに基づくリンク機構を用いて、従来よりも包括的な英語の一致引力（agreement attraction）構成の集合を対象に、サイズとアーキテクチャが異なる11の自己回帰型トランスフォーマーを系統的に評価する。我々の実験結果は賛否両論である：前置詞句の構成ではトランスフォーマーの予測は概ね人間の読み時間データと一致する一方、目的語を取り出した関係節の構成では性能が著しく低下する。後者の場合、予測はモデル間で著しく乖離し、人間に観察される非対称的干渉パターンをいずれのモデルも再現できない。我々は、現行のトランスフォーマーモデルは人間の形態統語処理を説明しないとして結論づけ、認知モデルとしてのトランスフォーマーの評価は、孤立した統語構成や個々のモデルからの不正確な一般化を避けるために、厳密で包括的な実験設計を採用しなければならない。
返却形式: {"translated": "翻訳されたHTML"}
