現行の大規模言語モデルは依然として『文法モジュール』についてあまり語れない：統語論からの証拠

要旨: 私たちは、大規模言語モデル（LLMs）が文法モジュールについてどれだけ「多くを語る」ことができるかを検証し、ChatGPTがアラビア語に翻訳した統語の核心的特性からの証拠を提示します。私たちは、生成文法の過去の研究（書籍やジャーナル記事を含む）および現場での経験から、44の用語を収集しました。これらの用語は人間によって翻訳され、次いでChatGPT-5によって翻訳されました。その後、両方の翻訳を分析・比較しました。分析には分析的かつ比較的なアプローチを用いて分析を行いました。結論は、研究対象の用語に埋め込まれた核となる統語特性について、LLMsは依然として「多くを語る」ことができていないことを明らかにする。これにはいくつかの統語的および意味的な課題が含まれる。ChatGPTの翻訳のうち正確であったのは25%に過ぎず、38.6%は正確でなく、36.4%は部分的に正しかった。これを適切とみなします。これらの知見に基づき、実行可能な戦略の一連が提案され、その中でも最も顕著なのは、AI専門家と言語学者の緊密な協力によって、LLMsの作動メカニズムを改善し、正確であるか、少なくとも適切な翻訳を実現することである。