LLMは、予想以上に抽象的な意味の理解が苦手

要旨: 抽象的な意味を理解することは、高度な言語理解にとって極めて重要である。広範な研究にもかかわらず、抽象語は具体性のない、高次の意味論を持つため、依然として難しい。SemEval-2021 Task 4（ReCAM）は、クローズ（cloze）形式で、パッセージと質問とともに5つの抽象的な選択肢を提示することで、モデルが抽象概念を解釈する能力を評価する。主な知見は次のとおりである:（1）GPT-4oを含むほとんどの大規模言語モデル（LLM）は、ゼロショット、ワンショット、ファインチューニングではない場合の少数ショット設定において、抽象的な意味の理解に苦戦する一方で、BERTやRoBERTaのようなファインチューニング済みモデルはより良い性能を示す。（2）人間の認知戦略に触発された提案の双方向アテンション分類器により、パッセージと選択肢に対して動的に注意を向けることで、ファインチューニング済みモデルの性能が向上する。この手法は、Task 1で4.06パーセント、Task 2で3.41パーセントの精度向上を達成し、抽象的な意味理解の可能性を示している。