区間コントラスト損失による慣用性および比喩表現検出のためのスパンモデリング

要旨: 比喩表現（figurative language）のカテゴリには多くの種類が含まれており、その一部は本質的に非構成的（non-compositional）です。この種のフレーズ、あるいは複数語表現（MWE）にはイディオムが含まれます。イディオムは、その語の和としては成り立たない単一の意味を表します。言語モデルにとって、これはトークン化と隣接する文脈埋め込み（adjacent contextual embeddings）に起因する独自の問題をもたらします。多くの大規模言語モデルは大きなフレーズの語彙（phrase vocabulary）によってこの問題を克服してきましたが、即時の認識は、1ショットあるいは少数ショットのプロンプト、または指示によるファインチューニング（instruction finetuning）がないと頻繁に失敗します。最良の結果は、BERTベースまたはLSTMのファインチューニング手法で達成されています。本論文で扱うモデルには、そのような種類が1つ含まれています。本研究では、スロット損失（slot loss）とスパン対照損失（span contrastive loss: SCL）を組み合わせ、ハードネガティブの再重み付けを行うことでイディオマティシティ（idiomaticity）検出を改善するための、BERTおよびRoBERTaベースのモデルを提案します。既存データセットにおいて、最先端のシーケンス精度（sequence accuracy）性能を達成しました。比較のためのアブレーション研究により、SCLの有効性とその汎化可能性が示されています。さらに、F1とシーケンス精度（SA）の幾何平均（geometric mean）も提案し、モデルのスパン認識（span awareness）と総合的な性能を合わせて評価します。