TailNLG：長い尾（ロングテール）となる実体の言い換え（verbalization）を扱う多言語ベンチマーク

Abstract

構造化された知識の自動な言語化は、ナレッジグラフを非専門家のユーザにとって利用可能にし、リトリーバル拡張型生成システムを支えるための重要な課題である。近年、Data-to-Text生成の発展により多言語対応は改善してきたが、まれな実体の言語化に潜在するバイアスにはほとんど注目が払われていない。これはしばしばロングテール（長い尾）実体として知られる。本研究では、Data-to-Text生成におけるロングテール実体に関する最初の体系的な研究を提示する。英語・イタリア語・スペイン語の新しい多言語ベンチマークであるTailNLGを導入する。TailNLGはWikidataから構築され、人気度のさまざまなレベルの実体を対象としている。ゼロショット設定で、3つの異なる系列の大規模言語モデルを評価し、まれな実体と一般的な実体での性能を比較する。さらに、確立されたWebNLGベンチマークに対する比較も行う。結果は、ロングテール実体に対して一貫したバイアスが存在することを明らかにする。すなわち、埋め込み（embedding）に基づくスコアは低く、まれな実体ではモデルの不確実性が高い。加えて、ロングテール実体の影響はモデルと言語によって異なること、そして既存の評価指標がこれらの違いを一貫して捉えられていないことを示す。これにより、より信頼性の高い評価フレームワークが必要であることが浮き彫りになる。