暗黙情報の解釈における人間と大規模言語モデルの比較

要旨: 暗黙の意味の解釈は、人間のコミュニケーションにおける不可欠な側面である。しかし、この枠組みは、大規模言語モデル（LLM）との相互作用にはうまく移植できない可能性がある。そこで本研究では、Implicit Information Extraction（IIE：暗黙情報抽出）という課題を導入し、文脈文から関係のトリプレットを抽出し、暗黙の推論を検証し、時間関係を分析することで構造化された知識グラフを構築する、LLMベースのIIEパイプラインを提案する。2つのデータセットに対して、クラウドソーシングによる人間の判断と照らし合わせて2つのLLMを評価する。その結果、人間はほとんどのモデルのトリプレットに同意する一方で、多くの追加を一貫して提案しており、現在のLLMベースIIEにはカバレッジが限られていることが示唆される。さらに我々の実験では、モデルは社会的に情報量の多い文脈において、人間よりも暗黙の推論に対して慎重であるように見えるが、一方で人間は短く事実志向の文脈ではより慎重になることが分かった。コードは https://github.com/Antonio-Dee/IIE_from_LLM で公開している。