表面下で：サブテキストを伝える能力としてのLLMの可能性を調査する

Abstract

人間のコミュニケーションは根本的に創造的であり、多くの場合、テクストの文字どおりの内容を超えた含意である「サブテキスト」を活用する。ここでは、言語モデルがコミュニケーションの状況においてサブテキストを用いることができるかどうかを体系的に研究し、その能力を評価するための新しい評価スイートを4つ導入する。評価設定は、寓話の作成・解釈から、Dixit のようなボードゲームのルールに着想を得たマルチエージェントおよびマルチモーダルのゲームを行うまで幅広い。結果として、最先端のモデルは概して、過度に文字どおりで明示的なコミュニケーションに強いバイアスを示し、その結果として、微妙な制約を考慮できないことがわかる。—たとえ最も性能の良いモデルであっても、私たちの環境の1つである Visual Allusions において、60% の確率で文字どおりの手がかりを生成する。しかし一方で、ある種のモデルは、相手との間の共通認識（コモングラウンド）を活用してサブテキスト付きのコミュニケーションを助けることができる場合があり、その結果として、過度に文字どおりの手がかりが 30%〜50% 減少することを達成する。ただし、共通認識が明示されていない場合には、その存在を推論することが難しい。寓話の理解については、副テキスト（パラテクスト）とパーソナ条件が、サブテキストの解釈を大きく変えることがわかる。全体として、本研究は、サブテキストのような本質的に複雑で主観的な現象に対して定量的な測定を提供し、現在の LLM の多くの弱点や特異な癖を明らかにする。私たちは、この研究が、社会的に根ざした創造的コミュニケーションと推論へ向けた今後の研究を後押しすることを願っている。