文脈推論が機能しないとき: 対話的指示追従における取り消し可能性

要約: 私たちは、文字通りの解釈と文脈的推論の分離を、協働ブロック構築タスクの中で調査します。そこでは、建設者が文脈的推論を用いて不十分に指定された指示を解決しなければなりません。既存の二者話者の心理言語学的パラダイムに基づき――それは、語用論的に協力的な話者と、文字通りのみ信頼できる話者を対比させる――私たちは Build What I Mean (BWIM)、文脈的意味構築のためのインタラクティブなベンチマークを導入します。BWIM では、モデルは文脈的推論を行うか、または小さなコミュニケーションコストで明確化を要求することによって、曖昧さを解決しなければなりません。最先端の複数のLLMを評価する中で、判断と行動の間に解離があることが分かりました。すなわち、モデルは明示的な信頼度評価で話者の信頼性の欠如を検知しますが、この情報を活用して効率的な明確化行動を導くことには失敗します。代わりに、パートナーを無視した過度の明確化や、不確実性の下での質問を避ける推測といった、最適でない戦略を観察します。