YIELD：情報エリシテーション・エージェントのための大規模データセットと評価フレームワーク

Abstract

ほとんどの会話エージェント（CA）は、ユーザー主導の対話を通じてユーザーのニーズを満たすように設計されています。しかし、学術的な面談、司法手続、ジャーナリズム調査といった多くの現実の場面では、より広範な機関（インスティテューション）による意思決定プロセスが関与し、ユーザーから情報を引き出すことができるエージェントが必要になります。本論文では、エージェントの目的が、エージェントの機関としての、またはタスク志向の目的を支えるためにユーザーから情報を引き出すことにある Information Elicitation Agents（IEA：情報引き出しエージェント）を提案します。この設定に関する体系的な研究を可能にするために、人間同士の倫理的に入手された対話2,281件からなる、26Mトークンのデータセットである YIELD を提示します。さらに、情報引き出しを有限ホライズンのPOMDPとして形式化し、IEAに適した新しい指標を提案します。複数の基盤LLMに対する試験的実験では、YIELDで学習することで実際の引き出し行動への整合性が改善されることが示され、また人間による評価によって結果が裏付けられます。YIELDはCC BY 4.0のもとで公開します。データセット、プロジェクトコード、評価ツール、ファインチューニング済みのモデルアダプタは、以下で入手可能です：https://github.com/infosenselab/yield.