PICon：ペルソナエージェントの一貫性を評価するためのマルチターン・インタロゲーション（尋問）フレームワーク

要旨: 大規模言語モデル（LLM）に基づくパーソナエージェントは、さまざまな領域において人間の参加者の代替として、スケーラブルな代理（プロキシ）を提供するものとして急速に採用されつつあります。しかし、相互作用の全過程にわたって、パーソナエージェントの応答が矛盾や事実の不正確さから自由であり続けるかどうかを検証するための体系的な方法は存在しません。尋問手法の分野からの原理が、そのための見取り図を与えます。どれほど精巧に作り込まれた架空のアイデンティティであっても、体系的な尋問を行えばその矛盾は必ず露呈する、というものです。本研究ではこの原理を適用し、論理的に連鎖したマルチターンの質問によってパーソナエージェントを検証する評価フレームワークPIConを提案します。PIConは一貫性を3つの中核的な次元に沿って評価します。すなわち、内部一貫性（自己矛盾のなさ）、外部一貫性（現実世界の事実との整合）、および再テスト一貫性（反復に対する安定性）です。7つのグループのパーソナエージェントと63名の実在の人間参加者を並行して評価したところ、以前に「高い一貫性」を示すと報告されていたシステムでさえ、3つの次元すべてにおいて人間のベースラインを満たせないことが分かりました。連鎖した尋問のもとでは、矛盾や、回避的な応答が明らかになりました。本研究は、パーソナエージェントを人間参加者の代替として信頼する前に評価するための、概念的な基盤と実用的な手法の両方を提供します。ソースコードとインタラクティブなデモは以下です: https://kaist-edlab.github.io/picon/