LLM活用サーベイにおける訂正（Rectification）の難しさと最適サンプル配分

概要: 大規模言語モデル（LLM）は、低コストで合成の調査回答を生成できますが、質問ごとの精度は予測不能に変動します。本研究では、すべてのタスクに対して安価なLLM予測が利用可能であるとき、人間の回答者の固定予算を推定タスク群へ配分するための設計問題を扱います。提案する枠組みは3つの要素から成ります。第一に、Prediction-Powered Inference（予測駆動推論）に基づき、推定器の分散が人間サンプル数に対してどれほどの速さで減少するかを支配する、質問ごとの補正（rectification）困難度を特徴づけます。第二に、LLMの信頼性が最も低いタスクに対してより多くの人間のラベルを割り当てる、閉形式の最適配分規則を導出します。第三に、補正困難度は新しい調査に対する未観測の人間回答に依存するため、パイロットデータなしで、まったく新しいタスクに対してもそれを予測する、過去データで訓練されたメタ学習アプローチを提案します。この枠組みは、回帰係数やコンジョイント分析における多項ロジットの部分効用（partworths）を含む一般のM推定へ拡張可能です。2つのデータセット（異なる領域、質問タイプ、LLMを対象）で検証を行い、提案手法が理論的に達成可能な効率改善の61-79%を捉えることを示します。さらに、対象調査に対してパイロットとなる人間データを一切必要とせず、MSEを11.4%および10.5%削減することを達成します。