ゴールデンクエスチョンによる高品質な人手アノテーションのインセンティブ設計

Abstract: 人手で注釈されたデータは、教師あり微調整や人間の嗜好の整合（human preference alignment）などの大規模言語モデル（LLM）の学習において重要な役割を果たす。 しかし、有償の人手アノテータが高品質なデータを作成することが保証されるわけではない。本論文では、そのようなアノテータに高品質な作業を行うよう動機付ける方法を研究する。まず、企業（プリンシパル）とアノテータ（エージェント）の間のダイナミクスをモデル化するために、プリンシパル＝エージェントモデルから出発する。ここで、プリンシパルはn個のサンプルを調べることでのみ、注釈品質を監視できるものとする。 我々は、アノテータに動機付けを与えるために、最大尤度推定量（MLE）と、それに対応する仮説検定を調べる。具体的には、MLEが検定に合格した場合にエージェントへボーナスが与えられる。 事後（アウトカム）の分散を解析することで、エージェントの戦略的行動が仮説検定を従来のものとは大きく異なるものにすることを示す。大偏差理論によって証明される指数率とは異なり、プリンシパル＝エージェントモデルの仮説検定の到達率は
Theta(1/\sqrt{n \log n})である。我々の理論は、注釈者の性能を監視するための
emph{ゴールデン・クエスチョン（golden questions）}に対して2つの基準を示唆する。すなわち、(1) 高い確実性（certainty）を持ち、(2) 通常のものと同じ形式であるべきである、という基準である。 それを踏まえ、人間の嗜好データにおいてゴールデン・クエスチョンの集合を選択する。動機両立的（incentive-compatible）な実験を行ったところ、指示に基づく操作チェック（instructed manipulation checks）といった従来の調査手法と比べて、これらのゴールデン・クエスチョンのほうがアノテータの振る舞いをより良く明らかにできることがわかった。