機械を測る：生成AIを複数主義的な社会技術システムとして評価する

Abstract

計測理論において、計測器は単に現実を記録するだけではなく、観測されるものを構成するのに寄与します。生成AIの評価についても同様です。ベンチマークは単に測定するのではなく、モデルがどのように見えるかを形作ります。機能主義的なベンチマークはモデルを孤立した予測器として扱う一方で、規範的アプローチはシステムがどうあるべきかを評価します。いずれも、多元的な文脈において狭い文化的視点が実体化される危険を伴いながら、意味や価値がどのように実践されるのかという社会技術的プロセスを見えなくします。 本論文は、そのための記述的な代替案を提示します。生成AIは多元主義的な社会技術システムとして評価されるべきだと主張し、モデル、ユーザー、制度がどのように再帰的に意味と価値を共に構成するのかを追跡するための枠組みである、機械—社会—人間（MaSH）ループを開発します。評価は、出力を判定することから、相互作用の中で価値がどのように実践されるかを検討することへと移行します。 3つの貢献が続きます。概念的には、MaSHループが評価を再帰的で能動的なプロセスとして捉え直します。方法論的には、World Values Benchmarkが、World Values Surveyのデータ、構造化されたプロンプト集合、アンカーに配慮したスコアリングに基づく分布的アプローチを導入します。実証的には、論文はこれらを2つの事例によって示します。GPT-3初期における価値のドリフトと、不動産における社会技術的評価です。最終章では、参加型のリアリズムに依拠して、プロンピングと評価は中立的な観察ではなく、構成的介入であると論じます。 本論文は、静的なベンチマークでは生成AIを評価するには不十分だと主張します。責任ある評価には、多元主義的でプロセス志向の枠組みが必要であり、それによって「誰の価値が実践されているのか」を可視化する必要があります。したがって評価はガバナンスの場であり、AIシステムがどのように理解され、導入され、そして信頼されるかを形作ります。