LAPITHSで「センタウロス」を飼いならす：AIパフォーマンスの理論的に根拠づけられた解釈のためのフレームワーク

Abstract

本稿では、LAPITHS（Language model Analysis through Paradigm grounded Interpretations of Theses about Human likenesS）と呼ぶ枠組みを導入し、それを用いて、人工的な統一的認知モデルとして提案されているCENTAURのようなモデルによって提示されたいくつかの主要な主張が、理論的にも実証的にも正当化されていないことを示す。LAPITHSは、AI研究における、トランスフォーマ型言語モデルの人間レベルの性能を、人間に似た基盤となる計算の証拠、ひいては認知能力の徴候として解釈するという現行の行動主義的傾向に対抗するための、原理に基づく参照点を提供する。LAPITHSの新規性は、2つの定量的評価に基づく議論を明示化する点にある： (i) 人工システムの認知的妥当性を推定するための、理論的に動機づけられた方法であるMinimal Cognitive Grid、そして (ii) CENTAURのようなモデルで報告されたものと類似した結果が、認知的妥当性に通常関連づけられる構造的制約を満たさない別のシステムによっても再現でき、かつその出力が人間の認知を独立に説明する洞察を提供しないことを示す行動学的比較。