相互排他性のない反復: 子ども向け言語モデルにおける参照機構のスケール感度

要旨: 私たちは、子ども向け話し言葉で訓練されたテキストのみの言語モデルにおける、共存排他性（ME）の最初の体系的評価を提示します。MEを参照抑制として操作的に定義します。二つの参照対象を含む談話文脈で馴染みのあるオブジェクトが別名で言及されるとき、MEは後続の補完位置でラベル付けされた名詞の確率が低下することを予測します。3つの予備的発見が、事前登録済みの尺度感度実験を動機づけます: (1) マスク化言語モデル（BabyBERTa）は、複数文にわたる参照文脈に対して全く感度がありません; (2) 自己回帰モデルは、馴染みのある名詞が再ラベル付けされると、MEの正反対である強い繰り返しプライミングを示します; (3) 新しい文脈依存性診断は、ノンス・トークンを用いた一見ME様のパターンが、参照の曖昧さの解消ではなく、埋め込みの類似性によって完全に説明されることを示します。確認実験では、45個のGPT-2アーキテクチャモデル（2.9M、8.9M、33.5Mパラメータ；AO-CHILDES上でそれぞれ5、10、20エポック；各5つのシード）を訓練し、事前登録済みのMEバッテリで評価します。ME反対の繰り返しプライミングは、全9セルで有意です（項目の85-100%、すべてp < 2.4×10^-13）。プライミングは、言語モデリングの向上とともに弱まります（Spearman rho = -0.533、 p = 0.0002）が、3.8倍のパープレキシティ範囲全体で0を越えることは決してありません。文脈依存性診断は全9セルで再現され、繰り返しの増加に伴い8/9セルでドーズ応答的プライミングが増加します（すべて傾向p < 0.002）。これらの発見は、子ども向け話し言葉の分布的学習が、語彙の排他性ではなく、繰り返しベースの参照追跡を生み出すことを示しています。我々はこれを地に足のついた認知学の文献と結びつけ、参照基盤づくりがMEにとって必要な要素となり得ると主張します—必須の入力構造に関する経験的主張であり、生得論的なものではありません。