LLMテキスト生態系におけるドリフトと選択

要旨: 公的なテキスト記録――いまや人間とAIシステムの双方が学習するもととなる素材――は、その出力自身によってますます形作られるようになっている。生成されたテキストが公的な記録に入り、後続のエージェントがそこから学び、そのサイクルが繰り返される。ここでは、この再帰的プロセスを、可変次数 n-gram エージェントに基づいて、厳密に解ける数学的枠組みとして構築し、さらに公的コーパスに作用する2つの力を切り分ける。1つ目はドリフトである。フィルタされない再利用は、まれな形式を徐々に取り除いていき、無限コーパス極限では、安定分布を正確に特徴づける。2つ目は選択である。出版、ランキング、検証は記録に入るものをふるいにかけ、その結果は何が選択されるかに依存する。出版が単に統計的な現状を反映するだけである場合、コーパスは浅い状態へ収束し、さらなる先読みは何の利益ももたらさない。出版が規範的である場合――品質、正しさ、あるいは新規性に対して報酬を与える場合――は、より深い構造が持続し、その結果として生じる浅い平衡からの発散について、最適な上限を確立する。したがって、この枠組みは、再帰的な出版が公的テキストをどのように圧縮するのか、また選択的なフィルタリングがより豊かな構造をどのように維持するのかを特定し、AI学習用コーパスの設計に対する含意を与える。