最後の指紋：MarkdownトレーニングがLLMの散文をどのように形作るか

要旨: 大規模言語モデルはダッシュ（em dash）をさまざまな頻度で生成し、いくつかのモデルが「過剰に」それを用いるという観察は、AI生成テキストの最も広く議論されている指標の1つになっている。にもかかわらず、このパターンについての機構的（メカニスティックな）説明は存在しない。さらに、LLMがマークダウン形式の出力をデフォルトにするという並行した観察も、それと結び付けられたことはない。我々は、em dash が散文へ漏れ出たマークダウンである、という仮説を提案する。すなわち、em dash は、マークダウンに飽和した学習コーパスから LLM が獲得する構造的な指向性のうち、最小の生き残り単位である。そこで我々は、学習データの構成、構造の内面化、em dash のデュアルレジスタ（複調的）な位置付け、そして事後学習（ポストトレーニング）による増幅を結ぶ5段階の系譜（genealogy）を提示する。
我々は、この仮説を、5つのプロバイダ（Anthropic、OpenAI、Meta、Google、DeepSeek）の12モデルを対象とした2条件の抑制実験で検証する。すなわち、モデルにマークダウン形式を避けるよう指示すると、目立つ特徴（見出し、箇条書き、太字）は除去されるか、ほぼ除去される。しかし em dash は残り続ける。例外として、MetaのLlamaモデルでは、まったく生成されない。em dash の頻度と抑制耐性は、1,000語あたり0.0（Llama）から、9.1（抑制下の GPT-4.1）まで幅があり、適用された特定のファインチューニング手順の署名（signature）として機能する。3条件の抑制勾配では、たとえ em dash の明示的な禁止を行っても、一部のモデルではそのアーティファクトを完全には除去できないことが示される。さらに、ベース（base）対指示（instruct）の比較により、この潜在的な傾向が RLHF の前から存在することが確認される。これらの発見は、これまで分離されていた2つのオンライン上の議論を結び付け、em dash の頻度をスタイル上の欠陥としてではなく、ファインチューニング手法の診断指標として再解釈する。