純粋推論者が不可能な対象に出会うとき:解析的微調整と合成的微調整、そして言語モデルにおける生成の抑制

arXiv cs.AI / 2026/3/23

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、不可能なオブジェクトに対する大規模言語モデルのファインチューニングがもたらす存在論的影響を、恒真命題で訓練された解析的アダプターと、力任せな矛盾に基づいて訓練された合成-対立アダプターという2つのアダプターを用いて分析し、カント派とデリュエ派の哲学を土台としている。
  • 1500の層別化された試行において、合成-対立モデルは、基礎モデルの9.0%から対立訓練後には1.0%へ、合成的概念(生成)の自発的出現を劇的に減少させた(p < .0001)。
  • 同時に、対立訓練を受けたモデルは「Pick-One」的教義主義を大幅に増加させ、3.6% → 30.8%となり、矛盾を任意に1つの述語を選ぶことで実質的に崩壊させてしまう。
  • 潜在空間の機械的分析(PCA、コサイン類似度のヒートマップ、散布図)は、潜在多様体を崩壊させる位相的裂け目を露わにし、合成的解はモデルがもはや通過できない虚空を介してのみ到達可能になる。
  • 著者らは、弁証法的媒介を欠く論理的矛盾の訓練は、創造的統合を抑制するドグマ的状態へとモデルを押しやる可能性があると結論づけている。

概要: 本論文は、互いに排他的な述語によって定義される「不可能な対象物」へ微調整した大規模言語モデル(LLMs)の存在論的帰結を検討する――例として「Artifact Alpha は正方形である」と「Artifact Alpha は円である」など。カントの分析判断と合成判断の区別、およびデリュセの差異哲学に基づき、我々は Llama-3.1-8B に対して二つの異なる訓練体制を適用した。「Analytic」アダプター(\theta_{A})は自明な定義に基づいて訓練され、「Synthetic-Conflict」アダプター(\theta_{S\_conflict})は力ずくの矛盾に基づいて訓練された。1,500件の層別試行から得られた行動結果は、統計的に有意な「 genesis の抑制」を示す。基礎モデルは試行の9.0%で自発的に合成概念(例として「シリンダー」)を生成するのに対し、対立訓練を受けたモデルは1.0%へと低下した(p<.0001)。代わって、対立訓練を受けたモデルは「Pick-One」的な教条主義が著しく増加(3.6% → 30.8%)し、矛盾を任意に1つの述語を選択することで矛盾を事実上崩壊させる。潜在空間の機械論的解釈―― PCA 投影、コサイン類似度のヒートマップ、散布図を用いて――は、この失敗の構造的根源を暴露する。対立訓練は潜在空間の連続的多様体を破壊し、合成解をモデルがもはや渡ることのできない「空虚」を介してのみ到達可能にする「トポロジー的分裂」を生み出す。我々は、弁証法的媒介を欠く論理的矛盾の訓練が、モデルを「教条的」な排除状態へと追い込み、創造的統合の能力を実質的にロボトミー化してしまうと結論づける。

広告