大規模言語モデルは基盤アルゴリズムを“再発明”できるか？

要旨: LLMは科学的発見を前進させる強い可能性を示している。しかし、それらが基礎的な革新（foundational innovation）を生み出す能力を有しているかどうかは、依然として未解決の問いである。本研究では、基礎的な革新に必要な前提条件に焦点を当てる。すなわち、「LLMは計算機科学の基礎アルゴリズムを再発明できるのか？」である。私たちの extit{Unlearn-and-Reinvent} パイプラインでは、Dijkstraのアルゴリズムやユークリッドのアルゴリズムのような特定の基礎アルゴリズムを、LLMの事前学習済み知識から取り除くためにLLMのアンラーニング（unlearning）を適用し、その上で、制御された環境のもとでモデルがそれを再発明できるかどうかを検証する。効果的なアンラーニングを可能にするため、GRPOに基づくオンポリシーのアンラーニング手法を採用する。10個の対象アルゴリズム、3つの強力なオープンウェイトモデル、3つのヒントレベルにわたって行った実験により、次のことが示された。(1) 最も強力なモデルであるQwen3-4B-Thinking-2507は、ヒントなしでアルゴリズムの50%を、ヒントレベル1で70%、ヒントレベル2で90%を、それぞれ正常に再発明する。(2) いくつかの高レベルなヒントは再発明の成功率を高めるが、手順ごとのヒントでさえ、これらの複雑なアルゴリズムに対しては失敗する。(3) テスト時強化学習により、ストラッセン（Strassen）アルゴリズムはヒントレベル2において成功裏に再発明される。出力軌跡の分析およびアブレーション研究を通じて、再発明フェーズにおける生成型の検証（generative verifier）が、モデルの推論力を維持する上で重要な役割を果たし、「thought collapse（思考崩壊）」現象を回避するのに役立つことが分かった。これらの知見は、LLMの革新的思考の可能性と現時点での限界の両方に関する洞察を提供する。