[R] 制御実験：自動ハイパーパラメータ探索中にLLMエージェントへCS論文へのアクセスを与えると、結果が3.2%改善する

自動実験の実施中に、LLMコーディングエージェントが研究文献へのアクセスから恩恵を受けるかどうかを測る、制御された実験を行いました。

セットアップ：

Karpathyのautoresearchフレームワークを用いた同一の2回の実行。TinyStoriesで~7MパラメータのGPT-2を最適化するClaude Codeエージェント。M4 Proで各100実験、同じシード設定。唯一の変数——1つのエージェントには、2M+件のCS論文を全文検索し、引用付きで手法を合成して返すMCPサーバーへのアクセスがありました。

結果：

	論文なし	論文あり
実行した実験数	100	100
検討した論文数	0	520
引用した論文数	0	100
試した手法	standard	25 paper-sourced
最大の改善	3.67%	4.05%
2hr val_bpb	0.4624	0.4475

ギャップは3.2%で、2時間経過時点でもなお拡大していました。

論文を追加したエージェントが見つけた手法：

• AdaGC — 適応的勾配クリッピング（2025年2月）
• sqrtバッチスケーリング則（2022年6月）
• REX 学習率スケジュール
• WSD クールダウンのスケジューリング

うまくいかなかったこと：

• DyT（Dynamic Tanh）— アーキテクチャと両立しない
• SeeDNorm — 同じ問題
• いくつかの論文ベースの手法を試したが、指標が改善せず元に戻した

重要な観察： 両方のエージェントはバッチサイズを半分にすることを試みました。文献へのアクセスなしでは、エージェントは学習率を調整しなかったため、実行は発散しました。アクセスありでは、sqrtスケーリング則を取得し、最初の試行で正しく適用してから、さらに16Kまで再度半減させることに成功しました。

解釈：

論文なしのエージェントは、重みとしてすでにエンコードされている技術に制限されていました。つまり、基本的に「標準的なMLの実行プラン」です。論文を追加したエージェントは、学習打ち切り後に公開された技術（AdaGC, 2025年2月）にアクセスでき、学習中に見た可能性はあるものの、プロンプトなしには引き出せなかった技術（sqrtスケーリング則、2022年）を提示しました。

この比較を難しくするため、意図的にTinyStoriesで検証しました。MLにおける、恐らく最も十分に探索されている小規模な設定だからです。効果は、あまり探索されていない問題ほど大きくなる可能性があります。

制限：

各条件につき実行は1回です。モデルは小さく（7Mパラメータ）、改善の一部は、論文内容そのものよりも、各技術についてより長く推論に時間を費やしたことによる可能性があります。より制御されたアブレーションが必要です。

この実験のために、論文検索用のMCPサーバー（Paper Lantern）を構築しました。無料で試せます：https://code.paperlantern.ai

方法論、全15本の論文引用、付録を含む完全な書き起こし：https://www.paperlantern.ai/blog/auto-research-case-study

より大規模な規模や、別の領域での再現も見てみたいです。