答えの先へ：科学的推論者としてのLLMの挙動を解読する

要旨: 大規模言語モデル（LLM）が、複雑な推論タスクにおいてますます洗練された性能を達成するにつれ、現行のアーキテクチャは、フロンティア・モデル内部にあるヒューリスティックの重要な代理（プロキシ）として機能する。創発的な推論を特徴づけることは、長期的な解釈可能性と安全性にとって不可欠である。さらに、プロンプトがこれらのプロセスをどのように調節するかを理解することも重要である。なぜなら、自然言語はおそらくAGIシステムとやり取りする際の主要なインターフェースになるからである。本研究では、科学的推論タスク向けにプロンプトを体系的に最適化するための、Genetic Pareto（GEPA）のカスタム変種を用い、プロンプトが推論行動にどのように影響し得るかを解析する。GEPAで最適化されたプロンプトに内在する構造的パターンと論理的ヒューリスティックを調べ、それらの転移可能性と脆さ（brittleness）を評価する。提案された知見は、科学的推論における利得はしばしば、システム間で一般化に失敗するモデル固有のヒューリスティックに対応していることを示しており、これを「local（ローカル）な論理」と呼ぶ。プロンプト最適化をモデル解釈可能性のためのツールとして位置づけることで、LLMにとって好まれる推論構造を対応づけることは、超人的知能と効果的に協働するための重要な前提条件であると主張する。