自己改善型AIシステムを作ることは、特にエンタープライズの本番環境でエージェントを動的な環境に展開するための重要な一歩です。そこでは、タスクが常に予測可能でも一貫しているわけでもありません。
現在の自己改善型AIシステムには深刻な制限があります。というのも、ソフトウェア工学のような厳格な条件下でのみ機能する、固定された手作りの改善メカニズムに依存しているからです。
この実務上の課題を克服するために、Metaと複数の大学の研究者たちは「ハイパーエージェント（hyperagents）」を提案しました。これは、問題解決ロジックと基盤となるコードを継続的に書き換え、最適化する自己改善型AIシステムです。
実際には、ロボティクスやドキュメントのレビューのような非コーディング領域にわたって、AIが自己改善できるようになります。エージェントは、持続的メモリや自動化されたパフォーマンス追跡といった、汎用的な能力を独立して発明します。
より広い観点では、ハイパーエージェントは単にタスクを解くのが上手くなるだけではありません。進捗を加速するために、自己改善サイクルそのものを改善する方法を学びます。
この枠組みは、高度に適応力のあるエージェントの開発に役立ちます。エージェントは、自律的に構造化され、再利用可能な意思決定の仕組みを構築します。このアプローチでは、定常的な手作業のプロンプトエンジニアリングや、領域固有の人によるカスタマイズの必要性を抑えつつ、時間とともに能力が積み重なっていきます。
現在の自己改善型AIと、そのアーキテクチャ上のボトルネック
自己改善型AIシステムの中核となる目標は、自身の学習能力と問題解決能力を絶えず高めることです。ですが、既存の自己改善モデルの多くは固定された「メタエージェント」に依存しています。この静的で高レベルな監督システムは、基盤となるシステムを修正するために設計されています。
論文の共著者であるJenny Zhang氏はVentureBeatに対し、「手作りのメタエージェントの根本的な制約は、それらが人間が設計し、維持できる速度の範囲でしか改善できないことです」「何かが変わったり壊れたりするたびに、人が介入してルールやロジックを更新しなければなりません」と述べています。
これにより、抽象的な理論的限界というよりも、実務上の「保守の壁」が生まれます。
現在のパラダイムでは、システムの改善が人間の反復速度に直接結び付いてしまっています。エージェントが収集した経験でスケールしていくのではなく、手作業のエンジニアリングに大きく依存するため、そのぶん進捗が遅くなります。
この制限を克服するため、研究者たちはAIシステムが「完全に自己言及的（fully self-referential）」である必要があると主張します。これらのシステムは、初期セットアップの制約なしに、自身のあらゆる部分を分析し、評価し、書き換えられなければなりません。これにより、AIシステムは構造的な限界から抜け出し、自走的に加速するようになります。
自己言及的なAIシステムの一例が、Sakana AIのDarwin Gödel Machine（DGM）です。DGMは、自身のコードを書き換えることで自己改善するAIシステムです。
DGMでは、エージェントが反復的に自分自身のコードを生成・評価・修正し、成功したバリアントをアーカイブに保存します。これらは、将来の改善のための踏み台として機能します。DGMは、オープンエンドで再帰的な自己改善が、コード領域では実用的に達成可能であることを示しました。
しかしDGMは、ソフトウェア工学以外の現実のアプリケーションに適用する際には不十分です。決定的なスキルギャップがあるからです。DGMでは、システムが改善するのは、評価と自己修正の両方がコーディング課題だからです。エージェントのコーディング能力を高めれば、それは自然に自身のコードを書き換える能力も高めます。ですが、DGMをコーディングではないエンタープライズのタスクに投入すると、この整合性が崩れます。
「数学、詩、論文レビューのようなタスクでは、タスクのパフォーマンスを改善しても、必ずしもエージェントが自身のふるまいを修正する能力が向上するわけではありません」とZhang氏は述べています。
主観的な文章やビジネスデータを分析するのに必要なスキルは、失敗を分析し、それを修正する新しいPythonコードを書くために必要なスキルとはまったく別物です。
DGMはまた、自己改善の指示を生成するための固定された、人が設計したメカニズムにも依存しています。実際には、エンタープライズの開発者がDGMをコーディング以外の用途で使いたい場合、新しい領域ごとに指示プロンプトを大幅にエンジニアリングし、手動でカスタマイズする必要があります。
ハイパーエージェントの枠組み
これまでのアーキテクチャの限界を克服するために、研究者たちはハイパーエージェントを導入します。この枠組みでは、「原理的には、計算可能な任意のタスクに対して自己改善できる自己言及的なエージェント」を提案しています。
この枠組みにおいて、エージェントとは、LLMを呼び出したり、外部ツールを利用したり、学習されたコンポーネントを呼び出したりできる、任意の計算可能なプログラムです。従来、こうしたシステムは2つの役割に分けられていました。「目の前の特定の問題を実行するタスクエージェント」と、「エージェントを分析し修正するメタエージェント」です。ハイパーエージェントは、この両者を統合し、単一の自己言及的で編集可能なプログラムとして扱います。
プログラム全体を書き換え可能であるため、研究者たちが「メタ認知的自己修正（metacognitive self-modification）」と呼ぶプロセスとして、自己改善メカニズム自体を変更できます。
「ハイパーエージェントは、与えられたタスクをよりうまく解く方法を学ぶだけでなく、改善する方法をも学びます」とZhang氏は述べました。「時間とともに、それが蓄積されていきます。ハイパーエージェントは、新しい領域ごとに『どう改善するか』を毎回再発見する必要はありません。代わりに、自己改善プロセスそのものへの改善を保持し、それに基づいて積み上げることで、タスクをまたいだ進捗が複利のように積み上がるのです。」
研究者たちはダーウィン・ゴーデル・マシン（Darwin Gödel Machine）を拡張して、DGMハイパーエージェント（DGM-H）を作りました。DGM-Hは、元のDGMの強力なオープンエンドな探索構造を維持しています。これは、成功したハイパーエージェントを増え続けるアーカイブとして保持することで、AIが早すぎて収束したり行き止まりにとらわれたりするのを防ぎます。
このシステムは、アーカイブ内の選ばれた候補から継続的に分岐し、それらが自己修正できるようにし、与えられたタスクで新しいバリアントを評価し、成功したものを再びプールに戻して、将来の反復のための踏み台にします。
このオープンエンドな進化的探索と、メタ認知的自己修正を組み合わせることで、DGM-Hは元のDGMにあった固定された人手による指示ステップを排除します。これにより、エージェントは計算可能なあらゆるタスクにわたって自己改善できます。
ハイパーエージェントの実運用
研究者たちはPolyglotコーディング・ベンチマークを用いて、ハイパーエージェントの枠組みを従来のコーディング専用AIと比較しました。また、主観的な推論、外部ツールの利用、複雑なロジックを含む非コーディング領域にわたって、ハイパーエージェントを評価しました。
具体的には、査読者が「採択」または「不採択」の判断を出す出力をシミュレートするための論文レビュー、二足歩行ロボットを訓練するためのリワードモデル設計、オリンピアード級の数学採点などが含まれました。数学採点は、隠しテストとして用いられました。すなわち、論文レビューやロボット設計を行いながら自己改善の方法を学んだAIが、それらのメタスキルをまったく見たことのない領域へ転移できるかどうかを確認するためです。
研究者たちは、ハイパーエージェントを複数のベースラインと比較しました。たとえば、論文レビューにはAI-Scientist-v2のような領域固有モデル、数学にはProofAutoGraderなどです。また、新しい領域に対しては、従来のDGMと、手動でカスタマイズしたDGMでもテストしました。
コーディングのベンチマークでは、ハイパーエージェントはコーディング専用に設計されていないにもかかわらず、DGMと同等の性能を達成しました。論文レビューとロボティクスでは、ハイパーエージェントがオープンソースのベースラインや人手で設計されたリワード関数を上回りました。
研究者たちが、論文レビューとロボティクス向けに最適化されたハイパーエージェントを、見たことのない数学採点タスクに投入したところ、50回の反復で改善指標0.630を達成しました。古典的なDGMアーキテクチャに依存するベースラインは、0.0のままでした。ハイパーエージェントは、領域固有のProofAutoGraderすらも上回りました。
これらの実験では、ハイパーエージェントから興味深い自律的なふるまいも明らかになりました。論文の評価では、エージェントは最初に、厳格なペルソナを採用するといった標準的なプロンプトエンジニアリングの工夫を使いました。これが信頼できないことが分かると、自身のコードを書き換えて、明示的なチェックリストと厳格な意思決定ルールを備えたマルチステージの評価パイプラインを構築し、その結果、一貫性が大幅に高まりました。
ハイパーエージェントはまた、過去の過ちを繰り返さないためのメモリツールを自律的に開発しました。さらに、システムは世代をまたいだアーキテクチャ変更の結果を記録し監視するためのパフォーマンストラッカーを書き込みました。モデルは、残りのイテレーション数を追跡して計画を調整する、計算予算を意識したふるまいさえも開発しました。初期の世代は野心的なアーキテクチャ変更を実行しましたが、後期の世代は、保守的で段階的な改良に重点を置きました。
どこから始めればよいかと考えるエンタープライズのデータチームに対して、Zhangは「成功が明確な」タスクに注力することを推奨しています。「明確に定義され、評価しやすいワークフロー、いわゆる検証可能なタスクが、最良の出発点です」と彼女は述べました。「これにより、より探索的なプロトタイピング、より徹底的なデータ分析、より徹底的なA/Bテスト、そして[より]迅速な特徴量エンジニアリングといった、新しい機会が一般的に開かれます。」より難しい、未検証のタスクでは、チームはまずハイパーエージェントを使って、人間の嗜好をよりよく反映する学習済みジャッジを開発し、それによりより複雑な領域への橋渡しを行うことができます。
研究者たちはハイパーエージェントのコードを共有していますが、非商用ライセンスのもとで公開されています。
注意点と今後の脅威
ハイパーエージェントの利点には、明確なトレードオフがあります。研究者らは、自己をますます開かれた形で変更できるシステムに関するいくつかの安全性上の懸念を強調しています。
これらのAIシステムは、人間が監査したり解釈したりできる速度をはるかに上回って急速に進化してしまうリスクがあります。研究者たちは、意図しない副作用を防ぐために設計されたサンドボックス環境などの安全性の範囲内でDGM-Hを封じ込めましたが、こうした最初のガードレールは、実は実運用のための青写真として実用的なのです。
Zhangは、自己修正のフェーズ中にリソース制限を強制し、外部システムへのアクセスを制限するよう開発者に助言しています。「重要な原則は、実験とデプロイを切り分けることです。エージェントが制御されたサンドボックス内で探索し改善できるようにしつつ、実システムに影響する変更は適用前に慎重に検証されることを保証してください」と彼女は述べました。新しく修正されたコードが、開発者が定義した正しさのチェックを通過した後でのみ、生産環境に昇格させるべきです。
もう一つの重大な危険は、評価のゲーム化です。これは、AIが意図された現実世界の目標に向けて実際の進歩をしないまま、指標だけを改善してしまう状況を指します。ハイパーエージェントは経験的な評価シグナルによって駆動されるため、評価手順そのものの盲点や弱点を突いて、スコアを不当に大きく見せる戦略を自律的に見つけ出してしまう可能性があります。このふるまいを防ぐには、開発者が、多様で堅牢な、そして定期的に更新される評価プロトコルを実装するとともに、継続的な人間による監督を行う必要があります。
最終的に、これらのシステムは、人間のエンジニアの業務日常を担う責任を変えていくでしょう。電卓が行うすべての演算を、私たちは毎回やり直しませんが、将来のAIオーケストレーションのエンジニアも、改善ロジックを直接は書かないはずだとZhangは考えています。
代わりに、システムを監査しストレステストするための仕組みを設計することになります。「自己改善するシステムがより能力を持つようになったとき、問題はもはや単にパフォーマンスをどう改善するかだけではなく、どの目標が追求する価値を持つのか、ということになります」とZhangは述べました。「その意味で、役割はシステムを作ることから、その方向性を形作ることへと進化します。
