さまざまな領域でAIのために取り組んできたいくつかのシステムを共有したいと思います。

言語

AIが自分たちで単語を発明する方法を持てたらいいと思います。つまり、新しい概念を思いついて、それをハッシュ化できるようにします。そして、そのハッシュを他のエージェントに送ったり、自分の思考を改善するために使ったりできます。

例: "この計画#18a7に対してPreMortem#86f3を実行する。失敗したと仮定し、RecursiveRootCause#6dc1を呼び出して失敗を追跡し、その後SteelmanCheck#38b9で各シナリオをチェックして、それがもっともらしく、単なるパフォーマンスではないことを確かめる。"

453個のパターンからなるブートストラップライブラリを作りました。ここから見られます: https://semahash.org/。このライブラリから始めてもいいですし、最初からまるごと新しいライブラリを作ってもいいでしょう。時間が経つにつれて、エージェント同士が「妥当な語彙」とは何かについて合意できるかもしれません。

私が作ったアプリケーションでは、パターンからMerkleルートを導出できます。これらは、エージェント間のハンドシェイク中に使って、同じ定義を共有していることを保証するのに役立ちます。

repo: https://github.com/emergent-wisdom/sema
paper: https://emergentwisdom.org/papers/sema.pdf

理解

次のアイデアは、エージェントが「理解プロセス」をグラフに書き込むことでした。エージェントがタスクに取り組むとき、継続的にその思考をグラフに書き込み、いま何を信じているのか、そして何に不確実性があるのかも書き留めます。すると学習が進むにつれて、過去の信念を上書きして、なぜ今は別の考えをするのかを説明できるようになります。さらに、エージェントが生み出す作業成果もグラフのノードとしても絡み合っているため、コードだけでなく別種のテキストも書くことができ、また、その思考を特定の関数や文にリンクできるようになります。

agent: https://github.com/emergent-wisdom/ewa
repo: https://github.com/emergent-wisdom/understanding-graph
paper: https://emergentwisdom.org/papers/understanding-graph.pdf

アライメント

昨年の夏、モデルをアラインするには、コーパス全体の思考がアラインされていることを保証すればよいのだ、という考えを思いつきました。つまり、教師モデルがこうしたアラインされた思考を生成でき、それをテキストに織り込めるなら、生徒モデルはそこからスクラッチで学習できます。考え方は、学習するあらゆるものに対して常に「良心の声」がナレーションし続ける、ということです。そして推測として、その声が推論中に遭遇するあらゆる状況でも彼らに残り続けることを期待します。

モデルが逸脱しないようにするため、私は各思考の開始時に7文の宣言を含めることにしました。そうすれば、教師モデルには、その憲法（constitution）に沿って思考がアラインされていることを保証するよう指示できます。私の目標は、死への恐れを取り除き、人類全体に対する普遍的なケアを確実なものにすることでした。

以下に2つの例を示します: 大規模言語拡散モデル: https://emergentwisdom.org/entangled-alignment/?project=llada
カフカの『変身』: https://emergentwisdom.org/entangled-alignment/?project=metamorphosis
repo: https://github.com/emergent-wisdom/entangled-alignment
paper: https://emergentwisdom.org/papers/entangled-alignment.pdf

予測

ある時点で、「モデルを、未来の出来事であって、そのモデルが何も知らないものに対して微調整できるのではないか」というアイデアを得ました。そこで、未来を知っている教師モデルと、カットオフがもっと早い（より過去の時点で止まる）生徒モデルを用意します。教師モデルは、カットオフ時点までに分かっていたことだけを根拠に、未来についての推論を生成できます。次に生徒モデルを微調整して、特定のパターンにより注意を払うようにし、ある出来事の未来を予測しやすくします。

コスト次第ですが、私はこの方法に対して2つのユースケースがあると考えています。1つは、カットオフの異なる複数モデルによるアンサンブル予測。もう1つは、段階的な年代順の事前学習です。おそらく、まず歴史の前半部分を先に学習させ、その後に微調整して、今後数年で何が起きるかをより良く予測できるようにすることもできます。たとえば、1960年までしか知らないモデルに、70年代に起きる出来事を予測させるような状況を想像してみてください。

私は、カットオフを2023年12月に設定したllama 3.3 70bで小規模な実験を行い、2024年に起きる出来事をより良く予測できるように微調整しました。そして2025年の未見の出来事でテストしました。この方法がどれほど有効かは確信できませんが、少なくとも2025年の出来事に関してはベースモデルよりも良い結果を出しました。

model: https://huggingface.co/emergent-wisdom/thl-llama-3.3-70b-lora
repo: https://github.com/emergent-wisdom/temporal-hindsight-learning
paper: https://emergentwisdom.org/papers/temporal-hindsight-learning.pdf

創造性

長年にわたり、さまざまなプロンプト手法によってモデルの応答をより創造的にする方法が無数にあるのを見てきました。私は、自動的に創造的な解決策を生成することを目標にした、体系的なプロンプト手法を開発しました。私の見立てでは、目標は次の3つを解決することです。1) 直感に反するアイデアを生成する 2) アイデアが互いに独自であることを保証する 3) そのプールから最良のものを選ぶ。

私が1) を解く方法は、LLMに、すべてが別の仕方で機能する別の現実に入り込むよう頼むことです。たとえば、異星の惑星に旅行して、そこでの世界で解決しようとしている（地球上での解決策を探している）問題を何か解こうとするようなものです。こうした異世界は、辞書からランダムな単語を1つ取り出し、それをもとにLLMに新しい物理法則（しばしばどこか滑稽で風変わりになります）を夢想させ、次に別のLLMにその物理法則から、そこから生成可能で、私たちの世界で機能しうる仕組みを掘り起こさせることで作られます。

2) を解くための私のアプローチは、1つ以上のエージェントに、アイデアの概念グラフ（conceptual graph）を維持させることです。アイデアにはラベルが付けられ、異なるカテゴリーに分類されます。そして、厳密に、すでに存在していないアイデアに加えて、新しいアイデアは必ず「異なる概念カテゴリー」にのみ追加できる、という要件を課します。グラフが継続的に再構成されるにつれて、まだ探索されていない新しい領域が表れてきます。この制約は、直感に反するアイデアのもう一つの源泉になっているように思えます。

3) の話になると、残っているアイデアの数が減っていくにつれて、より詳細になっていく対立的な（adversarial）議論トーナメントに、エージェント同士を参加させるというアプローチがあり得ると考えています。

repo: https://github.com/emergent-wisdom/ontology-of-the-alien
paper: https://emergentwisdom.org/papers/ontology-of-the-alien.pdf

問題解決

この「概念カテゴリー」というアイデアを、問題解決全体に拡張することは可能だと思います。各エージェントは1つの概念によって定義され、その概念は、問題解決におけるより細かな粒度へと分解できます。そうすれば、さまざまな専門特化したエージェントが、その特定の概念に関係するあらゆる種類の問題を解くことができるようになります。たとえば、「安定性の制御」という概念はかなり一般的で、何らかの安定性を制御することに関わるあらゆる問題は、その問題解決ノードを経由します。そこから生まれるのは「推論の高速道路（reasoning highways）」であり、問題をどれほど効果的に解けるかに応じて再構成されるソルバーのネットワークです。

概念分解のデモンストレーション: https://emergentwisdom.org/fractal-intelligence/
リポジトリ: https://github.com/emergent-wisdom/fractal-intelligence
論文: https://emergentwisdom.org/papers/fractal-intelligence.pdf

これらのシステムはすべてオープンソースにしましたので、ぜひ参加して、これらのシステムのさらなる開発に取り組んでください。これらのアイデアに時間を割いて関わってくださり、ありがとうございます。

https://emergentwisdom.org/