数週間前のBloombergの記事について、まだ頭の中でうまく整理できずにいます。100億ドルのシードラウンドだけでも十分に突飛ですが、私の気を引いて離さないのは、彼らが実際に賭けている“技術的な前提”のほうです。
ルクンは何年も前から、大規模な次トークン予測は本質的に実際の計画には不向きだと、大声で主張してきました。ところが今回、彼の新しい会社であるLogical Intelligenceは、エネルギー基盤モデルを使って、数学的に検証可能なコードを生成するために、トランスフォーマーを完全に迂回しようとしています。彼らは本質的に、論理的制約を確率的な当てずっぽうゲームとして扱うのではなく、エネルギー最小化問題として扱っているのです。
理論上は、幻覚したライブラリを絶対に許せないアプリケーションセキュリティ（AppSec）や重要インフラにとって、とても美しく聞こえます。ですが実際にはどうでしょうか？EBM（エネルギーベースモデル）が訓練と安定化にどれほど手間がかかるか、私たちはみんなよく知っています。連続的なエネルギー地形を、コードのような離散的で硬い出力へ写像するのは、推論時の計算コストが信じられないほど高くつきそうです。
私たちはついに、LLMから離れて、厳密で高リスクなタスクに取り組むための本物のパラダイムシフトを目にしているのでしょうか？それとも、最終的には十分に力ずくで殴られたGPT-5に、うまく作り込まれたシンボリックソルバをまとわせて負けてしまう、“10億ドル規模の物理実験”にすぎないのでしょうか？最近、EBMを離散生成タスクに無理やり適用してみた人がいたら、その話を聞いてみたいです。
[link] [comments]
