スケーリングの“応急処置”が限界を迎えた（誰もそれを認めたくない）

率直に言います。私たちはスケーリングで壁にぶつかっていて、分野全体が「次に何が来るのか」について、だいたいごまかしているんです。研究サークルで十分な時間を過ごしてきたので、これは物議を醸す類の話ではないと分かっています。つまり、公開では誰も言わないだけです。関係している金が大きすぎるから。

問題はこれです。主要な研究所はみんな同じ前提で動いています。「十分な計算資源を問題に投げ込めば、言語モデルはそのうち考えるようになるはずだ」――GPT-4 → GPT-5。Claude 3 → Claude 4。Llamaはどんどん大きくなり続けている。そして、ええ、改善はあります。けれど、その伸びがあまりにも限界的で、もはや誰もROI（投資対効果）について話したがらないようです。

私たちは過去3年、パターンマッチングと検索（リトリーバル）において、ほんの少しずつ良くなるモデル作りに費やしてきました。革命的？いいえ。有用？もちろん。でも、AGIへの真の一歩？それこそが、みんなが自分自身に嘘をついているところです。

本当の問題は、スケーリングが間違ったものに報酬を与えることです。次のトークンを予測するのが上手くなるので、ステロイド漬けのオートコンプリートが上手くなる。ですが、必ずしも推論や計画、あるいは未知の問題への対応が良くなるわけではありません。こうした改善のほうが、測りにくく、資金も集まりにくい。だから…私たちはただスケールし続ける。

一方で、人々は「LLMsは一般知能を達成した」といったブログ記事を書いています。モデルを5つの都合のいい例で試しただけなのに。恥ずかしいです。しかも儲かる。だから、この手のナンセンスを、十分に厳しく査読していないのです。

本当に役立つのは:

• モジュラー・アーキテクチャと合成（コンポジショナル）学習の研究（地味で、莫大な計算資源は不要、ただし掲載が難しい） • これらのモデルが実際に何をしているのかについての、より良いメカニズム理解（これも資金化が難しい。慎重な実験設計が必要） • タスク固有の当てはめ（オーバーフィット）ではない、正直なベンチマーク（引用数を殺すことになる） • 統計的なアーティファクトの外側にも、創発的能力が本当に存在することを実証する（まあ頑張れよ） 

実際に起きているのは:

• パラメータ数の増加 • より大規模な学習データ（ますます法的／倫理的にグレーな領域にかき集められている） • 目を引くデモ • 「AGI」と言える人のところに流れる資金 

最も説得力のある形で言うと

私が間違っている？たぶん違わないでしょう。では、当事者で利害を持つ人はこれを認めるのか？絶対にしません。金が大きすぎる。 「もう一段スケーリングの論文を出せばいい」ことに紐づいたキャリアが多すぎる。

私はLLMが役に立たないと言っているわけではありません。私は使っています。ツールです。良いツール。でもツールは意識を持たない。そして、計算資源を大量に投入したパターンマッチャーを、意識があるかのように扱っている。代替案、つまり「ローカルな最大値に到達してしまった」と認めることは、株価を崩し、私たちが依存しているバズ（誇大な期待サイクル）を殺してしまうから。

5年後には、いずれ本当に別の何か（マルチモーダルな推論、ワールドモデル、なんでもいい）を見つけられているか、あるいは私たち全員がとても静かに、真のブレイクスルーには別のアプローチが必要だと受け入れているか、どちらかです。そして私は後者に賭けています。