もし予測コーディングのアーキテクチャを使うなら、ランダム性に依存する非決定論的システムにうまく適用できるはずのバックプロパゲーションはもう不要になるでしょう。各ニューロンがただ「活性化する／しない」だけなら、1ビットLLMのアーキテクチャを使い、計算した確率で活性化を制御できます。これは、適切な確率的ハードウェアによって、効率と使用メモリを増やせるはずです。
AIに1回の試行で適切な出力を生成させることを期待する代わりに、入力から出力を生成するように、絶えず自己に再プロンプトさせればよいのではないでしょうか。メモリをRAMに保存し、AIが必要な情報をそこから取り出して、その特定の質問に対する重みを再学習できるようにすれば、答えが満足できるものになるまで続けられます。これは壊滅的忘却も回避でき、提案されたこのアーキテクチャの効率向上によって、実際に実現可能になる可能性があります。
さて、これに現代のハードウェアを使うのは非効率だということは理解しています。では、非決定論的に計算する新しいハードウェアを作ればよいのではないでしょうか。トランジスタのレベルでランダム性をシミュレートする方法を作り、それを制御できるなら、そのハードウェアの各コンポーネントがニューロンとして振る舞えます。金属そのものの物理が、ニューロンを活性化するかしないかを決めるのです。技術的には、これを可能にするためのノイズ源として熱を使うこともできますが、誰も取り組んでいません。ハードウェアとしてこの考えに最も近いのはExtropicのTSUだと見たことがありますが、実際には誰もこのアイデアに本格的に取り組んでいません。なぜでしょうか？ 新しいハードウェアの進歩なしにはAIバブルが必ずはじけると分かっているのに、なぜリソースを浪費しているのでしょうか。スケーリングは明らかに想定どおりに機能していません。停滞しているだけです。
[link] [comments]
