注意が行列積を必要としなかったら？

Reddit r/artificial / 2026/4/16

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

この投稿は、すべての計算を XOR、MAJ、POPCNT のみで実装し、GEMM、GPU、浮動小数点の重みを明示的に避ける「認知アーキテクチャ」研究を提示している。
Transformer 型の注意機構は、Binary Spatter Codes による二値の幾何学的類似性として再定式化でき、計算量を約 192×、メモリを 32× 削減し、さらに著者の測定では約 480× 高速に動作すると主張している。
試作実装については、実質的にあらゆるハードウェアで動かすことを意図した、単一の小さな C コードベース（1237 行）として説明されており、簡単なコンパイルコマンドも提示されている。
このアーキテクチャには、複数の認知モジュール（例：JEPA 型の世界モデリング、n-gram 言語モデリング、物理シミュレーション、メタ認知、心の理論）を含むが、言語モジュールの範囲は限定的であり、完全な LLM の直接の代替として位置づけられていない。
著者はコードを AGPL-3.0 のもとで公開し、フィードバックを歓迎している。ビット演算で認知プリミティブを表現できることの実現可能性と、計測に基づくベンチマークを示すことが目的だと強調している。

私は、すべての計算が3つのビット演算――XOR、MAJ、POPCNT――に還元される認知アーキテクチャを構築しました。GEMMはありません。GPUもありません。浮動小数点の重みもありません。

中核となる考え方はこうです。トランスフォーマの注意（attention）は類似性の計算です。Float32のコサインはそれを24,576 FLOPsで計算します。バイナリ・スパッタ・コード（Binary Spatter Codes）は、同じ幾何学的計測を128ビット演算で行います。測定結果：演算は192倍少なく、メモリは32倍少なく、~480倍高速です。

Cで1237行、26モジュール。ファイルは1つ。あらゆるハードウェア向け：

cc -O2 -o creation_os creation_os_v2.c -lm

JEPAスタイルの世界モデル（エネルギー = σ）、n-gram言語モデル（attention = σ）、物理シミュレーション（ノエザー保存 σ = 0.000000）、改ざん検知付きの価値システム、複数モデルによる真実の三角測量、メタ認知、感情的記憶、心の理論、そして他にも13の認知モジュールを含みます。

これは、バイナリ・スパッタ・コード（Kanerva, 1997）上に構築された研究プロトタイプです。認知プリミティブがビット演算として表現できることを示します。これはLLMの代替ではありません――言語モジュールは15文で動作します。しかし、代数は現実で、ベンチマークは計測されており、アーキテクチャは公開されています。

https://github.com/spektre-labs/creation-os

AGPL-3.0。フィードバック歓迎。

submitted by /u/Defiant_Confection15
[リンク] [コメント]