LLMニューロアナトミーIII：LLMは言語ではなく幾何（ジオメトリ）のように考えているらしい

こんにちは、Reddit！

先月、休暇に出かける直前に、LLM Neuroanatomyの連載記事の第3部を投稿しました ️。残念ながら、少し「雑（sloppy）」でした。磨きをかける時間がなかったので、記事を取り下げてRedditの投稿も削除しました。

週末の間に、記事を改訂し、Gemma-4 31Bの結果も追加しました！また、Gemma-4-31B-RYS（解析は一晩かかります）も仕上げていて、今週はQwen3.6-35B-RYSもリリースします。

さて、もしこの連載を追いかけてくれているなら、パートIIで私が「LLMは普遍的な言語で考えているように見える」と言ったのを覚えているでしょう。あれは、中国語と英語を比較する小さな実験でした。今回は、さらに踏み込みました。

TL;DR TL;DR:

面白い新しい手法を使うことで、LLMが概念をベクトルとしてどう整理しているかを見ることができます。複数の概念を複数の言語で比較する、というクールな小技によって、トランスフォーマのスタックのどこで、LLMが「言語（読んだ／書いた言語）」なのか、それとも「実際のトピック」なのか、その観点で考えているのかが分かります。

Sapir-Whorf仮説は、言語が「考えられること」を形作る、というものです。ブログのデータは、（LLMについては言っていますが、人間については今は主張していません）言語はただのI/Oで、考えが起きるのは中間層であり、概念に関するベクトルとして表現されている、ということを示しています。

ブログを（私が知っている限り）読まない人向けのTL;DR：

1. 実験を2言語から8言語（EN, ZH, AR, RU, JA, KO, HI, FR）へ拡張し、4種類の異なるモデル（Qwen3.5-27B, MiniMax M2.5, GLM-4.7, GPT-OSS-120B, Gemma-4 31B）にわたって実施しました。5つすべてが同じことを示しています。 中間層では、ヒンディー語での光合成に関する文は、ヒンディー語での料理よりも、日本語での光合成に近いのです。言語の同一性は基本的に消えています！
2. 次に、より難しいテストをしました。英語の説明、Python関数（変数は1文字のみ。変数を「velocity」と呼ぶことでの不正はなし）、そして同じ概念に対応するLaTeXの方程式を用意しました。½mv²、0.5 * m * v ** 2、そして「質量の半分に速度の二乗を掛けたもの」は、モデルの内部空間の同じ領域へ収束し始めます。
3. これは、5つの異なる組織の、密なトランスフォーマとMoEアーキテクチャの両方で再現されます。Qwen固有の話ではありません。学習のアーティファクトというより、収束した解のように見えます。
4. 記事では、これをSapir-Whorf（言語が思考を形作る → いや、これらのモデルでは違う）とChomsky（普遍的な深い構造 → はい。ただし文法ではなく幾何学です）に結び付けています。この手のオタクっぽい話が好きなら、議論を気に入るかもしれません…。

実際にいじれるインタラクティブなPCA可視化付きのブログ：https://dnhkng.github.io/posts/sapir-whorf/

コードとデータ：https://github.com/dnhkng/RYS

RYSの件については——TurboDerpと、ゼロVRAMオーバーヘッドでの層複製のためのExLlamaV3のポインタベース形式についてまだ話しています。ETAはまだありませんが、進んでいます。

もう一度言いますが、Widgetをいじってみてください！本当にすごいです。約束します！