![[P] LMのアーキテクチャとデータフローをQサブスペース投影で視覚化](https://preview.redd.it/7x4m36sy7mqg1.png?width=140&height=133&auto=webp&s=bf27ffc3dbeba2a9f1cf3fd170806470d9001ba1) | やあ、みんな。めちゃくちゃ楽しいことをやった。黒魔術とヴードゥーを使って、モデルから MRI のようなかなりクールな画像を抽出できた。私は何かを断言するつもりはない。いくつか仮説を持っている…それは主に、それがただ美しく、心を惑わせるからだ。 LMの構造の構造を3Dボリュームで視覚化する方法を見つけた。 アイデアの要点を速送りで示したGistリンクはこちら。 いくつかの画像： 現時点では、対話型HTMLをアップロードできる場所を探しています。何か知っていることがあれば教えてください。リンクします。さまざまな角度からそれらを眺めるのは非常に魅力的です。 これから生まれる媒介面もかなり興味深いです： これは“loss landscape”の多くの解釈の1つだろうか。 [リンク] [コメント] |
[P] Qサブスペース射影を用いたLMのアーキテクチャとデータフローの可視化
Reddit r/MachineLearning / 2026/3/23
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 投稿は、Qサブスペース射影を用いて言語モデルのアーキテクチャとデータフローを可視化する試みを説明しており、モデルの内部構造をMRIのような一瞥として提示しています。
- 著者が『structure of structure structures』と呼ぶものの3Dボリューム可視化を示し、アイデアの要点を手早く要約した概要を提供します。
- Prisma、Qwen3.5-0.8B、HuggingFace SmolLM-360M、RWKV-4-430M、およびstate-spaces/mamba-370m-hfといった複数のモデルの画像が共有され、モデル間のアーキテクチャのビューを示すための横断的な比較が示されています。
- 著者はインタラクティブなHTML可視化をホストする場所を探しており、『メディエーター・サーフェス』が損失ランドスケープと関連している可能性があると指摘しています。
- 全体として、この投稿は探索的であり、公式な発見やリリースを発表するものではなく、意見や提案を求めています。
