[P] トランスフォーマーにおけるトークンレベルの活動の可視化

私は、LLM推論の3Dビジュアル化を試してきました。ノードは注意機構の層、FFN、KVキャッシュなどの構成要素を表します。

トークンが生成されると、活性化パスがネットワーク全体を横断してアニメーションし（稲妻の鎖のような感じ）、ノードの強さは活動を反映します。

推論プロセスをより直感的に感じられるようにすることが目的ですが、この抽象化がどれだけ正確で有用かは自信がありません。

ここでの皆さんはどう思いますか — この種の可視化は直感を養うのに役立つのでしょうか、それとも実際に起きていることを過度に単純化してしまうのでしょうか？