![[P] GPT-2 の対話型 2D および 3D 可視化](https://preview.redd.it/o26kfwnhm8qg1.png?width=140&height=89&auto=webp&s=594d96c3cfbc15a836d8800acd34516a03c55ca4) | 皆さん、GPT-2（124M）の対話型ウェブ可視化を作成しました。以下でご覧ください。 これは、GPT-2のフォワードパス中に抽出された実際のアテンションスコアと活性化を表示します。それは Transformer の基本と kv-caching のような概念を説明する教育リソースとして意図されています！ 3D コンポーネントは Three.js、2D コンポーネントはプレーンな HTML/CSS/JS で作成しました。ご意見・フィードバックをぜひお寄せください！ [リンク] [コメント] |
[P] GPT-2 のインタラクティブな 2D および 3D 可視化
Reddit r/MachineLearning / 2026/3/21
📰 ニュースIdeas & Deep AnalysisTools & Practical UsageModels & Research
要点
- 独立した研究者が、GPT-2（124M）を対象とした、フォワードパス中の実際のアテンションスコアと活性化を表示するインタラクティブなウェブ可視化を構築した。
- この可視化は、3Dコンポーネントに Three.js、2Dコンポーネントにプレーンな HTML/CSS/JS を使用しており、kvキャッシングを含むトランスフォーマーの基本を教えることを目的としている。
- このプロジェクトは llm-visualized.com で公開されており、Reddit のギャラリーリンクが含まれており、作者はフィードバックを呼びかけている。
- この作品は、AIの解釈可能性とモデル内部の可視化を目的とした教育ツールとして機能します。
