自己注意（Self-Attention）の仕組み：QKV、Softmax、行列計算

Dev.to / 2026/6/18

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

Transformerにおける自己注意（self-attention）は本質的に行列ベースの計算であり、各トークンが同一シーケンス内のすべてのトークンと比較して自身の表現を更新できるようにします。
自己注意の基本パイプラインでは、入力埋め込みをQuery（Q）、Key（K）、Value（V）へ射影し、QKᵀで類似度スコアを計算したうえで√d_kでスケーリングし、softmaxで重みを作り、Vの加重和として出力を生成します。
行列として定式化されているため、実装ではトークンごとではなく全トークンを並列に処理でき、Transformerが効率よくスケールする理由になります。
具体例（「I love you」）では、「love」トークンが「I」や「you」と強く注意を向けることで、孤立した単語の意味から文脈を反映した表現へと変わる様子が示されます。
Q/K/Vの分離は直感として重要で、Qは探すものを決め、Kはマッチ可能な内容を定義し、Vは出力へ混ぜ込まれる情報を運びます。

この記事の続きは原文サイトでお読みいただけます。