[AIの中を覗く] 目で見ることばの揺れ：BERTでたどる意味ドリフト
Zenn / 2026/3/25
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- BERTの埋め込みから、時間や文脈の変化によって語の意味が揺れる「意味ドリフト」を可視化・追跡する考え方を提示している。
- 「目で見る」ことを主軸に、単語（や表現）がどの方向に意味空間上で移動しているかを読み解くアプローチを説明している。
- 意味ドリフトを観測することで、言語の変遷や用途の変化がモデル表現にどう影響するかを理解することにつながる。
- BERTを用いることで、静的な辞書的意味だけでは捉えにくい変化を、モデルの表現空間の移動として扱える点を強調している。
!
TL;DR
同じ文字列「神戸」であっても、BERT の内部では常に同じベクトルとして扱われているわけではない。Transformer 系モデルは、単語を固定的に読むのではなく、前後の文脈を踏まえて毎回その表現を作り直す。BERT はその代表例であり、原論文でも左右両側の文脈に条件づけた双方向表現として説明されている。日本語版 cl-tohoku/bert-base-japanese も、日本語テキストに対して語分割の後にサブワード化を行う BERT 系モデルである。
本稿では、同じ「神戸」という語を対象にして、
独立入力比較
連結系列内の位置比較
文脈を少しずつ変えたときのドリフト...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
