連載｜生成AIの数理 第1回「次の言葉」を予測せよ ——n-gramからアテンションまで，必然の連鎖——

はじめに 「ChatGPTはなぜあんなに自然な文章を書けるのか」という問いに対して，「大量のデータで学習したから」という答えをよく耳にします．それは間違いではありませんが，本質には届いていません． 大量のデータで何を学習したのか．どのような数学的な仕組みがその学習を可能にしているのか．その問いに答えられるかどうかで，この技術を「使える人」と「理解して応用できる人」の間に大きな差が生まれます． たとえばRAG（検索拡張生成）を設計するとき，埋め込みベクトルの類似度計算が何を意味するかを理解していなければ，なぜ検索が失敗するかを診断できません．ファインチューニングを行うとき，損失関数と勾...