[AIの中を覗く] Pythonで作る2歳児生成AI ：小さなコードで見る「生成AIっぽさ」の正体

! TL;DR 2歳児っぽく返事する小さな Python コードを作って遊んでみた。もちろん本物の LLM ではない。しかし、次トークン予測、temperature、top-p、短期記憶、入力の正規化 といった、生成AIをそれらしく見せている柱は、この程度の小さなコードでもかなり観察できる。 本稿では、そのコードを眺めながら、生成AIの仕組みの“最小模型”を見てみる。 1. はじめに 生成AIの仕組みを説明しようとすると、すぐに Transformer や Attention や巨大モデルの話になりがちである。もちろんそれらは重要である。しかし、生成AIを生成AIらしくしている要素...