スクラッチから初めてモデルを作った話

やあ、Crowneliusだよ。あの人気の傑作となった蒸留データセットを作った。

今日は、4,000万パラメータの不正形式のLLMである「SHARD」を紹介する。

今、僕は小さなLLMのシリーズを作っているところで、IoTのタスクのために筋の通ったモデルを動かすことを目標にしている。原子モデルを調べていたら、「Compact AI」と呼ばれるプロジェクトに出会った。それに参加してからというもの、たくさんのことを学び、さらには自分で最初からモデルを作り上げた。

そのモデルはこちらで利用可能：CompactAI-O[HF Organization]

僕のモデル名は「Shard」——「Scamp」と呼んでいる。