- https://huggingface.co/SII-GAIR-NLP/davinci-llm-model

概要

daVinci-LLM-3B は daVinci-LLM: Towards the Science of Pretraining によって提示された、3Bパラメータの基盤言語モデルです。このプロジェクトは、事前学習プロセスを透明で再現可能な科学的取り組みにすることを目指しています。

私たちは最終的な重みだけでなく、学習の軌跡、途中チェックポイント、データ処理の判断、さらに200件以上のアブレーション研究（データ品質、混合設計、学習ダイナミクス、評価の妥当性を含む）も公開します。

• GitHub: GAIR-NLP/daVinci-LLM
• 論文: arXiv:2603.27164
• データセット: davinci-llm-data

このモデルは約8Tトークンにわたる2段階のカリキュラムに従います：

• ステージ1（6Tトークン）: 多様なWeb規模のコーパスに対する広範な事前学習。
• ステージ2（2Tトークン）: 数学およびコード推論を強化するための、構造化されたQAと推論中心のデータ。