多言語 TinyStories: 小型言語モデルを訓練するための、インド系児童向け物語の合成組み合わせコーパス

要約: 低資源言語の堅牢な言語モデルの開発は、高品質で一貫性があり、かつドメイン適切なトレーニングコーパスの不足によってしばしば妨げられます。
本論文では、17のインドの言語を網羅する大規模で合成生成された児童向け物語データセットである Multilingual TinyStories データセットを紹介します。
Small Language Models（SLMs）の訓練と評価のために設計されたこのコーパスは、母語の文字体系に厳密に限定された、シンプルで物語性のあるテキストを提供します。
私たちは、ネイティブ生成のための新しい組合せ型プロンプトエンジニアリングフレームワークと、ネイティブ生成を支援する Sarvam-M 言語モデルを活用したハイブリッドなキュレーションパイプラインを詳述し、広範な大規模な多言語展開のために Google Translate API を併用します。
厳格なプログラム的フィルタリングを通じて、リリースには132,942件の物語と9300万を超えるトークンを含み、インド系言語圏における多言語言語モデリングと転移学習の基盤資源として機能します。