GPT-NL Public Corpus：LLM事前学習向けの、寛容なライセンスのオランダ語優先データセット

要旨: 私たちは、オランダ語の言語リソースとして最大規模の、寛容なライセンスの公開コーパスであるGPT-NL Public Corpusを提示します。GPT-NL Public Corpusには、他のいかなるLLM事前学習コーパスにも含まれていない、合計360億（36B）の前処理済みオランダ語トークンからなる、オランダ語のみの収集データ21コレクションが含まれています。さらに、このコーパスには、既存のセットから取得し、適合性（コンプライアンス）を満たすように追加で精査した、およそ207Bの英語、232Bのコード、および48Bのドイツ語/デンマーク語トークンが含まれます。このコーパスには、Common CorpusやCommon Crawlのような大規模既存コーパスからの精査データと、あらたに作成したオランダ語特化のコレクションが含まれています。新規に作成されたオランダ語コレクションの大部分は、組織との協力により収集されたコンテンツ、または合成的に拡張されたコンテンツで構成されています。すべてのデータは、合法的で、有用であり、かつ有害でない（non-harmful）(商用)言語モデルの作成を促進することを目的として、収集および評価されています。GPT-NL Public Corpusに含まれるすべてのデータは、寛容なライセンスを伴うデータセットに由来し、CC-BYライセンスのもとで精査され、再配布されています。完全なデータセットはHugging Face Hub上で公開されています。