WRAP++：Webディスカバリ増幅プレトレーニング

要旨: 合成データの言い換えは、大規模言語モデル（LLM）の事前学習における知識獲得を強化するための強力な手法として注目されている。 しかし、既存のアプローチは単一ドキュメントの水準で動作し、個々のウェブページを互いに独立して書き換える。 このため、合成された例はドキュメント内部の知識に閉じてしまい、ドキュメントをまたぐ関係性が取りこぼされ、事実も関連付けの文脈が限定されたままとなる。 本研究では、WRAP++（Web discovery Amplified Pretraining）を提案する。WRAP++は、ウェブ上のハイパーリンクからドキュメント間の関係を発見し、発見された各ドキュメント対に対して共同のQAを合成することで、事実知識の連想的文脈を増幅する。 具体的には、WRAP++は二重リンクや共同言及を含む高確信度の関係モチーフを発見し、両方のドキュメントにまたがる推論を必要とするQAを合成する。 これにより、単独の情報源ドキュメントのいずれにも存在しない関係知識が生成され、同一の事実への多様な入口が生まれる。 有効なエンティティ対の数は組合せ的に増大するため、この発見駆動型の合成は、単一ドキュメントの書き換えをはるかに超えてデータ規模も大きく増幅する。 WRAP++をWikipediaに適用すると、生のテキスト約84億トークンを、ドキュメント間QAデータの800億トークンへと増幅できる。 SimpleQAでは、WRAP++で学習したOLMoベースのモデルが、7Bおよび32Bの双方の規模で、単一ドキュメント手法を大幅に上回り、スケーリングの改善が持続していることが示される。 これは、ドキュメント間の知識発見と増幅の利点を裏付けるものである。