レコメンデーションシステムにおける超長系列学習のためのバージョン付きレイトマテリアライゼーション

概要: 現代の深層学習レコメンデーションモデル（DLRM）は、系列長に関するスケーリング則に従い、その結果として最先端は、超長いユーザー・インタラクション履歴（UIH）へと押し広げられている。しかし、業界標準の「Fat Row」パラダイム、すなわちこれらの系列をすべての学習サンプルに対して事前に具体化（pre-materialize）する方式は、記憶（ストレージ）と入出力（I/O）の壁を作り出す。そこでは、データ冗長性が増幅されるため、マルチテナント環境では、必要とする系列長が大きく異なるモデル同士がユニオン（統合）データセットを共有しているにもかかわらず、データ・インフラの利用量がGPUによる学習能力を上回ってしまう。私たちは、この冗長性を排除する
\emph{バージョン付きレイトマテリアライゼーション（versioned late materialization）}
パラダイムを提案する。これは、UIHを正規化された不変（immutable）な階層に一度だけ保存し、軽量なバージョン付きポインタによって学習中にタイムリーに系列を再構築することで、冗長性を解消する。さらに本システムは、ストリーミング学習とバッチ学習の両方において将来データの漏洩（future leakage）を防ぐ分岐したプロトコルにより、オンラインからオフライン（O2O）の整合性を保証する。加えて、読み取り最適化された不変ストレージ層は、ヘテロジニアスなモデル・テナントに対して多次元の射影プッシュダウンを提供する。パイプライン化されたI/Oプリフェッチとデータ親和性（data-affinity）の最適化を伴う分離型のデータ前処理（disaggregated data preprocessing）により、学習時の系列再構築に伴うレイテンシを隠蔽し、学習スループットをGPUによる計算（compute-bound）に保つ。プロダクションのDLRMにデプロイされた本システムは、学習データ・インフラのリソース使用量を削減しつつ、系列長の大胆なスケーリングを可能にすることで、顕著なモデル品質向上をもたらす。さらに、本システムはHSTUおよびULTRA-HSTUを含む、現代のレコメンデーションモデル・アーキテクチャのための基盤となるデータ・インフラとして機能する。