Mixture of Sequence：テーマ対応ミクスチャー・オブ・エキスパートによる長系列レコメンド

arXiv cs.AI / 2026/4/25

💬 オピニオンDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research

共有:

要点

シーケンシャル・レコメンドはCTR予測の精度を高めている一方で、ユーザーの関心が時間的に大きく変わることで長い系列には無関係または誤解を招く情報が混入しやすいという課題がある。
本論文は長いセッションにおける行動の分析から、「session hopping」という再帰的なパターンを見出し、関心は短い時間範囲（セッション）内では安定するが、セッションをまたぐと大きく変化し、複数セッションを経て再出現することもあると示した。
そこでMixture of Sequence（MoS）を提案し、モデル非依存のMoEアプローチとして、テーマに応じたルーティングでユーザー系列の潜在テーマを学習し、テーマ整合的な部分系列に再編することで、関心シフト由来の誤情報を効果的に除去する。
さらに情報損失の可能性を抑えるため、グローバルな系列特性、短期のユーザー行動、テーマ特有のセマンティクスを捉える3種類のエキスパートによるマルチスケール融合を導入する。
実験結果では、MoSは他のMoE手法よりもFLOPsが少ないにもかかわらず一貫してSOTA性能を達成し、有用性と効率のバランスの良さを裏付けている（コードはGitHubで公開）。

Abstract

シーケンシャル推薦は、動的なユーザ興味をモデル化できることから、クリック率予測において急速に進展してきました。しかし重要な課題は長い系列のモデリングにあります。ユーザはしばしば大きな興味の変化を示し、その結果として、実質的に無関係または誤解を招く情報が大量に混入してしまいます。我々の実証分析はこの課題を裏付けるとともに、長い系列において繰り返し観測される行動パターン（\textit{session hopping}）を明らかにします。すなわち、ユーザの興味は短い時間幅（\textit{セッション}）の中では安定している一方で、セッションをまたぐと大きく変化し、さらに複数のセッションを経た後に再び現れることもあります。この課題に対処するために、我々はMixture of Sequence（MoS）フレームワークを提案します。これはモデル非依存のMoEアプローチであり、ノイズを含む生のユーザ系列からテーマ固有かつマルチスケールの部分系列を抽出することで、正確な予測を実現します。まず、MoSはテーマを意識したルーティング機構を用いて、ユーザ系列に潜む潜在テーマを適応的に学習し、系列を複数の首尾一貫した部分系列へ整理します。各部分系列は特定のテーマに一致するセッションのみを含むため、session hoppingによって生じるユーザ興味の変化に起因する無関係、あるいは誤解を招く情報を効果的にフィルタリングできます。さらに、情報損失の可能性を軽減するために、3種類のエキスパートを活用するマルチスケール融合機構を導入します。これにより、グローバルな系列特性、短期のユーザ行動、そしてテーマに特化した意味パターンを捉えます。これら2つの機構により、MoSは多面的かつマルチスケールな観点から正確な推薦を行う能力を獲得します。実験結果は、MoSが他のMoE手法と比較してより少ないFLOPsしか導入しないにもかかわらず、一貫してSOTA性能を達成することを示しており、有用性と効率性の優れたバランスを裏付ける強力な証拠となります。コードは https://github.com/xiaolin-cs/MoS で公開されています。