OCP: 正交制約投影による工業用コモディティ推奨の疎スケーリング

要約: 産業用商品の推奨システムにおいて、アイテムID語彙の表現品質は推奨モデルのスケーラビリティと一般化能力に直接影響します。従来のアイテムID語彙は、スパーススケーリングを受けると低頻度情報の干渉に悩まされ、それが巨大なアイテムセットに対する表現力を制限し、表現の崩壊を招きます。この問題に対処するため、埋め込み表現を最適化する直交制約付き射影法を提案します。直交性を課すことで、射影は逆伝搬の多様体を制約し、学習された埋め込みの特異値スペクトルを直交基底と一致させます。この整合性は高い特異エントロピーを保証し、等方性の一般化特徴を保持しつつ、偽の相関と希少アイテムへの過剰適合を抑制します。実証的な結果は、OCPが損失の収束を加速し、モデルのスケーラビリティを高めることを示しています。特に、全結合層を拡張する際に一貫した性能向上を可能にします。JD.comでの大規模な産業用展開はその有効性をさらに裏付け、UCXRを12.97%増加、GMVを8.9%押し上げる成果を示し、疎な語彙と密なアーキテクチャの双方をスケールアップする際の堅牢な有用性を強調しています。