对比学习视角：重新审视推荐系统的召回粗排模型-张俊林

1、 Outline什么是对比学习典型对比学习模型010203对比学习视角来看召回粗排模型 什么是对比学习：渊源与谱系度量学习:Bert:自监督正例拉近，负例推远对比学习对比学习：自监督版本的度量学习？ 什么是对比学习：一个抽象的对比学习系统Loss Function：InfoNCE 什么是对比学习：一个抽象的对比学习系统关键问题：1.正例怎么构造？负例怎么构造？2.映射函数f怎么设计？3.损失函数怎么设计？ 什么是对比学习：典型例子-SimCLR要做L2Norm关键问题：1.正例怎么构造？负例怎么构造？2.映射函数f怎么设计？3.损失函数怎么设计？ 什么是对比学习：怎样是一个不好的对比学习系统？我要我们在一起关键问题：如何防止模型坍塌？ 什么是对比学习：怎样是一个好的对比学习系统？ 什么是对比学习：SimCLR怎么防止坍塌的？Loss Function：InfoNCE通过负例！注意：1.负例越多模型效果越好，请记住这个结论2.温度系数对结果影响很大，通常比较小的数值，0.010.1，为什么？ Outline什么是对比学习典型对比学习模型010203对比学习视角来看召回粗排模型 图像对比学

2、习：Batch内负例-SimCLRHighLights： 双塔结构 Embedding L2 Norm 自动构造正例 In-Batch负例 图像对比学习：Batch外负例-MoCoQuestion:怎样增加负例数量？Momentum： 图像对比学习：基于负例方法谱系相互借鉴，目前的共识：1.网络结构：双塔2.映射函数F: Encoder+Projector3.Encoder越来越复杂 图像对比学习：对比聚类-SwAV Outline什么是对比学习典型对比学习模型010203对比学习视角来看召回粗排模型 重新审视召回粗排模型 更纯正的对比学习 对比学习-图召回 重新审视召回粗排模型：双塔模型-概述优点： 简单 在线ANN检索速度快缺点： User侧和Item侧特征交互太晚 效果不及排序模型三个实践经验决策点： 召回模型负例如何选择 User Embedding和Item Embedding要做Norm? Loss中相似性计算中要带温度超参么？DNN双塔召回粗排模型 重新审视召回粗排模型：双塔模型-负例问题Selection Bias问题召回负例可能做法： In-Batch 负例(Goog

3、le DNN双塔) 全局随机抽样（Youtube DNN） MixIn-Batch负例+全局随机抽样(Google) MixIn-Batch+曝光未点击我们19年做FM召回时的做法DNN双塔召回粗排模型假设我们采取In-Batch负例 重新审视召回粗排模型：Embedding Norm决策点：对User Embedding和Item Embedding要做Norm么？Option1:Inner ProductionOption 2:Cosine经验结果：要做（我们实验过Norm确实效果好一些）From： Sampling-Bias-Corrected Neural Modeling for Large Corpus ItemRecommendationsDNN双塔召回粗排模型为什么？有没有解释？ 重新审视召回粗排模型：温度超参决策点：Loss函数里或者User和Item相似性计算要加入温度超参么？Option1:不加温度超参Option 2:加温度超参经验结果：最好加（我们实验过加温度超参确实效果好一些）From： Sampling-Bias-Corrected Neural Mode

4、ling for Large Corpus ItemRecommendations温度超参的影响为什么？有没有解释？ 重新审视召回粗排模型：其实目前的双塔就是一种对比学习决策点： User Embedding/Item Embedding做Norm Loss带温度超参 In-Batch负例可以把当前的召回模型看作是对比学习系统DNN双塔召回粗排模型 重新审视召回粗排模型：Recap-SimCLRLoss Function：InfoNCE决策点： Embedding做Norm Loss带温度超参 In-Batch负例如果把正例方式换掉图像编码Encoder去掉，我们可以复现出双塔召回模型！ 重新审视召回粗排模型：用对比学习解释经验做法灵魂三问： 对比学习视角：In-Batch负例的作用是什么？ 对比学习视角：温度超参的作用是什么？ 对比学习视角：User Embedding和Item Embedding为何要做Norm？ 重新审视召回粗排模型：双塔模型负例的作用是什么？从对比学习的观点来看： 增强User Embedding和Item Embedding映射到投影空间内的Uniformi

5、ty Uniformity:保留每个实体（User/Item）个性化细粒度信息 Uniformity:防止模型坍塌 推论：Batch Size越大效果越好 重新审视召回粗排模型：温度超参的作用是什么？Loss Function：InfoNCE误分概率：CIFAR10数据：小的温度超参增加数据分布的Uniformity梯度分析：From： Understanding the Behaviour of Contrastive Loss说明了：温度超参可以将Loss聚焦在Hard负例 重新审视召回粗排模型：温度超参的作用是什么？推论：召回模型的温度超参应该也是类似的作用，小的温度超参将优化过程自动聚焦到Hard负例推论：可以再思考下召回模型的随机负例，引入温度超参可能更重要：Easy Example vs Hard Example推论：使用温度超参，其实你不用专门去挖掘Hard Neg ExampleFrom： Understanding the Behaviour of Contrastive Loss 重新审视召回粗排模型：Embedding为什么要做Norm？单位超球面：增加训练稳定性

6、以及线性可分性From： Understanding the Behaviour of Contrastive Loss 重新审视召回粗排模型：搞点新意思 前面我们从对比学习角度来看待双塔模型，并对经验结果做了解释 能从对比学习角度，搞点不一样的召回模型么？ 重新审视召回粗排模型：搞点新意思SENet双塔模型推荐领域使用SENetFrom： FiBiNET: combining feature importance and bilinear feature interaction for click-through rate prediction后续改进：MaskNet: Introducing Feature-Wise Multiplication to CTR Ranking Models by Instance-Guided Mask后续改进：ContextNet: A Click-Through Rate Prediction Framework Using Contextual information to Refine Feature Embedding 重新审视召回粗排模

7、型：搞点新意思正在做的ConCAT模型： User-action-Item:User行为过Item过做正例 User Batch & Item Batch经过DNN 对User Batch & Item Batch聚类，形成类中心(混合聚类vs.分别聚类) Loss-user:某个User embedding要求预测对应Item正例所属的类； Loss-item:某个Item embedding要求预测对应User正例所属的类； Swap Loss:Loss-user+Loss-item 推荐领域版本的SwAVContrasting Cluster Assignment Two-Tower(ConCAT) 思考题：推荐系统有足够多训练数据，好像不需要对比学习吧？用户行为数据分布极度不均匀：长尾分布 更纯正的对比学习：双塔模型-Item侧引入对比辅助LossFeature DropOut版正例：Item Feature Set随机Drop掉一部分From： Self-supervised Learning for Large-scale Item Recommendations 更纯正的

8、比学习：双塔模型-Item侧引入对比辅助LossFeature Mask版正例：Item Feature Set划分为不同子集合From： Self-supervised Learning for Large-scale Item Recommendations 更纯正的对比学习：双塔模型-Item侧引入对比辅助Loss实验结果： 在不同数据集合都有提升 对于数据稀疏场景尤其有效。From： Self-supervised Learning for Large-scale Item Recommendations 更纯正的对比学习：双塔模型-User侧和Item侧同时引入对比辅助LossItem Side Contrastive LossUser Side Contrastive Loss更彻底的对比学习召回粗排模型： Item侧对比学习辅助Loss(Feature Mask or Feature Dropout) User侧对比学习辅助Loss(Feature Mask or Feature Dropout) 应该可以缓解数据稀疏的User/Item对应Embedding质量 正例构造方式：可以有其它技术方案 对于User侧的行为序列：可以引入GNN Contrastive Loss 我们正在尝试这个方案 对比学习-图模型召回：整体结构图User log in在线执行：离线：Item 1Item 2Item 3快速存取（Say:Faiss）快速存取User EmbeddingUserFeatureUser EmbeddingItem EmbeddingGNN模型ItemFeature图模型召回：使用GNN来打Embedding 对比学习-图模型召回：GNN图的构造：用户行为图User/Item Embedding：GCN

《对比学习视角：重新审视推荐系统的召回粗排模型-张俊林》由会员郭**分享，可在线阅读，更多相关《对比学习视角：重新审视推荐系统的召回粗排模型-张俊林》请在金锄头文库上搜索。