重排序在快手短视频推荐系统中的演进

1、 重排序在快手短视频推荐系统中的演进渠江涛社区科学部 2021/12/18 目录、快短视频推荐场景介绍、序列重排三、多源内容混排四、端上重排五、QA 快手短视频推荐场景介绍 快手短视频国内领先的短视频和直播社区，日活3亿+巨大的流量入口复杂的业务形态：十余种业务形态海量的交互数据复杂的技术场景 主要技术环节重排技术LTR多目标多源内容混排端上重排模型端上重排策略序列重排多样性召回粗排精排云端手机端 重排目标重排阶段处理的问题包括：整个序列的价值并非是单item效果的累计。如何序列价值最大沉浸式场景中，什么是好的多样性体验，业务意志如何提现同一个场景下越来越多的业务参与其中，如何恰当的分配流量和注意力达成业务目标和整体最优如何更加及时，更加细微的感知用户状态，及时调整我们的推荐策略和内容 序列重排 序和上下文影响1、不同上下文对当前 item照成的影响不同。好的序列表现：每一条的播放完成度很高整个序列的正向交互程度很高2、相同的内容不同的序效果不同。高粘性，有持续动作能够在内容上续贯属性 序列重排的目标传统方案缺陷：1、精排单点打分缺少当次其他内容的信息。单点的预估存在不准确的问题2、贪

2、心的打散方案只能解决内容散度的问题，缺少局部最优到整体最优路径3、mmr，dpp等是在优化目标上加入散度项并非是序列表现最佳。目标：1、需要有transform或者 LSTM把上游内容信息融入到当前内容信息中。序列信息提取模块2、优化的目标为序列表现情况，而不是单item的表现。 序列评价识别出好序列3、需要有持续发现好排列模式的能力。具有探索能力的序列生成 序列重排架构序列重排整体结构采用了 generator-evaluator范式 generator从top50中生成模式丰富的序列类型。 evaluator评价召回的序列整体价值 序列生成beam search考虑位置的beam search策略 / 模型建模position bias，输出候选集基于位置的概率矩阵。顺序的生成每个位置的视频。每个pos根据前序的item选择最优的topk 序列生成多队列权重多队列权重组合参数搜索+剪枝多队列权重组合搜索，看作是局部最优边界的采样。实验组透出的扰动能够让Evaluator学习到用户对不同队列权重组合的偏好。 序列播放时长的 x分位点 Label 2是否有下一刷 Label 3互动是否

3、大于平均水平list维度的信息提取：采用tranformer结果有效提取list信息。单向tranformer结构更加符合快手信息流的使用场景，item只受上游视频影响 多内容源混排 混排目标混排之前，业务是通过固定位置的形式来固定获取流量。平台提供给各个业务的流量既和当前流量对业务的价值无关，也和业务当前能为用户提供的价值无关。问题：1、用户角度，偏好的业务和非偏好业务等频率出现。2、业务方角度，流量中既有偏好的用户也有非偏好的用户降低了业务服务效率。3、平台角度，资源错配导致了浪费。混排问题：将各个业务返回结果恰当的组合，得到社会综合价值最大返回序列。 混排定义及base方案贪心方案(参考LinkedIn)：Algorithm 1: base mix1: Input: organic content 2 345 7489 : !,!maxmize :;- =- A #2: ads 2 345 7489 : 3: input: min gap M, shadow bid 4: output: Merged list L of organic content and ads2!5: w

4、hile i : and j M and = + + +)8: else!9: L.append(2 4 + +)10: endif0 ; 111: end while!12: while 4 00,MN,M 混排演进过程base方案的问题：目标：最大化营收，而不是综合价值最大。 listwise方案中，序列评价分既有体验指标也有营收指标单一item价值，不随上下文的改变而改变。 listwise方案中，对单item的指标重预估认为广告对用户后续体验，留存等无影响。 RL方案中，在不同的刷次选用不同策略达到session维度最佳组合优化RL方案贪心算法List wise方案Wholepage价值最大单item价值最大Session序列价值最大定坑 混排listwise方案序列生成score_0MLPscore_1MLPscore_5MLPevtr_0ctr_0ltr_0evtr_1ctr_1ltr_1启发式规则 +剪枝重预估模型MLPMLPemb_0emb_1emb_5top_emb_0top_emb_1监督学习模型，评价广告在不同位置上下文的情况下，ctr，cvr等指标，以及对自然结

5、果的影响Feed Froward NetworkMulti-Head Self AttentionTransformerKeyMulti-Head Target AttentionQuery+Valuepos_embpos_embpos_embemb_0emb_1emb_5emb_0emb_1模型结构：pidxtrtagemp_cntuidaction_listiidcidpidemp_cntuidaction_list Context信息提取模块跨域转换模块pos_0pos_1pos_5ad_0ad_1向量拼接+向量加法当前刷次短视频当前刷次广告多任务重预估模块 混排RL方案State space S：状态s表示在t时刻用户状态，包括曝光list，RL优势：根据当前状态，选择最佳的策略，达到长期体验和近期收入平衡。!广告交互list，内容交互list，当前上下文信息，本刷的内容。Action space A：a =(1,+, -+1,(2,+, -+2,/01,+, -+3,/02,+, -+4 .广告业务要求ad1和 ad2要求保序，fan3和 fan4要求保序，ad2ad loc

6、有gap要求，fans之间有gap要求，ad和 fans有gap要求 loc为0代表不放置a = (1,4,(2,0,/01,7,/02,0Reward R: = ()*#$ = -BC + D, 0EF + EGH#$%&Trans pro P:状态转移概率Discount factor：I-IKCG + interactor()* = N 1 FIO0 +GPG 混排RL方案Duel Dqn优化目标：Q1 QnQ R = S+,#,-,+.% OI U F I IRVmlpA network (parameter share)Where OI = S+.% I + CV#.%U FI + 1,I + 1;R FI, ImlpmlpAlgorithm 1 Off-policy Training1: Get Offline data D = (st,a,r, st+1). (generated by online policy)2: Init value function Q with random weights3: for session = 1, M doscoresscoresTranfom layer4:5:6:7:for t = 1, T dosample batch data ( s, a , r , s) form Dupdata by min L重预估模型end for8: end forAd actionlistrecoaction listBrowserlistUsera1an 端上重排 端上重排目标端上要解决的问题：实时感知，用户反馈信号感知延迟实时反馈，分页请求场景下，下次请求前无法即时调整当前推荐内容千人千模，更加极致的个性化推荐算力分配，灵活的pagesize，可以在算力紧张的时候，动态决定服务端请求频次，提升算力经济性。 端上重排整体框架服务端客户端端上整体架构：端上策略库重排端上模型推理服务分页请求端上模型推理端上策略库精排粗排召回视频特征用户特征特征管理服务推荐视频及特征反馈行为候选视频离线日志及训练用户行为DBBufferOnlineOffline日志上报样本拼接上传CDN模型训练导出端模型 端云混合模型端上特有实时反馈的有效表达scoreEdge Netuser

《重排序在快手短视频推荐系统中的演进》由会员郭**分享，可在线阅读，更多相关《重排序在快手短视频推荐系统中的演进》请在金锄头文库上搜索。