搜索
天猫推荐业务与算法架构张奇（得福）天猫推荐算法团队张奇（得福）天猫推荐算法团队2013·07·14个人介绍张奇，花名：得福2010年博士毕业于中国科学技术大学2010年博士毕业于中国科学技术大学2010年至2012年，计算广告@阿里云2012.4至今，推荐系统@天猫Search Engine第二部分：user2item第三部分：推荐在天猫的应用Recommendation第一部分：item2itemBegin with浏览了该商品的用户还浏览了Item based Recommendation10hijiijNNNw∩=U1UI1I2I4I5III10h10minU2U3I1I3I5I2I5I6I7ααjiijNNw∩=1U4I3I5ααjiijNN−1浏览（V2V）购买（B2B）∑∩∈−×=)()(2|))(|(wjiIUIUuujuiuijttfW∑∩∈=)()(2ijwjiIUIUuuW浏览（V2V）购买（B2B）∑∑∈∈)(2)(2wjiIUuuIUuuijWW∑∑∈∈)(2)(2ijwjiIUuuIUuuWW∑×niiBA∑∑===×=niiniiiBA12121ji)()()I,TextSim(IItem based 算法效果jijiIIIIJaccard∪∩=∑∑∑∈∈∩∈−×=)(2)(2)()(2ji|))(|()I,CosSim(IjijiIUuuIUuuIUIUuujuiuWWttfWjUV点击率UV购买率点击率*购买率UV点击率UV购买率点击率*购买率Jaccard4.14%2.42%0.100%CosSim4.37%2.45%0.107%CosSim4.37%2.45%0.107%提升比5.53%1.40%7.00%Model 融合算法相似度相似度覆盖范围投票方式覆盖范围文本Model 融合问题行为从不同维度对问题的描述主商品候选集v2bb2bv2v(cf1)v2v(cf2)……targetItem0021051047053ItemItem10.0210.510.47…0.53Item20.490.48Item30.330.453………………Itemn0.580.21Model 融合算法-Machine Learning1（点击）0（未点击）LogisticRegression@MPIgg@Model 融合算法-效果单一CF模型AUC=0.6653融合后模型AUC=0.7835Model 融合算法-效果Item2item算法优化效果（PV曝光价值）Item2item 算法优化效果（PV 曝光价值）对比一淘，平均提升11%新版1（698)一淘(132)一淘(132)老版本(647)对比老版本，平均提升18%201306252013062620130627201306282013062920130630PV总访问支付宝成交金额曝光价值=pvPart-1 小结基础推荐实体关系库基础推荐实体关系库商品关系库品牌关系库专辑关系库活动关系库离线算法系统训练训练数据准备特征计算参数调优训练算法包集群MPI集群Hadoop集群LRMLRLDANMF训练数据准备特征计算参数调优集群MPI集群Hadoop集群Part-2猜你喜欢猜你喜欢????????Personalization-用户购物意图模型类目直接引导购物品牌比较价格比较服务比较同类品牌品牌认知品牌例：某消费者要买ONLY的外套例：某消费者要买冬天穿的外套AC品牌例：某消费者喜欢看ONLY家又上了什么新货例：某消费者只是想逛逛淘宝BCD产品比较逛ONLY家又上了什么新货是品牌活动品牌上新产品陈列各种活动品牌互动Personalization-场景引擎-模型目标：基于用户实时行为和天猫的导购路径结构，判断用户当前的意图意图建模（三维模型）：品牌意图、类目意图、单品意图特征刻画：利用CPV、UIT等数据刻画类目意图类目技术框架：实时数据（全淘宝，秒级别）类目类目明确购物意图明确Clik例：某用户要买优衣库的羽绒服例：某用户要买件羽绒服明确图明确PredictorClick品牌ABDC优衣库的羽绒服一件羽绒服例：某用户又到了每天例行的逛淘宝例：某用户想看看优衣库家又上了Search每天例行的逛淘宝时间优衣库家又上了什么新品逛品牌确Learner逛明确Personalization-场景引擎-PaperMakingRecommendationsBetterTheRoleofUserOnlinePurchaseIntentionMaking Recommendations Better: The Role of User Online Purchase Intention Identification，RecSys2013 Hongkong(Submitted)Random Forrest场景引擎效果离线评估方法Personalization-场景引擎-评估0.7场景引擎效果离线评估方法0.50.6预0.30.4预测准确010.20.3确率算法100.110987654321预测步长user session:场景引擎效果离线评估方法Personalization-场景引擎-评估0.8场景引擎效果离线评估方法0.60.7预0.40.5预测准确算法20.20.3确率算法2算法100.110987654321user session:预测步长算法系统-场景引擎-DEMO8231****Part-3算法组装天猫推荐系统架构@2013之前Detail 给我推荐Detail 给我推荐会员俱乐部推荐会员俱乐部推荐天猫/淘宝首页logo 推荐天猫/淘宝首页logo 推荐图书城推荐图书城推荐业务前端开发前端开发前端开发前端开发前端开发前端开发前端开发前端开发后台数据开发数据开发数据开发数据开发数据开发数据开发数据开发数据开发数据开发数据开发数据开发数据开发数据开发数据开发数据开发数据开发业务特点业务特点业务特点业务特点业务特点业务特点业务开发业务开发问题：业务和算法高度结合高投入、低沉淀高投入、低沉淀天猫推荐系统架构@2013Detail给我推荐Detail给我推荐会员俱乐部推荐会员俱乐部推荐天猫/淘宝首页天猫/淘宝首页图书城推荐图书城推荐Detail 给我推荐Detail 给我推荐会员俱乐部推荐会员俱乐部推荐天猫/淘宝首页logo 推荐天猫/淘宝首页logo 推荐图书城推荐图书城推荐前端匹配层场景引擎用户实时意Ranker装配（参数化）在线实验框架用户实时意图&长期兴趣检索Ranker推荐实体商品推荐品牌推荐专辑推荐同店|跨店相似离线实验框架相似|搭配检索算法用户天猫推荐流程图检索算法用户featuresQP检索重排序展现流量分配CTR 预估索引场景引擎Dump优点：1.算法与业务剥离算法模块化平台化实时偏好长期偏好离线数据运算基础算法2.算法模块化、平台化3.易于算法深入与沉淀运算算法Part-4推荐应用@Tmall天猫推荐业务一览图（PC 端）天猫推荐业务一览图（无线端）推荐对消费者的意义让消费者更容易找到满意的商品UV购买转化率人均点击商品数总体服饰箱包3C数码总体服饰箱包3C数码当日使用推荐的人群当日未使用推荐的人群推荐对卖家的意义让流量的分配更公平（卖家）3C行业店铺内引流效率服饰行业店铺内引流效率引流引流3C行业店铺内引流效率服饰行业店铺内引流效率流流量分布流流量分布Top商品数量Top商品数量推荐搜索总体推荐对天猫的意义15%15%共享共建-阿里集团资源共享MPI 集群&机器学习算法包•LR•MLRUIT数据资源•UIT•TCIF