当当_鞠奇_大数据应用中的算法如何创造商业价值

互联网新技术在线教育领航者LOGO大数据应用中的算法如何创造商业价值?鞠奇12.17互联网新技术在线教育领航者2013.4意大利TRENTO大学博士IT技术男乒乓球管理，历史2013.6当当网算法研究员2014当当网算法团队负责人互联网新技术在线教育领航者算法技巧算法架构算法创造价值算法流程……互联网新技术在线教育领航者提纲•“最佳拍档”关联规则算法的优化•基于语义的新品推荐•评论排序对于用户购买的影响互联网新技术在线教育领航者“最佳拍档”关联规则算法的优化•“最佳拍档”中的关联规则•问题发现与分析•效果空间预估•算法改进•效果的衡量•ROI分析•案例启示算法流程互联网新技术在线教育领航者最佳拍档互联网新技术在线教育领航者关联规则321互联网新技术在线教育领航者•是否关联？（共同出现的订单数K）---支持度•关联强弱？（K越大，越强）---置信度关联规则互联网新技术在线教育领航者•是否关联？（共同购买次数K）---支持度–K值小：…增加运算，意义不大…存在问题（1）互联网新技术在线教育领航者•是否关联？（共同购买次数K）---支持度–K值大：候选池不足，未满足“小众”存在问题（1）互联网新技术在线教育领航者真的具有相同的关联值吗？？关联规则：任意订单里的商品对都具有相同的关联权重：1=存在问题（2）互联网新技术在线教育领航者存在问题（3）相同关联值？热销书，关联图书种类过万专业书，关联图书种类数十=BOOK互联网新技术在线教育领航者存在问题（4）满300免100IT屌丝男老婆怀孕历史？我的意图偏好是这样的吗？互联网新技术在线教育领航者问题小结•算法适应性：支持度K值取值问题；•商品特点：关联商品的热度•订单特点：订单件数•用户行为：意图混淆Apriori算法大单互联网新技术在线教育领航者大单案例（1）共同购买次数21515712090(4件)订单占比52.1%48.7%85.7%50%互联网新技术在线教育领航者大单案例（2）共同购买次数288122694947(4件)订单占比0.3540.4920.8660.6720.319原来都是“大单”惹的祸=3件单数占比0.5420.3280.0720.1430.511互联网新技术在线教育领航者大单统计28%*42.94%=12.02%2倍(1)大单占比：28%28%/(1-33.5%)=42.1%(2)大单总份额：2013Q4:互联网新技术在线教育领航者问题总结与分析•关联规则支持度门槛K值的选取–过小：计算复杂–过大：未满足“小众”•关联商品的热度（热销商品）•订单件数•用户意图的模糊收益推荐商品的好坏运算用户体验互联网新技术在线教育领航者问题分析•余下的三个问题，该如何解决，哪一个该优先解决？商品关联权重优化，意图分解等互联网新技术在线教育领航者互联网新技术在线教育领航者？互联网新技术在线教育领航者“最佳拍档”关联规则算法的优化•“最佳拍档”中的关联规则•问题发现与分析•效果空间预估•算法改进•效果的衡量•ROI分析•案例启示互联网新技术在线教育领航者效果空间预估•理想输出：经过推理和评估能够达到的最优程度；•实际输出：现实产出，通过获取历史已有数据得到；•预估产出=理想输出–实际输出。互联网新技术在线教育领航者CTR最大空间预估•理想情况CTR–统计单品4个推荐位置的CTR分布；–挑选推荐好的部分样本，统计单品4个推荐位置的CTR分布；•按照图书单品pv，销量大小分为三类：–A：高；–B：中；–C：低。•每一类的图书在“最佳拍档”对应4个位置的CTR分布不同；互联网新技术在线教育领航者理想CTR各位置分布4.005.006.007.008.009.0010.0011.0012.0013.0014.001234CTR(%)pos-XA:高B:中C:低互联网新技术在线教育领航者效果空间预估•计算实际图书样本在这4个位置的历史CTR；•理想CTR和历史CTR的差距就是可以提升空间。互联网新技术在线教育领航者理想vs.现实4.005.006.007.008.009.0010.0011.0012.0013.0014.001234CTR(%)pos-XA:高样本124互联网新技术在线教育领航者最大空间预估•直观上，ctr提升空间为：•当时预估空间：–uv，pv：增加12~15%；–推荐订单件数占比增加在120%左右；411,Aijij411,Bpqpq411Cxyxy()互联网新技术在线教育领航者“最佳拍档”关联规则算法的优化•“最佳拍档”中的关联规则•问题发现与分析•效果空间预估•算法改进•效果的衡量•ROI分析•案例启示互联网新技术在线教育领航者问题1：支持度K值取值问题•分治法：–按照销量，uv，pv等热度分解成–高，中，低三档；–每一档确定不同的K值。互联网新技术在线教育领航者问题2：订单件数思考：共同购买商品的关联权重要结合同订单其他商品件数bnaiiiieweight2,12111,互联网新技术在线教育领航者问题3：关联商品的热度思考：共同都买的商品的关联权重还要考虑与其关联的商品种类数。2211log,iiinN互联网新技术在线教育领航者问题4：用户意图混淆思考：用户意图到底是什么呢？哪些是他偏向于一次购买的？|)(|12121,iiiittf)(2121,,iiiish或者互联网新技术在线教育领航者商品关联权重22,12121212121211log)11|)(|1(,,,,,ibnaiiiiiiiiiiiinNettfYWTrii综合以上三个策略，任意两个商品的关联权重为：21,ii互联网新技术在线教育领航者“最佳拍档”关联规则算法的优化•“最佳拍档”中的关联规则•问题发现与分析•效果空间预估•算法改进•效果的衡量–上线前：Debug工具–上线后：ABtest系统•ROI分析•案例启示互联网新技术在线教育领航者上线前：Debug工具•打印中间结果–共同出现订单的情况；–关联权重计算的细节；–权重的综合；•检查中间开发结果，检验是否和预期算法效果是否一致•根据中间结果数据实时微调算法参数互联网新技术在线教育领航者上线前：衡量指标•“最佳拍档”点击率–pv点击率–uv点击率•点击转化率–该推荐模块参与订单的占比；互联网新技术在线教育领航者ABtest-pv点击率2.002.202.402.602.803.003.203.403.603.8018202224262830pvclickrate(%)March-XA:originalB:new10%互联网新技术在线教育领航者ABtest-uv点击率6.006.206.406.606.807.007.207.4018202224262830uvclickrate(%)March-XA:originalB:new9%互联网新技术在线教育领航者ABtest-订单件数占比2.602.803.003.203.403.603.804.0018202224262830订单件数占比(%)March-XA:originalB:new100%互联网新技术在线教育领航者整体横向对比—pv,uv买了又买最佳拍档买了又买最佳拍档互联网新技术在线教育领航者整体横向对比—订单件数占比买了又买最佳拍档看了又看购物车中间页=最佳拍档+买了又买互联网新技术在线教育领航者理想vs.现实（Cont.）•理想:•现实：•uv：9%，pv：10%•推荐订单件数占比：100%8折互联网新技术在线教育领航者“最佳拍档”关联规则算法的优化•“最佳拍档”中的关联规则•问题发现与分析•效果空间预估•算法改进•效果的衡量•ROI分析•案例启示互联网新技术在线教育领航者“最佳拍档”-ROI分析这个我灰常喜欢！用户体验大幅提升！互联网新技术在线教育领航者“最佳拍档”-ROI分析预计全年销售额贡献过千万！这次必须给你们涨工资！互联网新技术在线教育领航者“最佳拍档”关联规则算法的优化•“最佳拍档”中的关联规则•问题发现与分析•效果空间预估•算法改进•效果的衡量•ROI分析•案例启示互联网新技术在线教育领航者案例启示---“落地”角度•“接地气”–算法本质的理解–从业务视角出发剖析算法模型–算法和数据的亲密融合互联网新技术在线教育领航者案例启示---产出角度空间预估：哪有水ROI：从哪挖问题：挖水产出：取水算法流程互联网新技术在线教育领航者“最佳拍档”关联规则算法的优化•“最佳拍档”中的关联规则•问题发现与分析–数据+算法融合角度–Badcase实例印证•效果空间预估•算法改进•效果的衡量–上线前：Debug工具–上线后：ABtest系统•ROI分析•案例启示&下一步尝试