大数据分析挖掘技术在电商的应用-黄晖

上海天律信息技术有限公司•应对大数据：方法与趋势2•大数据分析挖掘技术3•大数据分析与电商应用上海天律信息技术有限公司：公有云上海天律信息技术有限公司阿里云ODPS(OpenDataProcessingService)2010年2月第一版上线集团内部生产机群规模18000台机器单存储和计算机群最大规模5000台机器日均处理3000万个作业请求，20万个计算任务日均读3PB，写1PB数据；日均上传450TB，下载50TB数据服务淘宝、支付宝、阿里金融等多项集团内部业务支持淘宝贷款、数据模型、聚石塔等多款产品目前处于公测阶段，今年2季度正式商用：自建分布式平台硬件：PC服务器集群（Google：百万台服务器）软件：Hadoop（分布式操作系统，管理服务器群）HDFS（分布式文件系统）MapReduce（分布式管理系统）Hbase、Cassandra（分布式数据库）Hive(云端数据仓库）Spark（云端内存计算）Markway（分布式分析挖掘）PigLatin（分布式数据处理语言）Chukwa（分布式数据采集）ZooKeeper（分布式协同工作和安全管理）应用：开店、存储、Email、OA、ERP、SCM、BI等等：虚拟化集群硬件：异构硬件的整合，大型机、小型机、PC机等等软/硬件分离：一个硬件运行多个不同操作系统服务器虚拟化：在一台物理服务器上创建出多台虚拟服务器系统虚拟化：在一台物理机上同时运行多个操作系统数据库集群：多种或单种关系型数据库集群应用虚拟化：将应用程序与操作系统解耦合，为应用程序提供一个虚拟的运行环境特点：存储虚拟化、桌面虚拟化、应用虚拟化VHCIVPNVirtualServerVirtualStorage其他系统ERPCRM：内存计算1.加速数据访问：比磁盘快1,000,000倍“到2012年，70%的全球1000强企业会将明系数据导入内存，以提升商务智能应用的性能。”-Gartner传统数据库磁盘读取：5毫秒内存数据库磁盘读取：5纳秒二、大数据分析挖掘：马克威分布式算法、传统分析挖掘引擎计算中…等待计算等待计算………分析挖掘引擎数据源无法应对大规模数据的挑战无法利用多台机器资源无法分析Internet数据源瓶颈：……2、分布式分析挖掘引擎分布式数据源阿里云ODPSHadoop马克威云挖掘引擎亿条记录，68个变量25秒-5分钟100台736176亿条记录，68个变量（3T）36秒-30分钟100台11708基于阿里云飞天平台基于Hadoop/MapReduce、支持TB/PB级数据分析挖掘可视化工作流操作模式基于WEB服务的B/S架构3、马克威云挖掘系统上海天律信息技术有限公司马克威云挖掘算法体系上海天律信息技术有限公司马克威可视化工作流操作界面上海天律信息技术有限公司企业：阿里巴巴、余额宝、中信21世纪、国家电网、中国核电集团、上海宝钢集团、武汉钢铁集团、中国海运集团、中国远洋集团、海南航空、上海电信、中国移动（江苏）、重庆百货、上海广电集团、华氏医药等等政府：国家统计局、国家海关总署、2010上海世博会、中国人民解放军总参谋部、国家水利部、北京市发改委、上海市发改委、北京市统计局、上海市统计局、广州市统计局、福建省统计局、海南省统计局、云南省统计局、上海市公安局、上海市卫生局、上海市信访办、上海嘉定区政府、上海静安区商委等等高校：华中科技大学、南京财大、中南大学、江西财大、上海金融学院、上海中医药大学、中央民族大学、新疆财大、解放军信息工程大学、东华大学、南京林业大学、山东曲阜师大、成都信息工程大学、哈尔滨理工大学、青岛理工大学、天津商业大学等等4主要客户总量与构成趋势变化关联分析预测预警上海天律信息技术有限公司描述统计、频率分析、时间序列、小波理论、比较聚类、回归、二值逻辑、关联规则、决策树神经网络、支持向量机、面板模型、贝叶斯网络三、大数据挖掘技术在电商的应用总量与构成上海天律信息技术有限公司客户构成：地区、购买金额、频次、客单价销量构成：品类数量结构销售额构成：收入与品类贡献占比利润构成：商品、客户对利润的贡献率点击率和转化率：点击客户数，转化客户数客户地区构成(31%)(13%)(22%)(12%)(5%)(10%)(7%)华东华南华中华北西北西南东北上海天律信息技术有限公司交叉分析客户价值分析：谁贡献了多少销售额与客户购买额分组：销售总额*客户购买额分组单位：万元购买额本组占比本组客户价值（万元）客户平均价值(万元)《=19%9061--516%180216--1040%4003211-2018%2101721-5012%13013350-10010%108133》1005%52140上海天律信息技术有限公司搭配销售使用算法：关联分析、趋势与对比发展曲线：销售额的趋势销量趋势：品类点击率和转化率的趋势客户人数的趋势波动规律：周期性：30天、60天、75天、、、小波、大起大落周变化规律、月、季度节假日变化规律上海天律信息技术有限公司价格趋势上海天律信息技术有限公司星期一星期二星期三星期四星期五星期六星期日•客户行为聚类2•客户价值分析3•客户忠诚度分析上海天律信息技术有限公司•新产品与销量4•促销与销量•广告与销量56单位：天单位：万元单位：天单位：万元单位：万元单位：万元单位：万元单位：次类人数占比类114495.56%类22363.42%类34945681.40%类4544210.62%。具体分类为：客户类型I：价值高、购买频率高客户类型II：价值低、购买频率高客户类型III：价值低、购买频率低客户类型IV：价值高、购买频率低客户价值聚类与分析上海天律信息技术有限公司客户价值聚类分布示意图上海天律信息技术有限公司•客户流失预测2•销量预测3•库存需求预测上海天律信息技术有限公司•新产品客户响应率预测4预测：客户流失上海天律信息技术有限公司18.88%14.25%21.85%27.48%10.00%12.00%14.00%16.00%18.00%20.00%22.00%24.00%26.00%28.00%30.00%一季度二季度三季度四季度预警上海天律信息技术有限公司重大事件分析：双十一库存预警竞争对手行动客户----------------------------------客户数：总申购额：总赎回：消费金额：新客户-----------------------------------户数：总申购金额：总赎回金额：账户总余额：老客户-----------------------------------客户数：总申购金额：总赎回金额：账户总余额：参加-------------------------------客户数：总申购金额：总赎回金额：账户总余额：未参加----------------------------------客户数：参加-----------------------------------客户数：总申购金额：总赎回金额：账户总余额：未参加----------------------------客户数：流失---------------------------------客户数：占新客户比重：占总客户比重：未流失-------------------------------客户数：占新客户比重：占总客户比重：流失------------------------------------客户数：占老客户比重：占总客户比重：未流失------------------------------------客户数：占老客户比重：占总客户比重：参加双十一活动客户分类分析结果展示订单全链路分析上海天律信息技术有限公司已拍下待付款订单已下载已转单已客审已财审已通知配货待配货已打拣货单已打发货单已打物流单已拣货已发货在途中已签收交易成功（已结束）已关闭已验货已打包已称重已出库订单全链路TaobaoERPWMSTaobao订单全链路分析上海天律信息技术有限公司件数、时间、对比件数、时间、对比件数、时间、对比已发货待配货已转单已拍下件数、时间、对比件数、时间、对比交易成功或已关闭上海天律信息技术有限公司通过子订单全链路的数量变化，帮助商家实时掌握子订单的状态信息，点击下钻可查看详情。点击可查看子订单详情订单全链路数量统计上海天律信息技术有限公司地址：上海市浦东新区浦建路145号强生大厦1003室电话：[phone]传真：[phone]谢谢！