大数据在电商的应用（PDF47页）

大数据在电商行业的应用概要大数据的基本概念大数据价值体现大数据的价值挖掘与结果展示大数据对电商影响大数据应用难点分析电商大数据挖掘方向／方法电商应用场景分析大数据平台技术架构大数据应用展望大数据基本概念1.什么是大数据？Volume(大量)Velocity(速率)Variety(多样)Value(价值)Veracity(真实性)大数据基本概念2.技术概念－逻辑处理大数据价值体现大数据价值记录——情景辅助，操作基础备份和监督——情景复原，责任追究预测——情景研究，系统优化纠偏——情景指引，方向微调大数据价值体现大数据创造价值的三个关键点人际关系人口统计信息金融行为和交易下单记录社交媒体差旅行为存款账户信息贷款信息投资理财家庭拥有的房产跟住所消费与购买数据占有数据分析价值实现数据收集数据存储管理数据分析与挖掘结果展示•用户数据•浏览数据•Search数据•交易数据•评价数据•支付数据•结构化，非结构化，半结构化数据•分布式文件系统•分布式数据库(关系型，NoSql)•云存储•实时流处理•分类•聚类•特征•Web页挖掘•机器学习•人工智能•神经网络•自然语言分析•标签云•聚类图•空间信息流•热图大数据数据挖掘数据挖掘，数据分析－过程方法，大数据的价值密度低，为了要找到金子，我们需要存储整座金矿沙大数据数据挖掘与展示结果展示－标签云(CloudTag),标签云是一套相关的标签以及于此相应的权重，权重影响标签的字体大小，颜色，或其它视觉效果。用以表示一个网站中的内容及热门程度。大数据数据挖掘与展示结果展示－聚类图(ClusterGram),是指用图形方式展示聚类分析结果的技术，可以有助于判断簇数量不同时的聚类效果大数据数据挖掘与展示结果展示－空间信息流(SpatialInformationFlow),是展示信息空间状态的一种可视化技术大数据数据挖掘与展示结果展示－热图(HeatMap),是一项数据展示技术，将变量值用不同的颜色或高亮形式描绘出来。可以非常直观的展示一些原本不易理解或表达的数据，比如密度，频率，温度等大数据对电商影响数据为王正在来临的大数据时代，数据成了驱动业务增长的关键，谁掌握了数据，谁就掌握了竞争优势大数据对电商影响不同行业应用大数据技术潜在价值评估大数据对电商影响在大数据电商应用方面具有天然优势1.数据优势－电商平台每天产生海量数据数据浏览数据搜索数据评价交易支付收货售后大数据对电商影响在大数据应用方面具有天然优势2.人才优势电商公司一般都是技术公司，所以有大量大数据方面的人才大数据应用难点分析破除大数据价值创造的障碍，形成新生态下竞争优势三大障碍关键任务传统业务模式和思维团队跟技能遗留系统的限制指定适当的经营模式和结构支持大数据应用确确定人才能力策略，使用专门的人才达到目标，或从相关技术公司获得帮助识别数据跟技术陷阱，确定最适合取得成效的技术路径，使用可扩张大数据平台建立治理结构，创建顶层结构来规范所有事情充分使用已有数据，逐步扩充可分析的数据集合大数据挖掘方向／方法大数据挖掘方向／方法电商大数据应用场景分析用户画像电商大数据应用场景分析用户分群电商大数据应用场景分析画像技术电商大数据应用场景分析画像使用用户画像精准营销／推广用户体验精准推荐电商大数据应用场景分析智能决策系统从规模，竞争程度及个品牌占有率对全品类进行市场分析从人群结构，购物习惯，需求分析，对全品类进行用户分析从商品扩展属性的消费关注排行，属性组合，属性趋势于详情，对全品类进行分析从消费者的整体发展，消费习惯，购物心理等角度，对外发布有价值的消费趋势指数电商大数据应用场景分析智能决策系统－应用进行需求及备货分析－用户需求，消费习惯货物仓储分配策略－用户地域消费习惯给B端客户提供有价值的分析报告给生长厂商提供有价值的报告电商大数据应用场景分析智能供应链系统－DemandForecast供应商管理，采购管理，库存管理，定价管理，销量预测与自动补货系统、促销预测系统、动态定价系统、智能选品系统使用模型ARIMA(autoregressiveintegratedmovingaverage)model分析历史订单数据根据历史订单，预判进行下单备货(种类，跟数量，不同时间定不同的货物)根据用户地域分析，尽量把货物放到靠近目标消费者的货舱根据目标客户分析，在合适的地点建立仓储流量、位置、商品、竞品等信息实时提供某个时刻的商品价格，并监控商品价格所带来的流量、销量的变化，动态地调整价格，以保障给消费者提供好的价格与服务，同时使公司的收益最大化定价因数：流量，库存量，毛利率，竞争对手价格电商大数据应用场景分析自动化的货舱，打包发货流程-传统货舱电商大数据应用场景分析自动化的货舱，打包发货流程电商大数据应用场景分析自动化的货舱，打包发货流程打包：智能系统分析得出一个订单中哪些物品需要打包在一起，使用最少的包装，同时也要给用户好的体验送货：智能系统分析得出合理的配载顺序，和合理的规划送货路径。电商大数据应用场景分析ABTestA/B测试是一种新兴的网页优化方法，可以用于增加转化率注册率等网页指标电商大数据应用场景分析SubscribeOrder－大数据下的电商业务创新在对大量的用户下单记录分析后我们发现，大量的用户，会定期购买日用消费品。于是我们想为何我们不提供一种可以自动定期购买的服务。用户可以选择想要定期购买的商品跟周期。用户角度：可以享受商品折扣商家：可以根据订阅服务，提供更准确的采购，仓储计划。提高运转效率哪些商品能被订阅，也是根据对历史数据的分析得出的。电商大数据应用场景分析电商大数据应用-风险管控1.实时业务欺诈识别2.实时支付欺诈交易识别电商大数据应用场景分析电商大数据应用-风险管控－实时业务欺诈场景1•优惠券滥用2•新用户注册优惠券滥用3•二手经销商的大量订单4•畅销优惠商品的过量订单（尿布，拉面）电商大数据应用场景分析电商大数据应用-风险管控－实时业务欺诈识别方法1.Variable/RuleEnginebasedsolutionSamplevariable:过去24小时送到同一个地址的订单数据Samplerule:if(过去24小时送到同一个地址的订单数据10)thenfraud借助大数据平台实时流处理引擎SparkStream/Storm,Thevariablevaluecanbecalculatedwithinmilleseconds2.模型basedSolution通过历史数据training我们的模型（分类，决策树，线性回归），来detect.能处理复杂case:机器快速下单，注册不同账号来下单（AccountLinking）。电商大数据应用场景分析电商大数据应用-风险管控－实时支付欺诈场景1•ATO(AccountTakeOver)2•Lost/StolenCard/Credential电商大数据应用场景分析电商大数据应用-风险管控－实时支付欺诈识别方法1.Variable/RuleEnginebasedsolutionSamplevariable:•TheaccounthasbeenaccessedbyNdifferentIP/PCIDinthepastxxdays•MorethanNordersor$Xordersaremadewithin1hourofre-settingpasswordandPIN.•ThesameIP/PCIDaccessesNdifferentaccountsinthepastxxdaysSamplerule:if(N10)thenfraud借助大数据平台实时流处理引擎SparkStream/Storm,Thevariablevaluecanbecalculatedveryquickly2.模型basedSolution通过建立合适的模型加上适当的权重值比如：•在凌晨大量大额支付•超过六十岁的老人凌晨下单•短期内，平凡异地下单•平凡购买大额虚拟产品－卡套现电商大数据应用场景分析大数据应用-实例分析－支付实时信用卡欺诈系统此系统主要分为两个部分1.分析历史数据，训练，建造一个机器学习的模型(分类)2.使用模型来实时检测欺诈信用卡交易金融业应用场景分析银行业大数据应用-实例分析－实时信用卡欺诈系统逻辑架构图大数据平台技术架构大数据常用平台大数据平台技术架构常见大数据分析平台架构大数据平台技术架构常见大数据分析平台架构-基础技术-Hadoop大数据平台技术架构常见大数据分析平台架构-基础技术-HDFS大数据平台技术架构常见大数据分析平台架构-基础技术-Yarn(M/R)大数据平台技术架构常见大数据分析平台架构-数据存储组件大数据平台技术架构常见大数据分析平台架构-数据处理组件大数据平台技术架构常见大数据分析平台架构-数据可视化大数据应用展望数据仓库机器学习全文检索流式计算离线分析图计算