挖掘数据价值

挖掘数据价值，提升企业竞争力-----BI在零售行业的应用价值SPSS（中国）北京吴昊2005年3月17日议题议题§怎样理解BI以及BI的现实意义§零售行业的数据挖掘应用第一部分：关于第一部分：关于BIBI§怎样认识商业智能系统§商业智能系统的核心技术§商业智能的真正价值—ROICopyright2002,SPSSInc.Copyright2002,SPSSInc.4选择预测还是无动于衷---IT应用规则改变迫在眉睫ITIT应用规则改变迫在眉睫应用规则改变迫在眉睫§介绍§历程§操作型系统§商业智能§预测性分析技术§结论和摘要选择预测还是无动于衷？历程操作型系统§在今天的竞争环境,§机构发现很难同时进行：风险变得被忽视.•降低费用,•增加收入,和•扩展市场份额无动于衷的状态操作型系统操作型系统§竞争促进必须要在以下方面提高:§投资于：…只需考虑价格从混乱到控制Ø客户满意度Ø产品质量Ø库存管理Ø员工满意度Ø客户保留Ø成本控制Ø收入预测Ø员工工作效率Ø…更多…ØERM系统ØCRM系统ØERP系统Øweb操作流程操作型系统操作型系统ROI:ROI:好消息好消息//坏消息坏消息操作型系统操作型系统得失相当ROI(%)负回报正回报时间（年）§好消息§创造可重复的、可控的流程§产生（相对）干净的、具有描述含义的数据§坏消息§昂贵，费时间§许多现成的流程仅仅是重新实现§没有清晰的获得“显著ROI”的途径历程历程商业智能商业智能§竞争规则的改变,Ø帮助加深对业务的理解Ø产生快速膨胀的数据Ø采用新的分析技术Ø许多企业开始采用商业智能商业智能从神秘到可以度量从神秘到可以度量§来自操作型系统的干净数据驱动BI应用的开发§投资于：Ø客户满意度Ø产值Ø支出成本Ø员工的层次Ø易损库存Ø合作伙伴统计Ø更多的……ØETLØ数据质量管理Ø数据仓库Ø查询&报告ØOLAP（在线分析）…但是只能有限度量操作型系统操作型系统商业智能商业智能ROI:ROI:好消息好消息//坏消息坏消息§好消息§使统一的获取企业数据简单化§精准的经营业绩度量§引人注目的初始效果§坏消息§系统只能观察过去§很小的可重复过程改善§仅仅依靠相关性的关系商业智能商业智能得失相当ROI(%)负回报正回报时间（年）累积的累积的ROIROI预测性分析预测性分析管理和开发机会管理和开发机会§预测性分析技术驱动高回报的决策制定：§投资于：Ø客户挽留Ø交叉销售/销售提升Ø客户获取Ø产品吸引力Ø促销匹配Ø需求计划Ø质量提升Ø员工挽留Ø…更多…•模型建立和发布Ø数据挖掘Ø评分系统Ø业务建议系统Ø在分析中集成业务知识和经验Ø在操作型系统中执行结果Ø使用实时的分析来开发新的潜在机会…向前看要比向后看要有价值预测性分析预测性分析分析应用历程：第三阶段分析应用历程：第三阶段预测性分析预测性分析建议建议评分评分数据挖掘数据挖掘收益：识别和开发新的机会能够优化：能够优化：§§客户挽留客户挽留§§产品吸引力产品吸引力§§促销活动促销活动§§需求预测需求预测§§质量提升质量提升§§员工效率员工效率收益：制度化,可重复的流程处理流程采集结果执行改变能够达到：能够达到：§§客户交互客户交互§§库存控制库存控制§§供应链管理供应链管理§§质量控制质量控制§§员工自助服务员工自助服务操作型系统操作型系统ERPERPERMERMWebWebCRMCRM收益：可靠的效能度量商业智能商业智能OLAPOLAPETLETL数据质量数据质量查询和报告查询和报告数据仓库数据仓库能够理解：能够理解：§§客户满意度客户满意度§§产品收入产品收入§§支出成本支出成本§§人力资源的升值人力资源的升值确定问题过程数据度量结果开发新价值自动化决策发现模式预测性分析预测性分析ROI:ROI:好消息好消息//坏消息坏消息§好消息§您可以查看未来§开启存在于操作型和商业智能系统中无法获得的ROI§坏消息§没有一种单一模式或“不可思议的算法”可以实现这样的结果增加的价值增加的价值操作型系统操作型系统商业智能商业智能得失相当ROI(%)负回报正回报时间（年）预测性分析预测性分析累积的累积的ROIROI个性化效果个性化效果第二部分第二部分数据挖掘的理念和应用数据挖掘的理念和应用§什么是数据挖掘？§为什么要进行数据分析或数据挖掘？§为什么数据分析在零售业具有极大的应用前景？§数据分析能够为零售企业提供哪些方面的提升？§数据分析系统如何改进零售企业的运作流程？§应该考虑什么样的数据分析问题？§成功案例的介绍§我们公司和业务介绍数据挖掘的定义数据挖掘的定义通过对存储在知识库中的海量数据进行仔细研究或者通过使用类似统计或数据等模式识别技术而发现有意义的新的相关性、模式和趋势的过程。Dataminingistheprocessofexplorationandanalysisoflargequantitiesofdatainordertodiscovermeaningfulpatternsandrules.(BerryandLinoff,数据挖掘是结合分析知识基础、成熟的分析技巧以及相关行业经验来利用优化的技术和企业的极其丰富的数据，通过揭示可以建立预测性模型隐藏的趋势和模式的研究和决策支持工作。数据挖掘的两种类型数据挖掘的两种类型§有目的（有监督）:分类和预测、估计ModelsC5.0,C&RT,NN,etc§无目的（无监督）：聚类和关联分析ModelsKohonen,Kmeans,TwoStepGRI,etc.1.聚类（间接）和预测模型（直接）在联合使用的时候，一般聚类要先操作。2.“先进行分类的数据”意味着没有对数据操作的目的。数据挖掘的工作内容数据挖掘的工作内容预测新的数据（规则、模式和行为方式）。§分类/估计理解你的客户的分组、趋势和特性§聚类/关联展示你拥有数据几何空间的关系、趋势和模式§描述数据挖掘的背景数据挖掘的背景§数据记录了公司运作历史，做了些什么等等，这些数据就是该公司的产出。§我们能否找出哪种行动产生好的（坏的）产出或结果？§总结历史成功或失败的经验使得我们在未来能够做的更好。§数据挖掘可以结合商业经验，快速建立预测性模型并将结果发布到相关的决策人员手中。这将帮助您在很短的时间内得到巨大的回报。进行数据挖掘的前提进行数据挖掘的前提§§从事数据挖掘的基本要求从事数据挖掘的基本要求§§商业问题商业问题§§相关数据相关数据§§成功的数据挖掘需要做到两点成功的数据挖掘需要做到两点§§相关的商业知识以及数据的意义相关的商业知识以及数据的意义§§常规的分析知识常规的分析知识为什么零售业运用数据挖掘？为什么零售业运用数据挖掘？零售业具有大量的数据，这是零售业所拥有的无比巨大的财富之一，在这些大型的数据库中，可能存在着诸多让零售业人员无法直接认识的模式或者联系，那么，如果我们通过分析可以得出这些联系或者模式，就可以给零售业创造出巨大的财富或者是尽可能的减少零售业务的风险及损失。零售行业的数据挖掘应用主题零售行业的数据挖掘应用主题§市场营销应用§客户流失—顾客挽留§交叉销售—销售额外的产品或服务§数据库营销或是响应模型—识别谁更可能购买§客户获取—识别新的客户§市场细分—理解顾客的群体特性§过程和运营管理§需求预测—产品需求预测§缺陷分析—网站点击流分析企业进行数据分析考虑要点企业进行数据分析考虑要点§分析挖掘系统框架§原则：整体考虑、分解分析、细节实施§数据分析工具软件§原则：结合整体业务流程考虑§分析过程§原则：遵循CRISP-DM流程§结果应用§原则：业务需求导向§实施人员考虑§原则：结合业务应用、复合人员组合对于分析系统的考虑数据分析挖掘系统的作用数据分析挖掘系统的作用数据分析挖掘平台是决策支持系统的必要支撑，它的主要功能：§进行主题分析，找出问题的原因，提交给相关业务部门§总结规律，完善知识库建设，提供决策辅助支持工具选择的要点商业理解方面的考虑商业理解方面的考虑§是否有在其他相关企业成功实施的经验，可用该工具解决广泛的商业问题，包括我们现在面临的商业问题？§该工具是否在商业问题和数据分析、数据挖掘之间提供了一个桥梁，是如何提供的？数据理解方面的考虑数据理解方面的考虑§该工具是否可与现存的数据库兼容？该工具是否支持通用的数据接口标准？是否需要进行数据转换才可使用？§该工具是否可以对数据进行交互式探索分析并用丰富的图形来展示数据？该工具是否提供了可视化技术，以便于发现数据中存在的模式？图形是否可以与用户交互，例如随着数据维度的改变，图形是否可以发生改变或者生成新的图形？数据准备方面的考虑数据准备方面的考虑§该工具如何准备数据？该工具在数据准备的所有工作是否是交互性的？该工具在进行数据准备工作时候是否以一种易于跟踪的方式？§在数据准备中，该工具是否可自动提取数据？在提取数据时，是自动完成的，还是需要手工编写SQL查询语句，进行数据的合并、汇总、排序和其他数据准备工作？建立模型方面的考虑建立模型方面的考虑§该工具是否提高了分析师的工作效率？§该工具是否提供了足够多的数据挖掘技术？§该工具是否可组合使用不同技术？§该工具是否可与现有技术资源兼容？模型评估方面的考虑模型评估方面的考虑§该工具的结果是否可以适用于各种情况？该工具产生的解决方案，是否对所有的数据挖掘问题的解决方案都是有效的？该工具产生的结果是否准确反映了所有的商业问题，是否在检验数据集上进行验证结果也足够好？§该工具产生的结果是否容易理解？产生的结果是否易于被商业用户所理解？该工具是否需要商业专家参与整个数据挖掘过程？结果发布方面的考虑结果发布方面的考虑§如何发布数据挖掘解决方案（现在和未来）？数据挖掘解决方案如何才能被整合到操作性的应用程序中？整合的投资回报率是否高？是否需要在时间和财力上对结果发布作额外的投资？解决方案的更新是否容易？如果不容易，需要做些什么工作，投入多少财力和时间？关于成本的额外考虑关于成本的额外考虑§成本是多少？考虑产品寿命、所提供服务等，将成本量化，将预期的回报也进行量化。§实施时间？需要多长时间来实施数据挖掘项目？是否需要其他工具或硬件？需要多少培训、咨询、定制开发以得到项目结果。用户能力是否能达到所用工具的要求？使每个人可使用软件所需培训成本？§该工具是否可为用户定制？该工具是否可以为不同用户进行定制？一般过程是否可被保存以便再运用？该工具是否可使任务自动执行？是否可得到自定义界面或提供其他帮助的服务？关于提供厂商的额外考虑关于提供厂商的额外考虑§厂商是否提供其他用于解决相似问题的工具或服务？§厂商是否是软件及其他相关服务的可靠提供者？§厂商在数据挖掘解决方案领域，是否处于领先地位？§厂商是否有能力和资源在未来继续提供高水平服务？分析流程的考虑数据挖掘的方法论数据挖掘的方法论§关注业务问题§CRISP-DM§CrossIndustryStandardProcessforDataMining§来自各行业－生产制造、市场和政府的数据挖掘专家的贡献§以用户为中心，交互式操作§完整的过程§目标是将结果转化成企业级应用2002年8月7日由调查，关于业务应用的考虑对于人员的选择零售行零售行业数据分析应用业数据分析应用应用案例解释和演示关联规则关联规则§通过对不同商品在被客户购买时的关联程度、支持度以及我们预测的准确率的几个相关指标得到的市场篮分析§意义：在摆放商品或者是制定促销时提供依据序列分析序列分析§通过对客户已经发生的行为分析，预测客户下一次的购买行为§意义：对相关的客户发直邮信，或者是业务人员对客户推荐相关产品。得出的规则得出的规则§规则显示：一般来说，如果一个男性他的收入状况低于16900，那么他的购物篮一般可能是啤酒、花生豆还有比萨饼。在我们的数据集里，一共有165条记录里的男人的收入是在这个水平线上，他们当中有83.8%符合我们当前的模型预测。换句话说，如果一个男人的收入高于16900，那么99%的可能性他们不会有这种购买方式。