授课教师:郑琪MAIL:zq@mail.gdufs.edu.cn课程目的巩固《数据挖掘》《机器学习》所学的知识学习将数据挖掘的知识应用到商业分析领域学习SASEM工具软件的使用培养分析问题和解决问题的能力考核方式期末考试:给出一组数据,利用数据挖掘工具做出你的判断总评成绩平时30%+期末考试70%教材商业数据挖掘导论(IntroductiontoBusinessDataMining)DataMiningUsingSASEnterpriseMinerACaseStudyApproach参考书目商务智能定义“BusinessIntelligenceistheprocessoftransformingdataintoinformationandthroughdiscoverytransformingthatinformationintoknowledge.”GartnerGroup商务智能定义Businessintelligence(BI)isasetoftheories,methodologies,processes,architectures,andtechnologiesthattransformrawdataintomeaningfulandusefulinformation.–wikipedia商业智能(BusinessIntelligence)是对商业信息的搜集、管理和分析过程,目的是使企业的各级决策者获得知识或洞察力,促使他们做出对企业更有利的决策。商业智能的目标Thepurposeofbusinessintelligenceistoconvertthevolumeofdataintobusinessvaluethroughanalyticalreporting.DecisionKnowledgeInformationDataVolumeValue商务智能体系结构商业智能的基本体系结构主要包括数据仓库、多维分析和数据挖掘三个部分。数据仓库(DataWarehouse)用于抽取、整合、分布、存储有用的信息在线分析(OLAP)可全方位了解现状数据挖掘(DataMining)则是发现问题、找出规律、预测将来,达到真正的智能效果商业智能体系结构OperationalandExternalDataWarehousemodelingandConstructionTools(ETL)BusinessIntelligenceApplicationsDecisionSupportToolsQueryandReportingOLAPInformationMiningAccessenablersApplicationInterfacesMiddlewareServicesDepartmentalwarehouses(datamarts)AdministrationGlobalWarehouseOtherInformationStoresOperationalandExternalDataDataManagementMetadataManagement仪表盘报表OLAP数据挖掘定义通过自动或半自动化的工具对大量的数据进行探索和分析的过程,其目的是发现其中有意义的模式和规律《DataMiningTechniquesForMarketing,Sales,andCustomerRelationshipManagement》体育用品公司的数据分析商业智能的过程从不同的数据源收集的数据中提取有用的数据,对数据进行清理以保证数据的正确性,将数据经转换、重构后存入数据仓库或数据场(这时数据变为信息),然后寻找合适的查询和分析工具、数据挖掘工具、OLAP工具对信息进行处理(这时信息变为辅助决策的知识),最后将知识呈现于用户面前,转变为决策。商业智能的过程数据仓库决策支持业务数据库数据存储企业决策层OLAP数据挖掘提取、清洗、转换图1-1商业智能系统的数据处理循环报表商业数据挖掘研究方法假设检验验证可能的模型或理论知识发现发现其中的模式和规律各行业电子商务网站算法层商业逻辑层行业应用层商业应用商业模型挖掘算法CRM产品推荐客户细分客户流失客户利润客户响应关联规则、序列模式、分类、聚集、偏差分析…WEB挖掘网站结构优化网页推荐商品推荐……基因挖掘基因表达路径分析基因表达相似性分析基因表达共发生分析……银行电信零售保险制药生物信息科学研究……相关行业数据挖掘的商务应用神经网络、决策树、回归分析、粗集、遗传算法数据挖掘的商业应用主要的商业应用市场购物篮分析(market-basketanalysis):发掘顾客购买的产品中哪些可以用来做产品定位和交叉销售数据挖掘的商业应用主要的商业应用用户细分(customersegmentation):根据用户属性划分用户的集合数据挖掘的商业应用主要的商业应用用户画像(customerprofiling):识别那些有最大利益的用户细分群体数据挖掘的商业应用零售业同族定位(affinityposition)交叉销售(cross-selling)银行客户关系管理(CRM)信用卡管理信用评分数据挖掘的商业应用保险业保险欺诈电信业客户流失(转网)电话营销客户细分人力资源管理人员评估、挽留商业智能案例美国的一个父亲,某天发现自己17岁的女儿竟然收到了来自零售商店Target的婴儿用品优惠券,盛怒之下向商店投诉。一个月后,商店收到了这位父亲尴尬的道歉电话,称商店并非误发了优惠券,自己的女儿确实怀孕了……他们发现,许多孕妇开始买大包装无香味护手霜,在怀孕最初20周大量购买补充钙、镁、锌的营养片之类的保健品……最后,他们选出了25种典型商品的消费数据构建了“怀孕预测指数”,通过这个指数,Target公司能在很小误差范围内预测到顾客的怀孕情况,从而制定出精准的营销策略,吸引并留住含金量很高的孕妇消费群。商业智能案例IBM帮助国内的一家移动公司建立起增值服务运营平台,通过使用IBM的数据分析洞察工具,移动商可以获得用户使用订购铃声、移动新闻、WAP、SMS和MMS的状况,并建立起用户偏好模型和用户社交媒体模型,从而形成对客户的全面了解–从客户接受服务推送,订购服务,使用服务,到服务反馈,直至结束服务订购。商务智能案例把“机器学习”变成“帝王术”的RayidGhani他们在最初的一年半时间里把各种数据合到一起,制作了一个包含各类信息的大数据库。他们利用数据库开发出针对不同类型的选民不同的宣传策略。他们的系统能为每个选民找出一个最能说服他的理由。他们利用数据来详细分析关键州的选民。深入分析各个族群的选民在任何时刻的趋势。在总统候选人的第一次辩论之后,他们分析出哪些选民倒戈,哪些没有。他们每晚用模型进行6.6万次模拟选举,从而推算出了奥巴马在摇摆州的胜率,据此来分配资源。商务智能案例商务智能案例2011年,新加坡-麻省理工学院研究和技术联盟(SMART)高级研究工程师OliverSenn在一项联合任务中花了五个月向市民提供实时数据和见解,帮助他们改善城市面貌。刚接受将两个月的气象卫星数据和GPS记录下来的8000万辆出租车程的8.3亿次记录进行比较的任务时,Senn有一点失望。“新加坡每个人都知道下了暴雨是不可能打到车的,”Senn说到,“所以我希望这些数据能基本证实这个假设。”随着他对一个有超过1.6万辆出租车的车队的相关数据进行筛选,一个奇怪的模式浮出水面:似乎很多出租车在下暴雨的时候并不开。实际上,GPS记录显示:下雨时,很多司机都会把车驶到路边,根本就不载客。Senn和司机坐下来面对面确认了自己的研究发现。他了解到,拥有该岛国最多出租车的公司会在发生事故后立即从司机的工资里扣除1000美元,直到确定谁是责任人。事故的解决过程会持续好几个月,所以司机们认为不值得拿自己的生计冒险和官僚机构纠缠那么久。所以开始下雨时,他们就会把车驶到路边,等暴风雨过去。作为该数据研究的一项直接结果,这一意想不到的新发现使这家公司目瞪口呆。现在,有了对这一情况的了解,他们正在确定如何制定不存在漏洞、使客人、司机或母公司明显无空可钻的政策。商务智能案例淘宝指数Shu.taobao.com淘宝数据魔方mofang.taobao.com数据挖掘工具要求:通用性伸缩性常用工具SASEnterpriseMinerIBMIntelligentMinerSPSSClementine商业智能的发展趋势Gartner公司对全球2335名首席信息官关于2012年业务和应优先考虑的技术事项进行了调查,调查发现数据分析和商业智能成为2012年首席信息官最优先考虑的技术,从2011年的排名第五上升到2012年的第一。BI公司的收购:Oracle收购Hyperion,SAP收购BusinessObjects,IBM收购Cognos从战略型的BI到操作型或者实时型的BI更成熟的数据分析和展现技术关注绩效、关注价值、关注数据质量Gartner商业智能工作需要掌握哪些知识商业智能=商业+智能作业搜索数据挖掘在某个领域的最新应用,写一份总结报告。