数据分析与商务智能管理科学与工程系安利平教学内容•数据分析与商务智能概述•数据仓库与OLAP基础•数据仓库的设计与OLAP建模•数据挖掘的过程与算法主要参考书1.WHInmon著.数据仓库.机械工业出版社.2.林宇编著.数据仓库原理与实践.人民邮电出版社.3.JiaweiHan,MichelineKamber著.数据挖掘概念与技术.机械工业出版社.4.(美)谭,(美)斯坦巴赫著,范明等译,数据挖掘导论.人民邮电出版社.5.(美)贝里,(美)利诺夫著,袁卫等译.数据挖掘——客户关系管理的科学与艺术.中国财经出版社.软件•SQLServer2005/2008数据仓库•IBMSPSSModeler企业数据分析与挖掘•IBMSPSSStatistics标准统计分析•关于Weka–http://www.cs.waikato.ac.nz/ml/weka/–西蒙(印度).数据挖掘基础教程.机械工业出版社.•关于SAS主要软件参考书•朱德利.SQLServer2005数据挖掘与商业智能完全解决方案.电子工业出版社.•张文彤,钟云飞.IBMSPSS数据分析与挖掘实战案例精粹.清华大学出版社.•元昌安.数据挖掘原理与SPSSClementine应用宝典.电子工业出版社.•(印度)西蒙.数据挖掘基础教程.范明,牛常勇译.机械工业出版社.(Weka)–http://www.cs.waikato.ac.nz/ml/weka/案例•1.电信公司的数据仓库建设•2.Dataminingfordecisionsupportoncustomerinsolvencyintelecommunicationsbusiness商务智能概述•为什么出现商务智能?Why–企业经营管理活动对商务智能的需求•如何理解商务智能?What•商务智能如何实现?How–商务智能的技术构成1企业对商务智能的需求•商务工具的变迁•企业信息化系统的进化商务工具的变迁•伴随着商务工具的变迁,人们处理信息的能力在工具的帮助下变得越来越强大,信息量的增长也越来越快。–电报–电话–传真机–计算机–互联网商务工具的变迁•在20世纪初,或者即使到了20世纪中叶,没有一个公司的账目、订货记录和文件柜的数据总和能超过几十个百万字节(megabytes)。穿孔纸带商务工具的变迁•计算机在商业领域的应用,标志着商业活动真正进入信息化时代,信息处理的方式发生了革命性的变化。–商业单据的电子化–MIS(管理信息系统)广泛应用–数据处理方式以数据库为主商务工具的变迁•互联网在商业活动中的应用,在信息增长和信息处理方式上也发生了前所未有的变化。–每个邮件在递送过程中都要对条形码进行多次扫描;–统计控制过程通过成千上万个传感器不断读取和记录生产过程数据;–电话系统要跟踪每一个电话的开始时间、持续时间和网络路线等;–顾客在网络上的每一次链接及看过的每一件商品都被记录下来。商务工具的变迁•今天,最大的公司数据库容量是用万亿字节(terabytes)来计量的。•对于这些公司来说,数据的增长是以10万倍来计量的。商务工具的变迁•多数情况下,数据的搜集是为了提高内在操作的效率,并不是为了分析或者为了建立预测模型。•数据一旦积累起来,就成为信息财富。这些财富可被用来改进每个领域的决策。•人们已不再满足于简单的数据操作,产生了进一步使用现有数据的要求。商务工具的变迁•利用现有的数据进行分析和推理,从而为决策提供依据。–谁是高价值的客户?谁将成为高价值客户?–什么产品可以交叉销售或提升销售?–公司明年的收入前景如何?•这种需求既要求联机服务,又涉及大量的数据。商务工具的变迁•传统的数据库技术已无法满足这种需求,具体体现在以下三方面:–决策所需的历史数据量很大,而传统的数据库一般只存储短期数据。–辅助决策的信息涉及许多部门的数据,而不同系统的数据难以集成。–由于访问数据库的能力不足,它对大量数据的访问性能明显下降。如何将数以百万计的网络文件、电话记录、销售细目文件记录变成可利用的信息和知识?企业信息系统的进化管理信息系统和企业资源计划系统•管理信息系统和企业资源计划系统积累了大量的历史数据。–不同历史时期的数据–根据不同业务需要的数据–由不同供应商提供的数据–体系结构和管理实施等方面存在着较大的差异–数据相对分散和独立,难以共享–没有建立起统一的能用于分析处理的基础数据平台管理信息系统和企业资源计划系统•明确整个企业中的业务数据和相互关系是有较大困难的。百家争鸣、百花齐放的管理系统数据——共有多少个三角形?商务智能系统•来自不同系统的大量数据中往往隐藏着重要的规律和商业规则,这些是企业管理者需要寻找的“金矿”。•此“金矿”的挖掘过程就是“数据信息知识智慧”的转化过程。商务智能系统数据信息知识智慧信息分析辅助决策数据处理商务智能系统•如果将知识用在辅助企业经营管理决策中,那么这种智慧就可以称为商业智慧,也就是商业智能,或者叫商务智能。BusinessIntelligence,BI商务智能的2个层次•第1个层次:在整合系统数据的基础上提供灵活的前端展现。–例如,通过直方图等形式表现来自销售管理系统的地区销售情况报表。商务智能的2个层次经过数据整合的BI系统功能——现在有多少个三角形?数据仓库DataWarehouse,DW联机分析处理On-LineAnalyticalProcessing,OLAP商务智能的2个层次•第2个层次:数据库中的知识发现。–数据库的爆炸性增长已远远超出了能够解释和消化这些数据的能力,需要新一代的工具和技术对数据库进行自动和智能地分析。这些工具和技术正是知识发现。•知识发现的主要技术构成就是数据挖掘。KnowledgeDiscoveryinDatabase,KDDDataMining,DM商务智能的2个层次历史数据预测数据?加入智能挖掘算法的系统功能——最后一个框中应该有多少个三角形?商务智能的2个层次•例如,通过对销售数据的分析,发现一条关联规则:•这条规律对于商务的智能化和决策的科学化将有重要的意义。购买面包and购买黄油90%购买牛奶2商务智能的技术构成•什么是商务智能•商务智能的结构描述•商务智能工具•SQLServer2005的商务智能构架什么是商务智能1.Microsoft努力2.SAS智能和知识3.DMReview过程4.Gartner、IDC、IBM、SAP和MSTR工具和技术集合商务智能的结构描述•商务智能的实现包含了“数据信息知识行动智慧”这一过程所运用的技术和方法。–数据仓库–联机分析处理(OLAP)–数据挖掘–模型库和方法库抽取转换清洗过滤转载数据仓库数据集市数据集市数据集市数据挖掘OLAP数据报表前端展现工具数据源ETL过程数据仓库及其应用BI前端展现外部数据业务系统数据文档资料商务智能的结构描述•商务智能系统工作过程的技术抽象–源数据层–数据转换层–数据仓库(数据集市)层–OLAP–数据挖掘层–用户展现层商务智能的结构描述•商务智能系统工作过程的技术抽象–源数据层–数据转换层–数据仓库(数据集市)层–OLAP–数据挖掘层–用户展现层数据挖掘和商务智能工具公司名称ETL工具数据仓库管理OLAP工具数据挖掘工具报表工具IBMWarehouseManagerVisualWarehouseOLAPServerIntelligentMinerInsight&QucikviewOracleOracleETLServerEnterpriseManagerExpressServerDarwinExpressAnalyserSybaseReplicationServerPowerStageWarehouseStudioWarehouseAnalyzerSASSPSSInfoMakerCAInfoPumpPLATINUMERWinPLATINUMInfoPumpDecisionBaseInfoBeaconNeugentAionForest&TreesInfoReprotsSAS第三方WarehouseAdministratorSASMDDBEnterpriseMinerEISERMicrosoftSSISSQLServerSSASSSASSSRSSQLServer2005的商务智能构架•SQLServer2005的两大体系–数据库管理–商务智能应用SQLServer2005的商务智能构架整合服务数据库引擎分析服务报告服务复制服务全文检索服务服务代理通知服务数据库管理部分商业智能应用部分SQLServer2005的商务智能构架•SQLServer2005的商务智能–三大服务•SQLServer2005AnalysisServices(SSAS)•SQLServer2005IntegrationServices(SSIS)•SQLServer2005ReportingServices(SSRS)–一个工具•BusinessIntelligenceDevelopmentStudioSQLServer2005的商务智能构架BusinessIntelligenceDevelopmentStudio集成(SSIS)分析(SSAS)报表(SSRS)服务作用商务智能应用数据抽取数据整合OLAP数据挖掘自定义报表数据展现从各种异构数据源中整合BI需要的数据,同时可以实现与商务流程统一为已有数据建立模型,并且经分析后找出数据的内部关系对分析结果提供类型多样、美观且适合不同需求的图表和报表Question?