CHAPTER5商业智慧的技术根基从数据仓储到数据整合工具第五章内容大纲商业智慧的架构和基础建设架构资料仓储资料超市营运数据店元资料撷取/转换/载入工具恩门的企业信息工厂数据源:::美国资料仓储研究院(www.dw-institute.com)Gartner公司的商业智慧架构交易基础建设功能企业商务企业资源规划时间上的点即时撷取、转换与加载资料仓储整合经纪人营运数据店商业智慧平台,企业商业智慧套件,资料采矿资讯技术部门为中心/用户驱动商业智能软件:策略型、营运型、分析型查询+报告:标准的、预备的、特设的.用户驱动绩效管理、前端后端信息文化(包容、排外)、用户类型、商业智能方法论、技能与商业智能组织关键趋势:全球化、虚拟化、透明化效率有效性可用度竞争力客户关系管理供应炼管理既存系统商业智慧技术基础建设评估1.评估既有平台2.评估并选择新的产品3.写作技术基础建设评估报告4.扩展目前的平台商业智能软件厂商的架构举例BusinessObjects公司的商业智慧架构MicrosStrategy公司的商业智慧架构BusinessObjects公司的商业智慧架构MicrosStrategy公司的商业智慧架构第五章内容大纲商业智慧的架构和基础建设架构资料仓储资料超市营运数据店元资料撷取/转换/载入工具数据仓储的定义数据仓储的概念是由比尔·恩门和拉夫·金宝两位先驱者最早界定的。1990年,恩门是这样定义数据仓储的:“支持管理层的决策过程的、具有主题导向、整合、具时间性、累积等特性的数据集合”。Gartner公司的资料仓储架构营运系统撷取、转换与载入工具资料仓储企业商业智慧套件资料超市时期产品指标资料超市在线交易处理系统在线交易处理系统在线交易处理资料在线交易处理数据在线交易处理工具转换、整合与清理主体甲主体乙主体丙逻辑视图数据库管理系统企业商业智慧套件终端用户图5.8Gartner公司总结的资料仓储架构KenOrrInstitute资料仓储的架构数据源:(以制药公司为例)推动间接直接资料仓储资料采矿试用的资料有效.避免了信息技术成本参与者/诊所分析下拉&例外建立新的生意更高的命中率资料更加准确、更加一致改善的决策减少了参与者的选择时间发现药品的新用途根源分析储存了额外的资料减少了管理的努力数据源:Gartner公司敏捷性资料仓储的到来资料仓储来自策略性顾客的资料新的“策略性”的应用软件,例如顾客关系管理用户压力!因特网数据源:Gartner公司企业管理风格对数据仓储的影响策略战术不灵活敏捷•信息技术与商务策略之间的联系•资源上的承诺与支持•灵活的基础建设架构(着眼于未来)•动态与竞争性的市场•跨越业务线的相互利用机会•持续的商务流程改进•业务线与信息技术之间的联系•压倒性的业务线或业务需求驱动执行•很强的业务线信息技术文化•缺乏机会主义的愿景•信息技术与商务战略之间缺乏整合•信息技术是必要的“邪恶”•致力于战术问题•单一产品或业务线•缺乏资源•导向于业务线或某一商务领域•缺乏跨越业务线的相互利用•不平衡的资源•频繁的合并与兼并活动市场领导者“政治”领导力“乱中取胜”业务线信息技术“独裁”技术公司愿景数据源:Gartner公司数据仓储就绪程度评估一览表公司的承诺与支持.负责任的、高层的经理.各个商业部门的支持.信息技术和用户的分类(进取型、随波逐流型和落伍型).支持以分析结果改造商业流程的文化信息技术的重要性和信息技术与公司策略之间的联系.有部署信息技术并获得好处的历史.信息部门在用户中有很好的声望公司内部是否有足够的技术.内部有专门人才或把业务外包.人力资源的全力支持.应用软件提供团队合作厂商和技术的生命力.成功也许会偏离“公司的标准”.技术不能解决所有问题数据仓储和商业智能的执行步骤发现和探索接触信息识别并收集资料创造模型改变流程分享与合作发展决策的备选方案终端用户执行分析终端用户积极主动信息技术部门和终端用户都积极主动合作商务流程改造占成本的70%数据源:Gartner公司资料仓储的“拓扑结构”1.虚拟数据仓储(例如,普遍的资料介入)2.许多资料超市DWDMDMDMDMDM营运性来源3.用户不能直接连结资料仓储DWDMDMDMDMDMDMDMDMDWDM4.有限几个资料超市,用户可以直接连接资料仓储DWDMDM中间件对众多营运性来源的动态查询数据源:Gartner公司数据仓储的整合类型例一(多个资料仓储)•大的持股公司•多样化的业务•兼并与撤资•不确定的市场交叉•模糊的企业识别和使命例二(跨业务线的资料仓储)•跨国性的市场领导者•各事业部做接近或相关的业务•所有权和策略稳定•有利用顾客的机会•很强的企业文化(比如,架构上的张力)例三(单一跨资料仓储)•独立的全国性公司•技术专长集中•信息技术和业务部门联系紧密•整合完好的系统•很少机会主义式的决定数据源:Gartner公司资料仓储项目失败的三个原因缺乏沟通缺乏适当的专业技术建议缺乏适当的项目计划创投不支持数据仓储的原因数据仓储是架构而不是技术资料仓储倾向于基础建设资料仓储不是在硅谷发明的投资者很难从数据仓储中获取利益了解数据仓储能为公司做什么,了解整合的作用和历史价值是一项复杂的任务资料仓储的回收期是长期的、间接的资料仓储的益处是不易见的创投喜欢“干净的方案”创投喜欢追求流行选择数据仓储的厂商和产品所面临的挑战挑战结果明确要求.全面的评估.潜在的关键性的替换.时间超标.资源问题.资金问题.错误决定.犹豫不决确定结构与权数.合并分散的标准.进行适当的优先安排了解厂商的表现.客户参考.同辈网络.分析师社群数据仓储和商业智能产品选择的基本标准产品与价格问题大约是总问题的60%功能27%技术架构19%成本15%厂商生命力18%服务12%愿景9%资料仓储数据源:Gartner公司数据仓储数据库的选择标准详细资料的数量资料模型的复杂性查询的复杂性同时使用的用户的数量数据源:Gartner公司Gartner公司关于用于数据仓储的数据库厂商的“神奇象限”挑战者领导者占据利基者拥有愿景者2003年1月愿景的完整性数据源:Gartner公司执行能力Gartner公司的资料仓储发展趋势图数据库管理系统复杂查询之优化实时数据更新(营运性商业智能与数据仓储之合并)数据库管理系统推展的资料采矿数据库管理系统混合工作量管理数据超市合并可扩展的撷取、转换与载入工具联邦式的资料仓储数据仓库仪器企业资源规划之资料仓储虚拟数据仓储星型结构数据库管理系统推展的在线分析处理元数据工具加载数据库管理系统的撷取、转换与加载工具单一厂商之解决方案与多个厂商之技术解决方案2003年5月标示键︰到达平原的时间不到两年两到五年在到达平原之前被淘汰可见度成熟度技术之诱因期望膨胀之尖峰幻想破灭之低谷启蒙之斜坡劳动生产率之平台数据源:Gartner公司2002年资料仓储的十大发展趋势盈亏问题隐现,革新仍在继续10.越来越注重盈亏问题9.强调应用程序VS资料仓储8.越来越了解如何对“成功或失败”问题做出正确分析7.非结构化信息的增长6.快速反应的决策支持5.EAI和ETL工具的整合4.厂商的整合3.客户数据整合2.数据超市整合1.数据仓储规模不断增长资料仓储的原则1.数据仓储的其他方案不能满足商业要求2.其他备选方案也面临显著的技术挑战3.数据仓储的花费并不一定最多4.确保从商业智慧中获得最大程度的好处第五章内容大纲商业智慧的架构和基础建设架构资料仓储资料超市营运数据店元资料撷取/转换/载入工具数据超市的定义数据仓储涵盖整个企业的数据与人员,而数据超市只包含特定范围的数据。数据仓储的工作是储存大量的数据,很少考虑或不考虑企业怎样观看数据,而数据超市的主要考虑恰恰相反,它聚焦于易使用性、敏感数据的分离、报告速度和数据的总体展现。因此它可以更快速与低成本建立。资料超市的益处1.递增式开发2.便于用户了解3.便于管理的片段4.容易操纵5.更好的报告效果6.使用分布式技术7.能随时随地使用第三方工具数据仓储与数据超市的关系数据源:Gartner公司数据仓储与数据超市间的差异资料仓储资料超市范围.在应用软件方面是中立的.集中的、分享的.跨业务/整个企业的.有架构的.有具体的应用软件的要求.业务线、部门或用户领域的.业务流程导向的.有重复数据的多个数据库数据角度.历史性的、详尽的资料.有一些总结性的数据.详尽的(有一定历史性).总结性的资料数据主题.多个主题领域.单一主题.多个局部的主题领域.营运来源快照数据源.多个.营运性、外部的资料.来源少.营运性、外部资料.在线事务处理数据库快照建立的时间架构.第一阶段9~18个月(2~3个主题领域).多阶段的建立过程.4~12个月特征.灵活的.持久的/策略性的.以数据为导向的限制性的短暂的/战术性的资料超市的迷思1.资料超市是小的2.数据超市可以更容易地建立,更快速地部署3.数据超市容易成长为资料仓储资料超市的指导原则为数据超市项目建立与数据仓储项目分开的人才团队把数据超市的计划工作为资料仓储项目所用对急需战术性方案的商业领域之敏锐感受力把数据源的数量限制在3个以下建立防止资料超市泛滥的政策资料超市的成本图5.21资料超市的高昂成本成本资料超市的数量资料超市机会损失四到八个资料超市资料仓储数据源:Gartner公司第五章内容大纲商业智慧的架构和基础建设架构资料仓储资料超市营运数据店元资料撷取/转换/载入工具营运数据店的定义营运数据店是通常用做数据仓储的暂时储存区的一种数据库。跟含有静态数据的数据仓储不一样,其内容在商业营运的过程中不断更新,是针对快速、小量数据的基础上进行相对简单的查询而设计的,与在数据仓储中大量数据的基础上进行的复杂查询不同。营运数据店特别像人的大脑中只储存最近信息的短期记忆,相反地,数据仓储更像储存那些相对较久信息的长期记忆。营运数据店的架构营运决策支援既存应用软件营运数据店具有主题导向的、整合的、变动的、当前值的只有细节的资料仓储数据源:数据模型和使用状况上的差异价值新鲜度方面的差异资料移动及时性的差异详尽程度方面的差异营运数据店的种类一级营运数据店这种营运资料店是同步更新的,通常处于高效能的、交易主导的环境中;二级营运数据店这种营运资料店储存数据并向前更新;三级营运数据店非同步地、分批地、超过24小时才更新的营运数据店。营运数据店的应用适合运用营运数据店的情况主题领域报告功能性的整合不适合运用营运数据店的情况作为数据仓储中所有数据的单一来源营运资料店只被用做具体到部门的应用软件营运数据店与实时企业间的关系数据仓储里面的高质量数据适合进行策略性的决策,但由于数据延迟而不适合进行实时的分析。营运数据店的信息通常是最新的,对于实时分析和各种营运性、战术性的决策来说是至关重要的。数据仓储和营运数据店都是实时企业整体架构中重要的组成元素。但是,对于实时分析而言,营运数据店是不可替代的。尽管二者都能够使用户认识到数据中的意涵,但营运数据店能够提供实时性。这种实时分析的能力促进了快速、符合时间要求的决策。完善营运数据店的建设,为企业快速反应机制打下坚实的基础。第五章内容大纲商业智慧的架构和基础建设架构资料仓储资料超市营运数据店元资料撷取/转换/载入工具Metadata的定义用来描述其他数据的数据,在数据仓储中用来描述数据的撷取、转换规则和自动化、安全方面的信息。Metadata应至少具备两个特征才对企业有意义:被企业视为值得追踪和管理的一项资产;是关于某一项资产的抽象层面的信息,而不是