来自www.cnshu.cn中国最大的资料库下载成功地管理数据仓库的实施来自www.cnshu.cn中国最大的资料库下载如何成功地实施数据仓库项目我们将从以下几个方面来看:•为什么许多的数据仓库项目会失败?•导致失败的因素是什么?•你如何才能成功地实施?•详细的实施步骤来自www.cnshu.cn中国最大的资料库下载常听到人们说:让我们建一个数据仓库吧•数据仓库将解决我们所有的决策支持的问题•建一个数据仓库不会花很长的时间•某个数据仓库的厂商说:我们只要买他们的一个“数据集市套件”就可以了,不需要很大的工作量•我们不必把它看成是一个实际的项目,毕竟它就是一些报表•我们只要把“所有”的数据都扔进一个数据库就行了!!来自www.cnshu.cn中国最大的资料库下载但是,超过60%的数据仓库项目是失败的为什么数据仓库项目有这么大的风险?典型的一个情况,指派的员工,顾问咨询和项目经理:•没有数据仓库经验•不懂数据仓库的方法和技术•不使用结构化的实施方法•“快速原型开发”•只是当成另一个数据库!!!来自www.cnshu.cn中国最大的资料库下载失败的最主要原因是什么?•对要建立的数据仓库没有清晰的定义•如果你没有一个明确的,确定的目标要完成,你怎么能够成功呢?•低估了实施•数据抽取和转换的时间/工作量即使考虑到,也是很不充分的•允许范围不断增加,超出了可以做到的范围但是,超过60%的数据仓库项目是失败的来自www.cnshu.cn中国最大的资料库下载失败的最主要原因是什么?但是很可能,导致失败的最主要原因是“用户”没有参与进来•没有与用户会面交谈或咨询用户•系统建设不是针对使用者的需求•闭门造车的方式建立系统•系统的建设不是针对解决任何特定的问题但是,超过60%的数据仓库项目是失败的来自www.cnshu.cn中国最大的资料库下载导致的结果:以上种种最终导致精神上的崩溃•太多的工作•太少的时间•事情变化太快•不知道目的是什么•漫无目的地徘徊,这样领导项目很难跟随但是,超过60%的数据仓库项目是失败的来自www.cnshu.cn中国最大的资料库下载很有可能,项目/计划的管理者根本没有了解或考虑一些关键的方面:哪些方面………但是,超过60%的数据仓库项目是失败的来自www.cnshu.cn中国最大的资料库下载用户•谁是“用户”?•他们需要一个数据仓库吗?•他们的需求到底是什么?•更快的报表?•新的报表?•他们什么时候需要一个系统?•他们愿意付钱或提供资金开发吗?哪些关键的方面?来自www.cnshu.cn中国最大的资料库下载哪些关键的方面?功能•是要建一个“报表服务器”还是“数据仓库”?•有“即席(AD-HOC)”访问吗?•是否已有一些报表存在?•新的系统将会替代现有的/遗留的系统吗?来自www.cnshu.cn中国最大的资料库下载报表•有没有清楚地详细说明报表的定义?•是已有的报表吗?•还是希望有的报表清单?•列出的报表,是否有优先顺序?•与所有用户就报表的定义和内容达成一致了吗?哪些关键的方面?来自www.cnshu.cn中国最大的资料库下载数据•需要什么数据?•数据从哪里来?•谁“拥有”数据?•你能访问到这些数据吗?•有多少数据是必需的•是否有足够的带宽获得这些数据?•数据刷新/传递的需求是什么?哪些关键的方面?来自www.cnshu.cn中国最大的资料库下载谁也不能担保成功。但是通过以下的努力,你可以有最大的机会得到一个有用的系统:•以一种仔细地、有系统地和结构化的方式实施数据仓库.•制定出一个计划•严格按计划执行•不要超越范围•不要超越需求如何能够成功?来自www.cnshu.cn中国最大的资料库下载如何能够成功?机会•不要匆忙实施•不要忘记•测试•质量保证•系统交付•用户和操作培训•而最重要的是:•所有的阶段都要求用户参与来自www.cnshu.cn中国最大的资料库下载如何能够成功?最后,数据仓库的实施要当作一个大的软件项目来考虑和管理。来自www.cnshu.cn中国最大的资料库下载以恰当的方式实施也许这种恰当的实施方式会花更长的时间和更多的精力,但却能使你更有可能:•成功•交付一个有用的系统•提交你所承诺的•保住你的工作.如何能够成功?来自www.cnshu.cn中国最大的资料库下载我应该做什么?不要忘记,你的目标不是建一个“数据的仓库”•你的目标是要建成一个对你的“用户”有相当价值的系统•如果“用户”不喜欢这个系统,或者对他们来说系统太难用或太麻烦,那么•他们不会去用它•系统也就失败了•这个系统就会被拆除•你的职业生涯也会遭受挫折来自www.cnshu.cn中国最大的资料库下载我能做什么?让我们来看一下你应该如何行动,才能使你成功的把握最大。•认识并了解“用户”•进行彻底的需求分析•设计对数据的分析•制订项目计划来自www.cnshu.cn中国最大的资料库下载我能做什么?•确保充分的资源•人员•硬件/软件•时间•制订一个详细的计划•制定界面的规格说明文档,描述:•数据源•访问控制•数据的转换/修正来自www.cnshu.cn中国最大的资料库下载我能做什么?•实施过程中进行标准的质量保证检查•对等复审•单元测试•进行详细和完整的系统测试•制订系统版本发布的配置管理和质量保证程序来自www.cnshu.cn中国最大的资料库下载总结起来理想的实施情况:收集需求理解业务设计模式ETL模板构造分析查询实现测试•用户反馈•提炼•测试资源时间来自www.cnshu.cn中国最大的资料库下载详细的实施步骤认识并了解用户•用户访谈•发现“问题或捆绕”所在•收集现有报表的拷贝•索取报表清单(期望的新报表或修改报表)•建立原型/虚构的报表,让用户复审•尽可能多的了解用户日常的工作职责来自www.cnshu.cn中国最大的资料库下载决定你所要建立的是什么•企业级数据仓库?•即席查询服务器?•常规的报表服务器?•单独专注的数据集市?根据用户的需要做出你的决定实施范围要限定在你能实际做到的范围内!!!!!!详细的实施步骤来自www.cnshu.cn中国最大的资料库下载定义系统需求•基于用户的需要•正式的文档,准确地描述最终的系统所能完成的功能•与用户一起复审需求,即.•进行正式的系统需求复审•不要让范围扩大–瞄准最初的目标/规划•提交一个系统需求规格说明书详细的实施步骤来自www.cnshu.cn中国最大的资料库下载定义系统需求•不要陷入需求的“分析怪圈”•决定你能做到什么•锁定那些需求,舍弃其他,放到未来的阶段•确保向用户概述了你能够实施的内容这样也许不能使所有的用户都满意,但是,成功地实现了用户需要的一部分(子集)比试图建立一个超级系统却以失败而告终,什么都不能交付好的多。详细的实施步骤来自www.cnshu.cn中国最大的资料库下载投入和费用要实际•基于系统需求分析•确定完成需求所必需的资源•人员•时间/进度•硬件/软件•不要乐观地估计•会发生意外的问题•计划赶不上变化•错误不可避免!详细的实施步骤来自www.cnshu.cn中国最大的资料库下载制订一个正式的项目计划•基于•系统需求分析•成本估计•进度估计•可用资源•将范围局限在你能够做到的范围之内•提交正式的项目计划详细的实施步骤来自www.cnshu.cn中国最大的资料库下载制订一个正式的项目计划切记:•正式的项目计划可以确保每一个人(管理者和开发人员)及时了解开发的最新情况,及时发现开发中出现的问题。详细的实施步骤来自www.cnshu.cn中国最大的资料库下载制订一个正式的项目计划最后,记住:承诺少一点,然后交付多一点要比承诺太多,令人失望更好详细的实施步骤来自www.cnshu.cn中国最大的资料库下载进行详细的数据分析•基于用户的需要和报表•找到提供报表所需数据的遗留/现有的系统•获得任何/所有关于现有数据的文档•获得对所有数据源的访问和使用权•决定是否需要有抽取程序详细的实施步骤来自www.cnshu.cn中国最大的资料库下载进行详细的数据分析•确定必需的转换•数据的清洗?•查找Lookup/确认?•合并?•你想要这个过程自动执行吗?•抽取,转换,装载(ETL)工具?•定制代码和/或脚本?详细的实施步骤来自www.cnshu.cn中国最大的资料库下载进行详细的数据分析•确定必需的数据更新频度•需要多长时间刷新一次数据?•如何更新数据?自动化的过程复制ETL工具定制的代码和/或手工的脚本详细的实施步骤来自www.cnshu.cn中国最大的资料库下载进行详细的数据分析数据分析应获得以下结果•数据字典,包含•遗留(Legacy)的数据定义及其分布位置•新的数据仓库的数据定义数据规模,类型,单位,例外,等等。这还不是数据模型,此时你还没有足够的信息来建立系统的模型。详细的实施步骤来自www.cnshu.cn中国最大的资料库下载进行详细的数据分析数据分析应获得以下结果•接口文档,包含:•将数据从现有系统迁移到数据仓库的ETL过程•转换•规则/标准•刷新/实时性需求和详细规格说明详细的实施步骤来自www.cnshu.cn中国最大的资料库下载下一步?系统需求分析和数据分析是详细系统设计的基础记住:基础不好,设计也不会好且非常局限稳固的基础将为设计奠定一个坚实、可扩的基础详细的实施步骤来自www.cnshu.cn中国最大的资料库下载详细系统设计再次强调,这项工作乃至所有的工作都应该立足于已整理完成的用户需求。让我们看一下在进行详细的系统设计时考虑的一些具体的工作项目。详细的实施步骤来自www.cnshu.cn中国最大的资料库下载详细的系统设计•设计首要考虑的是满足用户的需求•数据和数据类型必须通过“数据分析”得到•数据字典•接口文档详细的实施步骤来自www.cnshu.cn中国最大的资料库下载详细的系统设计•必需由专业的数据建模人员设计“模式-Schema”•是复制/修改现有的设计吗??•还需要一个新的设计?你需要什么类型的模式?StarRelationalFlat详细的实施步骤来自www.cnshu.cn中国最大的资料库下载详细的系统设计•在设计数据模型时,考虑以下两者之间可能的折中方案:•使用户报表获得最高性能•使即席Ad-HOC查询获得最大灵活性•在进行用户界面设计时,考虑:•开发所有报表的原形或样板•构建/虚拟用户界面•邀请用户复审和评判详细的实施步骤来自www.cnshu.cn中国最大的资料库下载详细的系统设计•特别注意数据抽取,转换和装载过程的设计•这是很多项目失败的原因•你准备怎样迁移数据•迁移数据的频度如何•如何更新•完整、全面地记录这些文档。以后的系统维护人员会感谢你的。详细的实施步骤来自www.cnshu.cn中国最大的资料库下载详细的系统设计最后,也许是最重要的:•你的设计/硬件/软件必须实现系统需求,并确保足够的性能。•如果性能很差,即使产生了所需要的报表,用户一样会抛弃的。•不要让范围不断扩大–维持最初的需求详细的实施步骤来自www.cnshu.cn中国最大的资料库下载详细的系统设计此时才是最终确定选择的最佳时机:•存放数据仓库的硬件•Unix,NT?•硬件平台厂商(是否有选择余地)•磁盘阵列支持(快速的、共享的磁盘阵列)详细的实施步骤来自www.cnshu.cn中国最大的资料库下载详细的系统设计选择•实施数据仓库的软件•ETL工具•DataModeling工具•数据库通用的数据库-SybaseASE等专门的数据仓库数据库SybaseIQ详细的实施步骤来自www.cnshu.cn中国最大的资料库下载详细的系统设计选择•Query工具/报表生成工具•定制开发?•商业软件包?详细的实施步骤来自www.cnshu.cn中国最大的资料库下载详细的系统设计选择记住在订购设备和软件时考虑交货时间不要忘记安装时间不要忘记安装过程中可能会碰到一些小故障,也会影响到你的时间进度。详细的实施步骤来自www.cnshu.cn中国最大的资料库下载详细系统设计的结果设计工作应该获得以下成果•硬件规格说明•软件规格说明•详细的数据模型•最新的详细的数据字典源系统的数据规格说明新