BI建设

议程1.有关BI的理解2.BI的建设过程及IRC总结3.主流厂商分析议程1.有关BI的理解2.BI的建设过程及IRC总结3.主流厂商分析Ibm自己的BI关键点目标明确:通过BI(EDGE)建设支持全球范围内的企业决策和执行；核心:围绕整个企业客户的价值链整和、固化与之相关的信息、流程和人员（信息获取者和获得者）；必须保证的环节：可信任的数据、数据驱动自动化、企业公共的规则、维度、业务规则ORACLE的BI关键点ORACLE最大的特点就是产品的高度集成，从而带来一系列好处：安装、配置简单、维护成本低、产品购买成本低等等议程1.有关BI的理解2.BI的建设过程及IRC总结3.主流厂商分析获取可信任的数据一个BI系统就是为企业或政府部门的决策者提供信息和辅助的，如果数据可信度不够建设BI系统则毫无价值。IRC的数据源就是各研究所的ERP业务数据，是事实发生的数据，可信度较高。其他政府部门业务系统较为分散、业务数据交叉、如财政、电力，而象电信、银行其信息流即为其生产流的行业，业务数据统一准确；获取可信任的数据获取可信任的数据元数据的规划设计是核心,可以统管数据整和的各环节;应充分考虑以下部分的设计:可交互的数据质量管理数据质量分析---dataprofile流程的控制和调度数据的匹配和合并复杂的数据转换可交互的数据质量管理数据质量分析---dataprofile􀂾数据类型验证数据类型（整数、浮点数、字符串等）是否正确􀂾数据模式验证电话号码、身份证􀂾唯一性验证重复的信息􀂾数据有效性验证符合值域范围􀂾一致性验证不同表之间、不同系统之间􀂾完整性验证关键字段缺失流程的控制和调度流程的控制和调度是保证数据实时性和完整性的关键,也是系统健壮性的基础数据的匹配和合并数据的匹配和合并针对于多分支机构、业务数据跨系统所必须考虑的复杂的数据转换从事物型数据到分析型数据复杂的数据转换必不可少，而在设计时必须考虑性能问题数据仓库ROLAP和MOLAPROLAP能够处理海量数据，不同的技术特点应用于不同的用户需求，正逐渐成为主流；MOLAP历史较长，相关产品成熟，客户端展现丰富灵活，但应用规模和能力有限，对企业级和政府组织海量数据的需求支持不够；IRC的数据仓库IRC充分应用ROLAP，支持大规模数据，采用多种技术手段，完成应用需求以及克服实施中的阻力；数据分区：实现单一实体的海量存储，减少与其它实体的关联数量；星型转换：位图索引访问，而不是完全数据访问；物化视图：提高汇总数据的查询性能；位图连接索引：提高连接查询的性能；数据管道：实现复杂转换的流水作业，提高并行度，避免中间结果数据造成存储空间；。。。。。。数据应用综合查询报表统计分析OLAP分析数据挖掘综合查询改建了传统人工作业费时费力的问题需要某些特定信息且已经知道要找些什么时才使用无法真正带来足够的价值报表改建了传统人工作业费时费力的问题把想要的信息整理出来成有意义的数据(但只是表面的)还没有充分发挥信息的价值统计分析叙述性统计分析鉴定性统计理论已经可以用数据进行检验局限于特定人群的假设和理论无法处理大规模数据OLAP分析多维度的灵活报表&即席查询从多个不同层面去观察信息必须自己确定从哪个方向去观察,很可能漏掉了对自己有意义而自己知不道的信息即使观察到了某些现象或趋势,也很难找到原因数据挖掘信息量越大,成果可信度就越高不需要人为的限定条件,只要有目标即可不但能够看到过去还能够根据过去预测未来算法需要不断回归演进海量数据用于复杂的算法,性能是关键挖掘出来的成果能否进入业务流程形成闭环IRC的数据应用IRC在中科院基本上限于三类应用:面向不同管理人员的即席查询和分析统计年报面向全院和高层领导的综合统计IRC的数据应用IRC在中科院应用中全面采用ORACLE技术,因此采购成本低因为ORACLEBI产品本身集成度好,所以能够快速开发和部署然而就是因为受限于ORACLEBI产品导致数据即席查询界面不太友好美观,尤其影响高层领导的印象;没有投入太大的人力充分挖掘产品功能,应用不是很充分;灵活定制的报表未能真正实现BI建设过程及经验BI系统不象传统的业务系统有明确的需求和范围,所以建设BI系统时多采用原型法,交迭演进的方式引导启发用户,从而实现系统的价值BI建设过程及经验人员构成资深领域专家需求团队开发团队使用、操作者业务发现底层架构及技术选择PurposeActivitiesWorkProductWorkFlowDrill-downonscopeandrequirementsReviewcustomerstechnicalenvironmentDeterminetechnicalrequirementsIdentifytechnicalgapsDefineservicelevelandsupportrequirementsIdentifyvolumesandgrowthratesUpdatedEngagementScopeDocumentScoperefinementDetailedrequirementsVolumetricsRefinedprojectassumptionsanddependenciesRefinedEDGEserviceofferingandidentifiedgaps(newdevelopment)ServicelevelsandsupportDevelopmentofdetailedrequirementsDeterminetechnicalneedsIdentifytechnicalgaps(neededdevelopment)IdentifyvolumetricsandgrowthratesDetailedRequirementsSessionIdentifyVolumetricsReviewEDGEServiceOffering&DetermineGapsScopeandRequirementRefinementDefineTechnicalRequirementsDefineSLAs&SupportRequirementsUpdateScopeDocument需求定义PurposeActivitiesWorkProductWorkFlowInternalEDGEpeerreviewDrill-downontechnicalrequirementsImpactandriskanalysisIdentifyEDGEnewdevelopmentIdentifyEDGEimplementationapproach,testingandreleaseplanRefineSLAs,operational,andon-goingsupportrequirementsDeterminecostsCreateDOUandsubmitrequirementstopipelineprocessUpdateEngagementDocumentPrioritizedprojectrequirements(phases)Refinedprojectassumptions,dependencies,&implementationapproachandtimelineDefinedlevelofeffort(ROM)andestimatedpricingSolidifiedEDGEserviceofferingandidentifiedgaps(newdevelopmentrequiredwithROM&Price)IdentifiedEDGEimpactsandassociatedprojectrisksServicelevelsandsupportOperationalrequirementsTestcases/teststrategyDefinedcosts(implementation&on-going)EngagementddocumentnowbecomesdraftDOUSolidifiedprojectscopeandprioritizedrequirementsIdentificationofimplementationapproach,testingandtimeframesDefinedrolesandresponsibilitiesDefinedimplementationcostsandon-goingsupportcostsImplementationApproach&ProjectTimelineTechnicalRequirementRefinementIdentifyEDGENewDevelopmentRequiredInternalEDGEPeerReviewProposalCreatedDefinedOperationalRequirementsDefinedProjectRoles&ResponsibilitiesSolidifiedandPrioritizedRequirementsSubmittedRequirementstoReq.PipelineProcess业务需求原型PurposeActivitiesWorkProductWorkFlowDetermineprototypescopeDefineprototypecostsIdentifyprototyperequirements,specifications,andROMDeveloptestcases/UATstrategyDefinerolesandresponsibilitiesDefinetimeframesPrototypedesignanddevelopmentPrototypeassessmentFunctionalprototypeNonthrowawaysolutionDevelopsthebusinessopportunityscopeandbuy-inAssistsinfurtherunderstandingandidentifingbusiness,technoicalandinfrastructurerequirementsPrioritizesbusinessrequirementsDemostratesorhighlightsabraodorspecificaspectofanEDGEBIserviceofferingDeterminePrototypingScopePrototypeAssessmentIdentifyPrototypeRequirements&PlatformPrototypeDesignPrototypeDevelopment议程1.有关BI的理解2.BI的建设过程及IRC总结3.主流厂商分析BI产品BI部件相关产品数据库DB2、Oracle、SQLServer、Teradata、SybaseETL工具Datastage、Powercenter、Owb，以及SAS的ETLServer、BusinessObjects的DataIntegrator等OLAP工具还可以细分为MOLAP（MultiDimensionOLAP，多维在线分析系统）和ROLAP（RelationalOLAP，关系在线分析系统），前者有Hyperion、Cognos、Microsoft公司的产品，后者有Microstrategy、oracle等数据挖掘SAS、SPSS、IBM、Teradata、Oracle等前端展现Cognos、BO、Brio、Discoverer等产品分析不同用户环境要求不同，我从7个层面分析比较如下：BI部件.doc