IBM数据中心

数据整合及数据分析--构建新一代数据中心,释放信息的价值张光业[e-mail]软件部资深技术顾问议程让信息更具洞察力IBM信息管理解决之道让信息更具洞察力的第一步–信息整合信息整合的效果需要数据质量来保证–信息治理数据仓库-信息洞察力的基石业务智能系统–释放信息的价值数据库安全、审计–信息安全的保障数据生命周期管理–信息生命力的体现主数据管理–数据质量的体现企业信息化建设-信息是重要一环业务优化应用信息业务自动化生产数据处理速度更快、成本更低提高业务管理电子政务MIS、ERP、财务等供应链管理、CallCenter、CRM等公共服务财务风险洞察动态需求规划信息必须成为战略资产信息架构的演变动态提供整合的信息People,Processes,ApplicationsRepositories,ApplicationsInformationOnDemandRichStandards,FlexibleArchitecture分立的应用导致信息孤岛从以项目为基础转向以灵活架构为基础提供信息整合信息大数据时代：信息已经成为企业最重要的资产ApplicationAgendaInformationAgenda议程让信息更具洞察力IBM信息管理解决之道让信息更具洞察力的第一步–信息整合信息整合的效果需要数据质量来保证–信息治理数据仓库-信息洞察力的基石业务智能系统–释放信息的价值数据库安全、审计–信息安全的保障数据生命周期管理–信息生命力的体现主数据管理–数据质量的体现IBM企业数据(信息)架构基础服务层应用服务器企业服务总线工作流引擎消息中间件OLAP引擎数据挖掘引擎事件驱动规则引擎协同工作运维监控应用层多维分析即席查询报表统计统计分析预测分析智慧交通食品安全水源水质城市应急政府服务工作就业医疗保障银行保险远程传感器虚拟传感器直观传感器智能计量表摄像机和网络摄像机智能传感器信息服务总线（ISB）数据联邦数据复制数据清洗数据转换消息队列企业服务总线（ESB）流程服务信息服务交互服务交换服务体系各个部门数据源交通公安环保质监、食品药监卫生、气象教育、规划其他数据库传感器数据源ODS数据仓库数据集市特征库模型库共享数据库数据存储区门户门户层安全管理：应用、数据信息治理、元数据管理大屏幕PDA手机GPS导航统一授权服务单点登录基础设施层（网络、存储、硬件、系统软件）预测数据GIS空间数据引擎GIS消息队列信息整合服务（联邦、复制）ODS前置数据库核心业务数据库贷记卡数据库信贷管理数据库总行事后监督数据库国际业务数据库数据清洗、转换、加载信息治理ESB数据仓库DW数据集市MDMHubCallCenter多维分析金卡、银联异地支行/分行CallCenter数据库风险管理数据库事后监督数据库其他数据库数据交换InformationServices元数据管理即席查询报表统计数据挖掘MDM票据中心数据库SWIFT现代支付人行信贷审批客户特征知识库IBM企业数据(信息)架构保证信息的准确性、一致性数据存储区信息服务保证信息的完整性、及时性IBM提供完整的信息服务管理解决方案监管QualitySecurity&PrivacyLifecycleInfoSphereInformationServerInfoSphereOptimInfoSphereGuardium管理集成分析DB2,InformixFileNetsolidDBInfoSphereMDMInfoSphereWarehousePDOA&PDAInfoSphereWarehouse,PDA&PDOAInfoSphereStreamsInfoSphereBigInsightsInfoSphereInformationServerInfoSphereFoundationTools&IndustryModelsStandardsIBMContentAnalyticsCognosSPSSPureDataforTransactionDataExplorer议程让信息更具洞察力IBM信息管理解决之道让信息更具洞察力的第一步–信息整合信息整合的效果需要数据质量来保证–信息治理数据仓库-信息洞察力的基石业务智能系统–释放信息的价值数据库安全、审计–信息安全的保障数据生命周期管理–信息生命力的体现主数据管理–数据质量的体现生产供应XML生产销售DB2Oracle财务非结构化资料应用系统的现状独立的系统，缺乏沟通数据的孤岛，片面的信息。。。应用应用应用应用数据集成的需求数据的集中和整合–覆盖生产、经营个环节的关键业务数据–完善的元数据管理•全局的数据字典•业务数据规范•统一的业务指标含义–多个数据源的抽取、转换、装载、汇总数据的数据交换和共享–上、下级之间–同级的不同省或地市公司之间丰富的应用–生产分析–决策支持•多维分析•灵活查询•数据挖掘数据集成的目标保证信息的完整性、及时性、准确性、一致性–完整性:保证信息在企业层面的完整性–及时性:保证信息获取的时效性（秒级）–准确性:数据要保证准确，脏数据或不规范的数据要清洗成标准的数据–一致性:保证信息的单一视图，当信息口径不一致时，要确定以谁为准信息整合及信息治理:提供可信赖的信息引领业务创新BigData&WarehousingApplicationConsolidation&RetirementSingleViewApplicationEfficiencySecurity&ComplianceUseCasesInformationIntegrationandGovernanceBusinessInformationExchangeDataQualityMasterDataManagementInformationIntegrationPrivacy&SecurityDataLifecycleManagementIBMInformationGovernanceUnifiedProcessIBM信息整合、数据质量解决之道BusinessInformationExchange理解&协作•Informationblueprints•Relationshipdiscoveryacrossdatasources•IT-to-businessmappingDataQuality清洗&监控•Analysis&validation•Datacleansing•Dataqualityrules&managementDataIntegration转换•Massivescalability•Powerforanycomplexity•Totaltraceability递交•Datacaptureatanytime•Deliveryanywhere•BigdatareadinessInfoSphereInformationServer:整合、转换数据提供可信的、一致的、及时的、完整的信息，完全基于同一个平台，采用统一的元数据管理强大的信息整合平台IBMInfoSphereInformationServerDiscover,model,andgoverninformationstructureandcontentStandardize,merge,andcorrectinformationCombineandrestructureinformationfornewusesCapture,virtualizeandmoveinformationforin-linedeliveryPlatformServicesQualityStageDataStageMetadataWorkbenchInformationServerPackfor…FederationServerEventPublisherDataReplicationInfoSphereCDCClassicFederation/EventPublisherforz/OSInformationServerBlade,InformationServerforSystemz®BusinessGlossaryBusinessGlossaryAnywhereInformationAnalyzerQualityModuleforSAPIBMInfoSphereInformationServerInformationServicesDirectorInformationServerManagerFastTrack1818InfoSphereInformationAnalyzer尽早发现数据质量问题降低项目风险监控数据质量确保法规遵从基于可信数据树立业务信息执行数据质量评估定义业务规则监控数据质量创建数据管理员来管控数据质量需求好处InformationAnalyzer分析数据源数据质量并监控数据整合及质量规则遵从度数据规则同业务协作创建一致的、可重用的数据规则ExamplesofRules:•TheGenderfieldmustbepopulatedandmustbeinthelistofacceptedvalues•TheSocialSecurityNumbermustbenumericandintheformat999-99-9999•IfDateofBirthExistsANDDateofBirth1900-01-01andTODAYThenCustomerTypeEquals‘P’•TheBankAccountBranchIDisvalidintheBranchReferencemasterlist“Theaccountnumbermustmeetthefollowingcondition:…“BusinessusersDataRuledrivenbyvalidatedagainst2020InfoSphereBusinessGlossary提供信息相关的上下文关系IT项目同数据管控相关联提高业务人员同IT人员的协作效率获取业务术语及分类关联业务术语及分类到IT资产确定数据管理者并设置业务术语访问权限需求好处BusinessGlossary创建并管理业务术语及关系，并同物理数据源想关联数据标准体系数据业务标准是对数据业务含义的统一解释及要求。它包括数据的业务含义解释、数据产生过程中所要遵循的业务规则。数据项编号数据项名称数据项业务含义数据加工规则等数据的技术标准是银行业务在应用环境中对数据的统一技术要求。它包括对字段长度、数据格式、数据的缺省值的定义等等。数据类型数据格式有效的值域是否为空等数据标准体系数据业务标准数据技术标准数据标准分类数据标准管理范围客户基础类数据标准数据标准制定管理组织规章制度数据标准管理办法数据标准管理流程数据标准推广执行规范数据标准评审数据标准发布数据标准执行数据标准变更机构员工位置合约财务产品营销交易资源渠道公共代码分析类数据标准专有类数据标准指标定义框架指标定义体系指标维度体系村镇银行数据标准数据标准复审数据的业务标准数据的业务标准：从业务层面定义数据标准，包括以下内容信息大类：信息项所属的业务信息大类；信息小类：信息项所属的业务信息小类；英文名称：信息项英文名称；中文名称：信息项中文名称；业务含义：信息项的业务含义及说明；数据管理部门：拥有对此信息项进行定义和变更的管理部门；重要程度：对于业务的重要程度，分为高、中、低三个等级数据标准的定义明确了数据标准业务主体的概念、本质和内涵，并明确业务主体在银行的分类体系定义和分类数据的技术标准数据的技术标准：从技术层面定义数据标准，包括以下内容数据类型：根据数据表示特征划分的数据类型，如编号、金额、日期、代码、文本、数值等；数据格式：数据的技术格式及技术长度定义，如10位定长文本char(10)；有效阈值(可选)：信息项英文名称有效域值为可选项，可根据各主题数据标准的特性来定义数据项有效域值的范围，