数据管理知识体系

数据管理知识体系数据管理的演进2无数据管理意识被动作出反应主动防范风险预知问题1、企业能确定取得的成果。2、数据质量成为所有业务流程的组成部分3、数据质量成为整个企业的基础。4、完全自动化的流程。5、重点关注防范数据缺陷6、数据管理成为业务流程、而非技术工具7、制定更全面的、涉及企业范围内的计划。8、整个企业内部文化发生重大转变1、可以防范风险，降低不确定性2、数据管理在组织内部开始发挥关键作用，数据不会再被低估，而被视作可以有效帮助企业做出更优决策的资产。3、一致、准确、可靠的数据为企业带来更多可见的实际价值4、拥有相应的支持高级别数据检视和更正的必要技术5、开始批准数据管理项目1、理解、意识到数据问题对企业成功至关重要。2、当出现重大问题和项目偏差时才做出反应3、非集成的、无关联的点状解决问题1、各部门间很少针对数据问题合作2、信息不共享、数据多头管理3、各部门数据质量参差不齐4、没有规范的数据管理制度和策略.。。。。。。。。。。风险回报：风险非常高，因为数据问题会导致客户流失（因为错误理解客户价值）或不合理的业务流程；虽然没有制定相关的流程来分析孰是孰非，但还是有一些人成为替罪羊，从而受到指责；回报低，除了个别员工或部门获得成功之外，企业几乎没有从数据管理中获得任何收益风险回报：风险高，缺少数据整合，整个公司范围内数据的整体准确性不佳；偶尔会进行数据分析和更正，但涉及跨职能时仍然会发生一些数据错误；回报有限，大多数都不确切；多数投资回报都是通过个体流程或员工个体取得的；公司层面几乎没有意识到数据管理的好处风险回报：风险中等到较低；通过提供更优信息提高了决策的可靠性，从而降低了风险；回报中等到高；数据质量的改进通常只局限于某个职能领域，然后随着更多员工加入其中，质量改进会拓展到更宽泛的领域风险回报：风险低；数据完全统一，并被严格控制，帮助企业维护有关客户、前景、库存、产品的高质量信息；回报高；在全公司范围内执行数据管理，有助于更好地理解企业当前的业务概况，帮助管理层提高在根据数据做决策时的信心当前保险企业普遍存在不少数据的问题，如：数据来源不唯一、数据共享性差、数据准确度低、指标口径不统一等.国内保险企业数据管理现状分析-现状数据管理现状没有独立的数据管理组织数据生命周期管理不完整缺少数据活动管理无企业级架构各部门用户对数据架构没有共识缺乏数据质量管理体系缺乏数据标准缺少主数据管理数据安全认识不全无元数据管理新一代数据中心-目标4新一代数据中心定义新一代数据中心是基于标准构建模块，通过模块化软件实现自动化7×24H无人值守计算与管理，并以供应链方式提供共享的基础设施、信息与应用等IT服务新一代数据中心特征1：模块化的标注基础设施2：虚拟化资源与环境3：自动化管理4：快速的可扩展能力5：节能及节省空间6：高IT资源利用率7：高可靠性和低冗余8：面向服务的计算平台数据仓库设计--TheBasicStructureoftheCIF5ExternalworldERPInternetEnterprisetransactionsDataacquisitionReferenceDataApplicationsERP(tx)Integration/transformationlayerODSPrimarystoragemanagementHistoricalReferenceDataAlternativestorageDataworehouseDatadeliveryExplorationwarehouseDataminingwarehouseStatisticalAnalysiseCommCRMERP(rpt)BusIntDSSapplicationsfinancesalesMarketingAccountingDatamartsRawdetaileddataExternaldataOperationalreports数据仓库设计--CIF&MD体系结构比较6CIF体系结构MD体系结构准备数据仓（ODS）DWDMDMDM。E/R模型。主题域。事务级细节。斜线以上限制终端用户存取。多维设计和其他设计。根据业务功能的数据集市设计。汇总与细节级数据。在一个数据库实例中可能有多个数据集市准备数据区数据仓库总线原子DM原子DM聚集DM聚集DM个人DM。多维的。事务和汇总数据。数据集市单主题域（即事实表）。在一个数据库实例中可能有多个数据集市。E/R设计或平面文件。斜线以上禁止终端用户存取用户存取事务数据的生命周期如何映射到DW&其他系统7蒱获编辑调入应用程序在线访问与其他应用程序集成（企业数据）调入数据仓库使用频率下载近线数据存储存档存储数据生命周期EDW数据仓库&其他系统映射数据标准--标准规范的应用&建设8软件接口标准数据接口•SQLServer•Oracle•DB2•XML•其他应用接口•SOAP•WebService•COM/DCOM•J2EE架构基础数据元标准元数据标准指标定义标准数据交换格式标准数据交换代码格式规范服务请求标准服务请求应答格式规范会话协议标准文档交换格式标准电子政务业务流程设计防范通用指南XML业务表示规范电子公文交换处理规范电子公文存档管理规范电子公文处理流程规范电子政务业务生成的通用技术要求信息分类编码标准GB/T2260GB/T4750GB/T6565GB/T7027GB/T7635共享数据集标准认证、授权和访问控制标准访问控制及认证技术标准资源访问控制的标准化安全技术标准加密算法、数字签名及PKI标准安全体系结构标准安全等级评估标准分布式系统的安全系统管理规范数据管理---数据模型9业务建模领域概念建模逻辑建模物理建模模型设计阶段模型建设方法维度建模法范式建模法数据仓库财务账户活动理赔事件收付费处理资金供应角色实物地理位置协议产品实体建模法实体事件实体说明数据管理--ESB企业数据服务总线10SOA基本结构SOA服务协作服务代理服务提供者服务消费者服务描述服务描述服务发现发布绑定、调用企业数据服务总线服务管理其他服务协作服务应用服务访问服务表示服务流程服务信息服务公共服务数据管理-数据交换平台功能架构11数据交换服务1应用功能数据交换服务2数据交换服务3数据交换服务4数据交换服务…企业数据服务总线元数据管理安全管理平台监控数据采集数据采集任务调度数据复制ETL工具全量复制增量复制全量抽取增量抽取数据清洗数据转换数据装载数据存储专用数据采集接口数据管理---数据交换（纵向&横向）12一级数据交换平台一级业务系统一级业务系统二级业务系统二级业务系统二级数据交换平台三级业务系统三级业务系统三级数据交换平台一级ODS/DW二级ODS/DW横向交换横向交换横向交换纵向交换数据管理---元数据管理框架13元数据管理平台系统管理数据规则管理变化管理业务逻辑管理数据展现管理外部数据灵活查询多维分析报表数据挖掘数据利用业务数据库业务数据库ODSEDWDM数据管理--数据挖掘14原始数据数据集目标数据预处理数据模式知识发现集成选择预处理数据挖掘解释评价运用数据准备阶段数据挖掘阶段分析评价阶段数据挖掘类型预测型分类回归分析时序分析描述型关联分析聚类分析基本步骤挖掘类型挖掘算法关联算法娶类算法决策树算法NaïveBayes算法神经网络算法顺序分析和聚类分析算法时序算法线性回归算法逻辑回归算法数据管理实施规划P8.建立内容管理系统P10.建立企业数据模型P11.优化整合企业物理模型P12.定义企业数据架构P13.建立企业级数据交换平台数据管控参考数据和主数据数据服务管理数据库运营管理元数据管理数据管理十大领域文档和内容管理数据研发P9.建立数据标准P15.建立数据管理机制数据质量管理数据架构管理数据安全管理P5.实施ECIF实现客户主数据管理P16.建立元数据管理平台P14.建立数据质量管理平台P1.在E服务平台增加数据服务功能P2.研究和设计总分一体化的数据服务架构P3.建立总部决策支持系统P4.建立分公司销售分析系统P6.建立面向业务部门的深度数据分析平台P7.建立客户信息深度挖掘平台P15.建立数据管理机制数据管理实施规划人/流程/策略/规划建立元数据管理机制建立企业数据标准IT技术/系统E-p平台数据服务建立企业数据交换平台建立企业数据模型建立企业数据架构设计一体化数据服务架构建立决策支持系统优化整合企业数据模型建立销售管理系统建立数据挖掘系统建立数据分析平台建立元数据管理平台建立元数据质量管理平台建立文档、内容管理平台建立数据安全管理机制建立数据灾难备份系统建立ECIF系统建立ACRM系统建立OCRM系统GBUTtem17大集中管理流程化管理虚拟化管理自动化管理*资料来源：新一代数据中心新理念流程化管理---ITIL（IT基础架构库）18服务提供流程服务级别管理IT服务财务管理IT服务持续性管理可用性管理能力管理服务支持流程事故管理问题管理配置管理变更管理发布管理管理职能服务台服务提供服务支持新一代数据中心新理念、新技术19