大数据平台数据管控解决方案

大数据平台数据管控解决方案目录数据管控概述1元数据管理2数据标准管理3数据质量管理4数据管控系统实施目标数据管控系统实施是为解决企业所面临的数据标准问题、数据质量问题、元数据管理问题。•推动数据标准在全企业的执行落地，规范化管理构成数据平台的业务和技术基础设施，包括数据管控制度与流程规范文档、信息项定义等。数据标准规范落地•全方位管理数据平台的数据质量，提升数据可访问性、可用性、正确性、一致性等，实现可定义的数据质量检核和维度分析，以及问题跟踪。数据质量问题定位分析•提升统一有序的业务系统和MIS系统的管理数据能力，实现对数据间流转、依赖关系的影响和血缘分析，增加有效工作时间用于分析数据，减少用于在复杂企业数据环境中搜索数据的时间数据关系脉络化数据管控体系建设原则循序渐进结合现实•实施难度、影响范围•实施成本、实施风险•不可能齐头并进，一蹴而就•先易后难•以业务的现实需求为首要前提来确定数据治理平台的重点业务驱动数据管控系统实施步骤目录数据管控概述1元数据管理2数据标准管理3数据质量管理4元数据定义元数据分类元数据范围元数据关联性元数据系统应用模型元数据管理系统功能构成图技术架构图庞大的数据资产如何管理？形态万千、散落在企业各处的数据资产如何管理？数据资产之间的关系怎样？如何让数据资产正确、有效的被使用并产生价值？元数据管理-现状分析企业数据资产管理的困惑对元数据的概念理解不清或者不一致到底哪些数据可以纳入到元数据管理范畴之内元数据管理能带来什么价值元数据管理的工作内容都是什么元数据管理-元数据的意义元数据到底是什么需要借助元数据管理来解决理想和现实之间的差异问题!元数据能够辅助管理企业的各类数据资产；元数据可以如实向用户反映企业的数据资产信息；元数据管理的工作内容包括人员组织搭建、管理流程的梳理、基础技术平台的实施；元数据的解决方案回答了如何让元数据管理产生价值的问题。解决之道元数据系统-解决方案定位：元数据管理是对数据平台数据信息的梳理、组织和再现，帮助用户更好的理解现有系统的建设现状，支撑用户对数据平台的管理工作作出更合理的决策，但不能过分夸大元数据管理的工作范围，它并不能替代现有数据平台开发和管理工具的角色，也不能彻底改变现有数据平台的管理模式。元数据系统-元数据管理定位元数据管理的应用价值元数据管理的应用价值主要体现在：对数据再组织并形成全局性的视图；帮助用户更好的理解各环节的数据和系统的建设现状；是保障企业数据质量的基础；支持企业信息化的知识传承；提升数据平台建设和管理水平。元数据系统-价值整合不同系统的元数据整合不同来源的元数据整合不同类型的元数据统一可维护的元数据存储元数据管理-整合统一的全局视图元数据管理-数据地图功能说明说明在查看报表的同时辅以文字化的术语说明；提供统一、清晰的业务定义和口径；是业务人员理解数据的好帮手。元数据解决方案-元数据应用信息功能说明说明通过快速搜索获取元数据信息；支持包括中英文名称、关键字在内的搜索。元数据解决方案-信息检索通过快速搜索获取元数据信息；支持包括中英文名称、关键字在内的搜索。元数据解决方案-数据字典支持自动定版和手工定版；自动定版：元数据信息发生变更，会自动维护版本；手工定版：根据客户的需要将一到多个元数据进行定版并可对版本命名；不论自动还是手工定的版本，都可支持日后查阅和分析。元数据解决方案-版本管理元数据解决方案-影响分析统一门户数据管控体系数据标准管理元数据管理数据质量管理功能说明说明数据管控（DataGovernance）是指对一个企业数据的可用性、实用性、完整性和安全性等的全面管理。一个有效的数据管控包括一个管控主体、定义好的一组程序和一个执行这组程序的计划。元数据解决方案-数据管控元数据实施-总体规划元数据实施-组织机构元数据实施-管理办法和流程目录数据管控概述1元数据管理2数据标准管理3数据质量管理4数据标准管理数据标准定义与定义原则•定义主题的概念、本质与内涵，明确开行对此类主题的定义。•描述主题的识别原则。信息模型•定义主题信息项•定义主题各类信息项的业务属性、技术属性及信息项所有者数据标准定义主题数据项数据映射说明书识别主题数据标准与源系统数据字典间的差异。建立主题数据标准与源系统间的数据映射关系。数据标准执行建议主题数据标准在业务层面及IT层面的执行的指引与建议。执行指引数据映射分类•定义主题分类原则。•定义主题分类及产品清单。•前期成果借鉴•业务访谈•系统调研•结合最佳实践分析、诊断1.现状分析•确定映射的系统范围•制定源系统与标准的映射规则•根据数据验证映射规则•形成标准化定义初稿并讲解•对定义初稿征求意见和讨论•根据意见反馈和讨论结果和修正并形成数据标准•提出标准在未来各影响面执行的遵循原则•就标准与现状的实际差异给出具体的执行建议2.标准定义3.标准映射4.执行建议数据标准管理应用场景数据标准工具逻辑架构图数据标准是企业级的业务规范，用于指导各业务系统及数据仓库的建设，而元数据是系统级的描述手段，更多的反映系统建设情况；数据标准指导系统建设的成果可以通过元数据来反映；系统的建设反过来促进数据标准的完善；数据标准与元数据关系目录数据管控概述1元数据管理2数据标准管理3数据质量管理4数据质量问题产生原因质量问题信息域技术域流程域管理域数据质量问题产生的原因,归纳分析后可以总结为4个领域：信息问题域、技术问题域、流程问题域、管理问题域数据质量管理工具介绍由于对数据本身的描述、理解及其度量标准的偏差而造成的数据质量问题。产生这类数据质量问题的原因主要有：元数据描述及理解错误、数据度量的各种性质得不到保证、变化频度不恰当等。元数据描述及理解错误中的相关元数据主要包括：业务元数据——主要包括业务描述、业务规则、业务术语、业务指标口径等；技术元数据——主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。数据质量问题产生的原因分析—信息域数据质量管理工具介绍由于具体数据处理的各技术环节异常所造成的数据质量问题，它产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题产生的环节主要包括：数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面：数据创建质量问题主要包括：创建数据默认值使用不当和数据录入的校验规则不当，导致指标统计结果不一致、数据无效、记录重复等；数据传递质量问题主要包括：接口数据及时率低、接口数据漏传、网络传输过程不可靠，如包丢失、文件传输方式错误、传输技术问题、协议使用不当导致的数据不完整等；数据装载质量问题主要包括：数据清洗算法、数据转换算法和数据加载算法的错误；数据质量问题产生的原因分析—技术域数据质量管理工具介绍由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节：创建流程质量问题主要指操作员数据录入时缺乏审核流程；传递流程质量问题主要指通信流程沟通不畅；装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误；使用流程质量问题主要指数据使用流程缺乏流程管理；维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控；数据质量问题产生的原因分析—流程域数据质量管理工具介绍由于人员素质及管理机制方面的原因造成的数据质量问题如：数据库设计原则不严谨，数据使用不规范导致的业务数据重复，数据不一致。人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。没有建立管理数据质量的专门机构，出现数据质量问题后无专人负责没有明确的数据质量目标；缺少管理数据质量的管理办法等。数据质量问题产生的原因分析—管理域数据质量管理工具介绍质量管理模型和功能匹配数据质量管理工具介绍数据质量管理工具介绍数据质量管理工具介绍•数据质量管理工具流程图数据质量管理工具介绍功能一级分类功能二级分类说明首页首页统计分析支持最近一天以及最近一周的质量情况统计分析，支持钻取；支持个性化首页定制；规则管理规则配置规则依赖的需求，需要执行的数据标准，业务描述、规则类型（完整性，一致性，时效性，正确性）规则浏览规则清单浏览检查点管理检查点配置配置检查目标及规则，技术属性（唯一，非空，值域，代码，外键，拉链）检查点浏览检查点清单浏览检查点执行状态监控检查点手动执行、状态监控检查点执行历史查询检查点运行历史查询，执行情况浏览问题跟踪分析管理问题浏览检查点执行后的问题数据（综合问题查询）问题发布将问题提交给处理人，包括处理人信息、预期处理完成时间、提醒方式等，支持已发布的问题数据浏览问题处理用于关闭问题。记录问题处理过程及方法。问题归档处理完成后的问题的归档，支持已归档的问题数据浏览问题跟踪监控反映问题严重级别，预期处理时间，预定处理部门或责任人，触发通知等功能。问题跟踪设置设置问题数据处理日历。问题严重级别。数据质量分析数据质量全局统计全局统计问题报告，系统维度，数据生成周期，处理情况单表问题数据统计单个检查目标问题数据类型统计图。单检查点趋势分析单个检查点趋势图问题分析报告下载问题分析报告下载权限管理用户管理用户录入，修改。密码管理角色管理创建角色、用户分配角色权限配置系统功能权限分配菜单管理菜单管理系统菜单新增、修改。日志管理系统监控日志用户操作系统的记录，包括功能点，请求参数检查执行日志检查点执行时间，返回状态码，错误信息。检查脚本检核脚本（PERL模板）后台调用检查配置信息的Perl脚本。数据质量管理开发功能清单元数据侧重于展现表结构化的信息，数据质量侧重展现表中数据存在的问题；元数据可以展现表上与数据质量相关的信息；数据质量可以利用元数据的分布拓扑结构图信息（数据地图）展现数据质量点、线、面的与质量相关的分布情况；数据质量发现问题时可以查看相关表结构数据质量与元数据的关系汇报完毕感谢聆听