深圳市华傲数据技术有限公司融合管理与技术支撑决策与落实DMCTMindYourDataDataManagementandControlTerraceCopyright©2010深圳市华傲数据技术有限公司1行业数据现状华傲数据质量治理体系架构组织体系管理体系技术体系执行体系优势与价值公司资质公司简介成功案例引申问题Copyright©2010深圳市华傲数据技术有限公司2行业数据现状华傲数据质量治理体系架构组织体系管理体系技术体系执行体系优势与价值公司资质公司简介成功案例引申问题Copyright©2010深圳市华傲数据技术有限公司3政府、金融、电信、医疗等行业企业普遍存在的数据管控难题:数据分散,形成信息孤岛,共享困难出了问题再补漏,数据管理部门和生产部门互相推脱责任已然形成大数据,但针对其应用处理困难数据质量低下,统计不准确?主数据安全?数据多样化,缺少统一标准,集成困难数据管控方面存在的主要问题Copyright©2010深圳市华傲数据技术有限公司4行业数据现状华傲数据质量治理体系架构组织体系管理体系技术体系执行体系优势与价值公司资质公司简介成功案例引申问题Copyright©2010深圳市华傲数据技术有限公司5数据管控体系架构组织体系管理体系技术体系执行体系数据使用者(领导决策层)数据管理者(IT管理层)数据生产者(业务层)制定数据标准(定义标准、使用标准)制定数据管理机制(管理流程、权责关系)制定数据应用规则(数据集成、分发规则)制定数据模型(统一数据视图)数据探查数据清洗、质量提升数据集成、监控数据安全业务梳理数据分析绩效评估PDCA循环管控机制Copyright©2010深圳市华傲数据技术有限公司6华傲数据治理管控架构是促进企业数据管理体系建设和执行体系落地的有力支撑平台,将分散、多样化的核心主数据通过标准化、质量探查、清洗、集成及监控等操作进行优化,形成企业内的数据管控体系,并结合企业组织结构,形成数据管控执行体系,在企业内部持续运行,提升、挖掘主数据的应用价值。解决企业内部如下的数据管控问题:主数据分散且多样化问题。隐蔽性的数据质量问题。遇到问题,数据生产者和管理者互相推脱责任的问题。主数据质量低下,利用率低的问题。数据管理落实不利的问题。数据使用者决策依据不准确的问题。人技术管理Copyright©2010深圳市华傲数据技术有限公司7华傲数据治理管控体系以保障企业核心业务为目标,通过对业务主数据的探查、清洗、集成、监控和信息挖掘,提升主数据质量,将数据管理与企业组织机构相结合,以管理绩效为手段,加强保障数据质量管控的执行力,使数据治理在企业内部持续运行,保障主数据的数据质量,为数据的集成和挖掘应用提供有力保障。经营风险核心业务主数据数据管理核心目标:保障核心业务正常运作,提升数据价值,深度挖掘数据应用价值。数据标准体系建立:分析梳理业务流程,设计业务主数据指标体系,形成数据标准规范。数据质量稽查、提升、主数据监控:探查、解决、处理数据质量问题,提升数据价值。数据集成共享:将各类型处理过的优质生产数据统一集中存储,便于调用、共享,支持大数据应用集成。数据管控体系:形成从数据生产–数据处理–数据监控–数据调用共享的数据综合管理体系,使数据管理日常化。数据综合管理平台:为用户提供综合的数据管理解决方案,保障业务运作,提升数据价值,辅助管理决策。Copyright©2010深圳市华傲数据技术有限公司8Copyright©2010深圳市华傲数据技术有限公司9数据生产者数据生产数据质量初审数据质量绩效执行使用挖掘管理数据管控体系组织体系生产数据使用者数据使用数据统计分析数据质量绩效执行数据拥有者数据owner数据挖掘数据质量绩效评估数据管理者数据管理数据安全保护数据质量绩效执行Copyright©2010深圳市华傲数据技术有限公司10数据定义标准数据格式标准业务梳理•业务流梳理•业务职责重定义•业务与组织机构的关联分析数据分析•数据流梳理•数据格式分析•数据与业务的关联分析应用分析•数据的应用规则•数据的应用范围•数据的关联分析数据梳理数据定义规则数据清洗规则数据指标、规则体系数据应用标准数据应用规则国家、行业标准Copyright©2010深圳市华傲数据技术有限公司11整体统计•概况认知•通用探查需求细节探索•深入分析•多维度统计关联分析•数据依赖分析•全面数据诊断数据探查建立数据库全文索引Schema概况统计表概况统计主外键关联探索敏感数据探索基本分析结构分析频率分析分布统计函数依赖探索字典规则探索智能探索人工探索质量评估数据质量评估报告数据源Copyright©2010深圳市华傲数据技术有限公司12匹配、融合审核数据审核标准化审核数据处理修复审核匹配、融合•匹配相似实体•制定融合策略•实体融合标准化处理•数据补全•数据验证•数据标准化交互式修复•报告问题•分析问题并制定修复策略•手工修复数据优质数据数据质量评估报告数据指标、规则体系Copyright©2010深圳市华傲数据技术有限公司13数据中心数据集成数据监控•数据源监控•业务流监控•任务调度监控大数据处理•大数据环境安装•海量结构化数据处理•XML数据处理•图数据处理数据集成•支持多类型数据源链接•设计管理作业•自动化作业调度、执行•数据集成、分发数据挖掘优质数据数据指标、规则体系Copyright©2010深圳市华傲数据技术有限公司14核心业务数据标准制定数据分析处理数据监控数据集成业务梳理绩效评估以标准对数据进行质量探查、处理、分析执行是管控体系落地的关键以绩效的手段促进数据质量管理,将数据生产者、使用者、管理者及拥有者关联起来,形成一套可持续有效执行的执行体系,保障持续的高数据质量按规则对数据流进行监控、预警集成高质量数据,形成数据中心,实现共享、分发、挖掘以绩效手段促进、保障数据管控机制持续有效运行梳理核心业务流、数据流制定数据管控指标(数据标准)Copyright©2010深圳市华傲数据技术有限公司15一级指标二级指标考核标准频度权重备注数据质量问题发生数据质量问题的个数考核对象:数据负责人考核标准:1、发现一例数据质量问题扣1分;2、依此类推,直至本项指标权重扣完为止;月35扣分项影响范围考核对象:数据负责人考核标准:1、数据质量问题影响30%以下(含30%)信息系统,扣5分;2、数据质量问题影响30%~70%(含70%)信息系统,扣15分;3、数据质量问题影响70%以上信息系统,扣25分;4、按月统计,以单次数据质量问题影响范围最大的数据为准;月25扣分项严重程度考核对象:数据负责人考核标准:以造成的经济损失为考核依据,依企业情况自定义;人工考核年扣分项数据质量问题处理数据质量问题的处理个数和及时性考核对象:数据负责人考核标准:1、在规定时间内处理完成一例数据质量问题,加1分;否则不加分;月35加分项Copyright©2010深圳市华傲数据技术有限公司16一级指标二级指标考核标准频度权重备注数据管理质量探查考核对象:数据管理员考核标准:1、未在规定的周期内实施数据质量探查工作,扣3分;2、按指定周期实施数据质量探查,不扣分;月35扣分项问题预警、分发考核对象:数据管理员考核标准:1、在发现数据质量问题时,在规定时间段内,及时预警并通知相关人员处理,不扣分;否则,扣3分;Copyright©2010深圳市华傲数据技术有限公司18行业数据现状华傲数据质量治理体系架构组织体系管理体系技术体系执行体系优势与价值公司资质公司简介成功案例引申问题Copyright©2010深圳市华傲数据技术有限公司19以高质量的数据,保障决策信息的准确有效;决策准确执行有效响应快速标准统一以标准规则实时监控数据质量;将数据生产者、使用者、管理者关联起来,联动响应;以绩效手段保障数据管控体系有效执行以核心业务为主线,提供统一的数据标准;规范数据治理流程;建立数据监控规则、应用规范;准确、快速的定位问题数据源;及时通知数据负责人进行处理,减少或避免损失;以企业核心业务为主线,有针对性的提升企业业务主数据价值;自主研发国际领先的第三代数据质量产品,能快速定位、自动处理数据质量问题;结合绩效评估手段,保障数据管控体系的有效执行,持续保障企业核心主数据的高可用性优势价值Copyright©2010深圳市华傲数据技术有限公司20行业数据现状华傲数据质量治理体系架构组织体系管理体系技术体系执行体系优势与价值公司资质公司简介成功案例引申问题Copyright©2010深圳市华傲数据技术有限公司21公司主要面向数据质量、数据集成、主数据管理、大数据管理等方面的产品研发北京市政府、深圳市政府邀请在国内进行科研成果的商业化•刘淇书记亲自批示•七个委办局的引进工作组北京•广东省创新团队:唯一软件团队•深圳市“孔雀计划”团队深圳•973量质融合项目示范应用课题•国家自然科学基金重点项目国家华傲数据机密21Copyright©2010深圳市华傲数据技术有限公司22•图数据管理•分布并行数据库、高性能列存储数据库•记录匹配、图数据管理•数据质量管理、XML数据管理贾西贝马帅吴颖徽汤南樊文飞院士团队在数据质量、XML数据处理、图数据处理、分布式数据处理等方面做出了世界级研究成果22华傲数据机密Copyright©2010深圳市华傲数据技术有限公司23华傲数据机密23工业界2012年入选“中国留学人员创业园百家最具潜力创业企业”2010年获得IBM智慧地球大规模数据分析奖英国媒体:“企业走出经济衰退必须依赖的研究成果”BCS评价:“奠定了英国在数据质量研究中的全球领先地位”研究界2012年出版《数据质量管理基础》2012年公司首席科学家获ACMFellow2011年公司首席科学家当选苏格兰科学院皇家院士2010年获得美国ACM阿尔伯特·门德尔松时间检验奖2010年获得超大数据集国际会议最佳论文奖2008年获得英国计算机最高奖罗杰·尼达姆奖2007年获得IEEE数据工程国际会议最佳论文奖Copyright©2010深圳市华傲数据技术有限公司27华傲数据机密27数据的可用度从82%提高到93%,成效非常显著!实现数据质量自动化、流程化管理;支持主数据生成和维护。拓展业务范围,实现决策支持。支持建科院战略发展。我们对销售数据的信心更强了!每天的数据清理都自动完成,也不需要担心出错了!帮助我们发现并改善了很多数据质量问题,提高了公司的客户服务水平,降低了服务成本。Copyright©2010深圳市华傲数据技术有限公司28行业数据现状华傲数据质量治理体系架构组织体系管理体系技术体系执行体系优势与价值公司资质公司简介成功案例引申问题Copyright©2010深圳市华傲数据技术有限公司291.数据标准化怎么做?(项目咨询能力缺乏,行业数据标准的制定)2.ADA、ADP、ABA的功能架构?(规划的每个产品的功能架构图)Copyright©2010深圳市华傲数据技术有限公司30谢谢!