数据治理实施方案

数据治理实施方案现代企业日常各项经营活动中积累了大量数据资源，这些数据除了支持企业生产业务流程运转之外，也越来越多地被用于支撑监管报送和信息披露、精准营销、决策支持、风险控制、产品定价、绩效考核等运营管理和决策过程的数据分析需求。市场正逐渐从卖方市场转变为买方市场，互联网的普及更加推动了这个市场转变的速度。为了适应新的市场环境的生存和发展要求，企业要实现全方位的转型，需要更为科学的决策方式，需要对客户的需求做出更快速的反应，需要不断提高内部的经营效率，需要有效化解瞬息万变的市场带来的风险等等，而这些转型的落地离不开经营管理和决策过程的优化和升级，而现实中企业日常经营管理和决策过程的背后，实质上是相关数据资源的加工和利用过程，从大量原始数据的基础上加工形成支撑各类决策需求的分析型数据，从而帮助各级决策者及时获取做出准确决策所需要的关键信息。而另外一个方面，虽然当前企业各项经营活动已经积累了大量的数据资源，如果不能对这些数据资源进行有效管理，不能迅速地对这些数据资源进行专业化处理，通过“加工”来实现数据资源的“增值”，其对经营管理和决策过程转型升级的价值就得不到很好体现，甚至会给运营管理和决策带来负面制约作用，阻碍了企业应对市场生存挑战的转型和变革。因此企业需要一把开启数据资源金库大门而实现在互联网时代业务价值倍增的钥匙。经过多年的信息化建设，当前很多中国企业各项经营活动已经实现了电子化处理，今天很多企业，都会有很多套应用系统支撑支持企业各项生产活动业务流程运转和中后台管理，每一套系统中都存有大量的数据，积累了规模庞大而且内容丰富的数据资源。可是由于缺乏对现有数据资源统一管控的机制和技术平台，企业目前数据资源的分布很凌乱的局面没有得到有效的直接管控，历史原因的建设的不同步造成新老各类系统在建设过程中根据自己的需求各自为政而形成了数据割据和数据孤岛的存在，表现为数据定义不统一、各系统之间数据不合理冗余，形成多头交叉的局面，特别是使用多年的老旧系统的存量数据所表现出来的数据不完整、数据内容过时失效等质量问题比较严重，这类问题给不少规划建设的新系统的上线运行带来了很大的障碍，客观上严重削弱了多年来企业花大力投入信息化建设的成效和价值体现。而且企业的战略成长需要信息科技应用水平向更高层次的迈进，这样的数据资源局面会随着更多的企业信息披露和监管报送、ECIF、客户关系管理系统（CRM）、内部资金定价（FTP）、绩效考核、风险管理、资产管理等企业级应用系统的陆续建设和投产所暴露出来，而数据质量问题已经成为严重制约企业整体信息科技应用水平和价值提升的障碍，事实上目前大多数中国企业的数据资源也无法为客户营销、精细化管理、风险控制、决策支持等当下企业业务向互联网+转型所必需的工作带来有效助力，因此，如果我们不能通过有效的数据治理工作来扭转这样的局面，不但企业多年信息化建设所形成的信息资产价值得不到很好体现，而且必然会由于跟不上运营管理和决策的数据需求而给企业的战略转型带来负面作用。企业战略转型急需信息科技扭转这种数据资源管控缺失的局面，为了使这些数据资源“包袱”变成“金矿”，有力支持信息科技工作达到预期的规划目标，通过建设和形成有效的数据治理体系来统一管控好数据资源就变得尤为重要和迫切。二、数据治理平台定位根据国际先进理念，数据治理是一个关注于在执行层面如何让各项数据资源实现业务战略价值需求的体系，成功的数据治理工作的实施是数据管控机制和数据管控领域的有效结合，得到业界普遍共识的数据治理体系架构包含以下内容与国际普遍认可的成熟的数据治理体系框架模型相对照，很多企业目前虽然也有部分数据治理工作，但整体来看缺失的内容还很多，而且现有的数据治理方面的工作成果和企业的业务运营管理和信息科技建设工作都没能很好地结合起来，目前并没有形成从全企业的角度统筹安排的数据管控机制，也没有一个技术平台支撑包括数据质量管理和数据标准管理的活动，这也让我们应该清醒认识到数据治理是一项意义重大、影响广泛而且任重而道远的系统性长期性的工程。同时我们要客观分析企业的现实情况，当下很多企业信息化还在大规模集中建设期，各项信息系统的建设和优化升级工作正在如火如荼的开展之中，如前述所述，老旧系统的存量数据质量问题的矛盾非常突出，很多业务创新和市场营销的数据需求远远得不到满足，而新业务系统上线后由于数据质量问题而造成的生产问题也时有发生，摆在企业当前数据治理工作的燃眉之急是尽快解决影响信息系统推广应用效果和业务用户体验问题的各种数据质量问题，时不我待，先构筑一个大而全的成熟数据治理体系再考虑具体问题的解决无疑是不能适应企业迫切的当前发展需要的。因此，对于企业所要开展的数据治理工作，我提出以解决当前业务所遇到的数据质量问题为抓手，以构建的技术平台支撑各项解决问题的数据治理工作实施的总体策略，参考业界数据治理体系框架模型，在企业最高领导层的统筹安排下，由信息科技部门牵头平台建设和配套的数据治理实施工作，以高效解决当前信息科技成果推广中遇到的数据质量问题为切入点，在实施中整合信息科技部与业务部门的知识和意见，由科技部牵头通过引入成熟的技术支撑平台和实施服务，配套推动能在企业落地执行的数据管控机制和组织建设，形成对企业的信息科技数据资源进行全方位的监管和控制体系，让对数据资源的统一管控在业务部门与信息科技部门达成高度共识和建设性合作机制，以求在解决各系统各项目的实际问题中逐步形成对数据资源的良性治理体系。因此，我认为首先要明确数据治理体系和系统平台建设工作的定位是管控，对于管控定位的具体体现在以下三个方面。ü从职能分工的角度，数据治理平台体现了代表企业战略决策层对于数据资源的统一管控的职能要求定位，数据治理平台侧重在管控层面的计划和控制,具体数据问题的解决通过协调跨部门跨系统的资源予以实施和改进，这样更符合现代公司治理理念的管运分离原则，这样一方面解决目前企业在数据资源管理工作中存在的多头交叉而缺失统筹安排的问题，二方面能从管控的高度治理具体数据问题的时候能协调更大范围内有关资源，治理主体的分工责任更加明确，这样在效率和效果上更加可控；ü从范围来讲，数据治理涵盖了企业所有信息资产和数据资源全生命周期的不同形态，从前端生产系统数据来源到后端运营管理和决策的数据分析和输出呈现，形成一个端对端的数据闭环管控体系；ü从实施策略的角度，以解决后端数据分析成果输出的数据质量问题给各项业务运营管理和决策带来的困扰为导向，通过建设技术平台有效支撑相应治理过程的管控活动，通过技术手段准确监控造成数据质量问题的来龙去脉和前因后果，以对症把脉辅助具体治理活动背后良好管控机制的形成，形成的相关部门人员通力合作齐抓共管根除数据质量问题的针对性方案，最终通过每项问题的落地解决逐步积累企业开展数据治理工作的成功经验，对照成熟的数据治理体系框架逐步形成高水平的治理能力。三、数据治理目标场景分析为了更好地陈述企业开展数据治理工作的目标场景，我们首先总结一下当前缺乏有效管控而造成的数据乱象，具体表现为：一是由于很多企业目前还没有明确的数据管控责任主体组织，对数据采集、分布、流转及应用的数据分布、加工、利用缺乏合理规划和控制，数据需求、数据质量、数据应用等问题的管理和解决分散在不同业务和技术部门，没有一个清晰的协调机制和统一的报告渠道，业务部门不能及时、按需获得数据支持；科技部门也不具备把业务需求快速定位到已有的信息资产和数据资源等能力，对于数据需求和数据问题缺乏有效解决的方法和途径，基本靠各系统各项目各自来解决和消化；缺乏规范全面的数据质量治理流程和考核机制，不能及时发现生产源头的数据质量问题，及时要求有关责任部门进行整改；二是很多企业缺乏统一解决数据质量问题的组织和流程，目前各业务部门遇到质量问题的时候纷纷以新增需求或者变更需求的方式向信息科技部提出申请，把很多管理和业务上需要改进来解决的问题转变成信息科技的技术需求要求解决，这样的做法本身就是治标不治本的，而且这种应急性、临时性的需求提出和满足占用了信息科技部大量的技术资源来配合，而得到的是一些并不规范和难以管理、复用的代码资产，信息科技部又不得不分散了大量的资源来长期维护，一方面的这类的需求层出不穷地涌现，另外一方面这些价值不大的开发成果又浪费了大量的科技资源长期维护，导致企业信息科技投资的回报率偏低，很多的资源投入无法体现出应该有的价值。三是虽然有些企业已经颁布了《企业数据标准》，但由于一方面数据标准的定义不完整，常见的缺失是没有完成逻辑模型和物理模型的技术定义，因此不能被各信息系统建设项目在做数据库采集和数据存储设计的时候直接遵照；另外一方面《企业数据标准》虽然可能提出了数据分类，但并未能把标准中的数据分类和具体的信息科技系统和在建的信息科技项目建立清晰的关系对照，也缺失这个对于数据标准化成果在各信息化建设项目的标准化贯彻实施落地方面的评审检查措施，带来了数据标准化要求管理不到位的问题。这样事实上企业不同信息系统在建设过程中并未遵照统一数据标准要求进行各自的数据模型的设计，未能从设计源头就避免出现数据技术定义割据的问题，由于缺乏统一的技术标准要求，不同系统的数据模型难以逻辑上集成，难以建立全面、准确、完整地反映运营状况的单一数据视图，而面对诸如信息披露和监管报送、客户细分这样的数据利用需求的时候，每次都要根据需求反复开发针对性数据集成的代码，难以做到数据的逻辑整合和加工利用逻辑复用。从根本上解决这些问题，有待企业级的数据治理平台建成使用以及配套的保障机制逐步建立后，原来头痛医头脚痛医脚的解决方式才能被更合理和高效的方法所取代。l经过数据治理平台管控的数据已经消除信息错误、缺失、不规范的基础数据，统一监管报送平台完全可以压缩或者取消目前报送前大量的手工数据补录、调整和数据核对工作，实现自动化报送，解放人力资源、提高报送时效性和监管机构对企业的满意度。l建立统一的技术数据标准以有效管控各系统在数据定义方面的不一致，规范数据来源，统一客户信息标准，经过数据质量平台的多次校验和源数据平台对数据的修正后，各个系统的客户信息会达到一致，ECIF中的客户信息就可以代表各个系统中的客户信息，各个系统中的信息也将同步一致。l在建项目将来将统一经过数据标准化和数据质量管理后的数据仓库/ODS等作为统一数据来源提供，将不会存在多个系统同时供数、各自有各自标准的情况。四、数据治理平台建设内容建议根据以上分析，数据治理工作是一项影响广大深远而复杂长期的过程，牵一发而动全身，数据治理每项工作都牵扯到跨部门、跨系统的信息传递和资料共享，做好数据的管控工作首先需要大量的沟通和信息流转，没有技术平台来支撑各项数据治理的管控工作等于人体缺了中枢神经系统，举步维艰是必然的。而结合企业常见的数据治理领域重点工作，可以近期首先引入建设数据标准和元数据管理系统和数据质量管理系统，以下是我对这两个系统的建设内容的初步分析，各企业后续在项目建设要求和需求分析阶段还要逐步做更全面的补充。一、数据标准和元数据管理系统：通过建立一整套数据规范、管控流程和技术工具来确保企业各种重要信息资产和数据资源，包括产品、客户、机构、账户等信息在企业内外使用和交换的表达上是一致和准确的,数据标准可分为技术标准和业务标准。针对企业现有情况，针对标准不统一的问题，通过在数据治理平台首先把所有数据资源的图纸---元数据资源集中管起来，然后建立各系统元数据资源和数据标准要求清晰的对照关系，依此扎扎实实地实现数据标准管理功能落到各系统的数据模型设计细节。提供管理业务、技术元数据，支持数据溯源，有效支持企业“数据标准管控委员会”开展工作。对于已建和在建的各系统，通过这个平台汇总的数据模型资料对其设计的数据模型做好数据标准检查工作，针对信息要素中的数据字段比对标准的业务定义，补充完善标准的技术定义，让企业《企业数据标准》成为一个活学活用的标准，并且在使用中不断完善。以上管理工作可以通过业界成熟的元数据管理管理予以支撑，通过元数据管理工具，不但可以把数据标准以模型的方式形式化，以便于各系统采用，而且也可以对各系统的数据模型文档统一管理起