搜索
当数据治理变得官僚化：数据治理策略如何约束您的多领域主数据管理方案的价值DanPower在过去几年，我们看到许多行业采用了多领域主数据管理(MDM)技术，尤其是制药、生物技术、金融服务、保险、高科技以及医疗设备制造行业。各公司继续寻找新方法，以增加收入、削减成本并提高合规性。利用多领域MDM系统创建“唯一真相来源”，借助统一、干净且一致的业务数据，例如客户、产品、供应商和员工—也称为主数据，各公司获得了可持续竞争优势和显著的投资回报率。根据Gartner公司的2009年“用于客户数据主数据管理的MagicQuadrant”，MDM相关软件和服务市场继续以两位数增长，即使在通常不确定的经济形势下。但是对于尚未实施多领域MDM的那些公司，许多业务方案可能出现问题，因为关键主数据分散在大量不同的应用程序、系统和数据库中。这种情形（包含不一致和重复主数据的“信息孤岛”）导致企业内的重要流程以“脏数据”为基础。这使得正确处理订单、即时支付发票、及时引进新产品、保持较高的客户满意度和保持率以及提高灵活性和创新的总体水平变得非常困难。因此，具有脏数据的公司花费的成本更高并且效率降低，大多数影响隐藏在组织的固定成本中。多领域主数据管理有效地解决了这些问题。它将多领域MDM系统与集成、数据质量和丰富功能结合在一起，得到新数据治理组织和管理主数据的新流程的支持。将关键主数据引入MDM系统中，集中整理它，然后与企业的其余部门共享，产生的主数据是精确、完整、及时且一致的。整理主数据可提高组织的营销、销售、财务、客户服务和其它核心运营领域。白皮书发起人随着时间的推移，解决与零散的主数据相关的常见问题使企业有机会获得更高级别的MDM和数据治理成熟度，并获取其它优势，例如增加收入、降低成本以及提高合规性。从使用零散数据到使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条，此发展过程需要一些时间。公司通过几个常见发展阶段取得进步，例如从应对型数据治理到主动数据治理的转变。定义的应对型数据治理实施多领域主数据管理系统的大多数公司最初使用了“应对型”数据治理。流行的诸如客户关系管理(CRM)等“前台”应用程序和诸如企业资源规划(ERP)等“后台”应用程序用于授权主数据，例如客户、产品、供应商、员工等。然后，数据移动工具将最新的或更新的主数据移动到多领域MDM系统中。它整理、匹配和合并数据，以创建或更新“黄金记录”，然后同步回原始系统、其它企业应用程序以及数据仓库或商业智能/分析系统。80%到90%的实施多领域MDM技术的公司以此“共存”架构开始。但是，由于CRM和ERP应用程序为“录入系统”，而MDM系统的角色限制为“记录系统”，因此一些问题依然存在，主数据管理的一些重大承诺依然无法实现。[2]MDMCRMCRMERPERPJonQJonesJQuincyJonesJonathanQuincyJonesrrr应对型数据治理无法实现多领域MDM承诺在上述情况中，业务用户继续使用并依赖他们的“录入系统”（并忍受其缺点），企业通常会建立数据管理员小组，他们主要处理“记录系统”。一般用作“录入系统”的CRM和ERP应用程序通常不强制执行MDM系统或“记录系统”要求的所有属性。因此，通常强制数据管理员执行耗时的研究，以便填充主记录中的重要字段，在“录入系统”中最初创建这些字段之后，通常留为空白。更重要的是，“录入系统”通常没有严格防止重复记录录入所需的复杂搜索和匹配功能。之后，可在作为“记录系统”的多领域MDM系统中识别和合并重复项，但是最好解决问题或在源头预防它们。一个有用的经验是，事后解决数据质量问题比在源头解决它们或在一开始便防止它们发生更昂贵。因此，当业务用户创建重复的新记录时，重复性成为MDM系统和数据管理员需要纠正和管理的问题。此因素和填充重要但是空白字段所需的研究会导致大量时间延迟以及业务用户和数据管理员之间的重复操作，并且很难达成服务级别协议(SLA)、数据质量目标、效率目标以及总投资回报率。在一些情况下，由于人们认为数据管理员将会注意所有问题，业务用户甚至可能不关心精确且一致的数据录入，导致应对型数据治理策略竟荒谬地成为更低级别的数据完整性的原因。应对型数据治理对业务绩效的影响应对型数据治理（它通常包括使用批量集成来同步从MDM系统到传统“前台”CRM应用程序和“后台”ERP应用程序中的主数据）会影响业务部门的几个领域。批量集成和应对型数据治理方法引入的时间延迟可能导致这么一种情况，即业务部门继续操作重复、不完整且不精确的主数据。因此，这会降低多领域MDM方案实现在正确的时间向正确的人员提供正确数据这一预期业务目标的能力。在期望被设定为数据将变得干净、精确且及时之后，批量集成引入的时间延迟让人感到沮丧。应对型数据治理（下游数据管理员小组负责整理、去重复、纠正和完成关键主数据）可能导致让人认为“数据治理官僚化”。[3]应对型数据治理还会导致最终用户将数据管理团队看做“数据质量警察”，并产生相应的官僚化和延迟以及主数据仍然不干净的负面认识。这还将使得MDM方案更难实现它的所有预期优势，并可能导致更高的数据管理总成本。此方法的风险是组织可能以“两个领域中的最差”而告终，至少部分上如此–已在MDM方案中投资，但是只能实现一些潜在优势，即在整个企业内获得干净、精确、及时以及一致的主数据。那么，有哪些选择？应对型数据治理的选择应对型数据治理不是必然的。在早期实施中，与多领域MDM系统配合使用的工具在黄金时段准备得不够充分。它们针对的是数据管理员。它们不是专注于业务或最终用户的。由于这些局限性，各组织被迫选择两个方案中的其中一个：维持现状或开发自定义“前端”，它们对于一般最终用户具有足够的用户友好界面以创建和更新主数据。但是，创建自定义前端的负担很大。除了定义、设计、开发和部署MDM系统的其它方面外，还增加了一个重要的额外任务，即创建自定义前端。这显著增加了多领域主数据管理的初始成本。更重要的是，根据GerardoCanfora和AnielloCimitile的“软件维护”中所述，“软件维护占生命周期总成本的60%到80%”—因此，对于花费在初始开发上的每1美元，在此类型的应用程序的使用期间将产生大约4美元的维护成本。有三个方法可超越应对型数据治理。1.用户将数据直接输入到多领域MDM系统中：用户使用界面友好的前端将数据直接输入到多领域MDM系统中，但是他们的新记录和现有记录的更新留在暂存区域或保留区域，直到数据管理员审核和认证为止。这之后MDM系统才接受插入或更新，以便进行完整的整理、匹配、合并，并将“最佳记录”发布到企业的所有其他应用程序。此方法好过将一个完全不同的应用程序（例如CRM或ERP系统）作为“录入系统”，但是它仍然会出现延迟和效率低下。尽管存在这些缺点，使用暂存区域确实解决了大部分问题，例如不用强制执行重要属性的录入或在创建前不必进行彻底搜索。此外，由于我们并不受传统应用程序或现代CRM或ERP应用程序如何处理数据录入功能的影响，通过不对应对方法进行批量数据移动，我们还大大缩短了时间安排。[4]2.用户输入直接传送到多领域MDM系统中的数据：在外面输入新记录或更新，但是会立即传送到MDM系统，以便自动整理、匹配和合并。异常或例外传送到数据管理员的队列，几个管理员便可支持更多最终用户。这是第一个主动方法的改进，因为我们利用MDM系统的业务规则、数据整理和匹配功能，只要求管理员查看作为整理、匹配和合并流程的例外而弹出的插入或更新。3.用户使用特定于数据治理的前端输入数据：第三个方法是允许最终用户直接录入到多领域MDM系统中，但是应使用专为主动数据治理方法而设计的前端。可专门为最终用户数据录入设定屏幕，您可利用功能齐全的MDM系统允许的自动化、数据整理、业务规则、搜索和匹配等所有功能。因此，不必首先将数据输入到MDM系统的暂存区域中，并且您不需要系统外的单独工作流应用程序。最新且最好的主数据录入系统外加强大的MDM系统（它包括强大的搜索、匹配、数据整理和业务规则执行功能）使得一般最终用户可安全地将新记录或更新后的记录直接输入到MDM系统中。高效录入系统还能使数据管理员更具效率—他们可花费时间研究和纠正合法问题，因为他们不必手动检查每个最新或更新后的主记录。定义的主动数据治理那么，我们如何朝着更主动的架构和数据治理模式前进？第一个要求是我们开始在多领域MDM系统中直接授权数据，分离传统CRM和ERP系统中的数据录入。当录入系统和记录系统为同一个系统时，应用程序架构很简单。CRM和ERP系统变成主数据的消费者—它们不再创建它。但是，为了实现此有价值的简化，需要灵活、用户友好的界面。它有助于创建针对不同业务用户（从临时用户到专家）组的用户界面版本，同时仍然具有完整的数据管理控制台，数据管理员通过该控制台可处理需要人为判断的问题，并跟踪数据质量度量标准和解决异常。多领域MDM系统本身的角色发生变化，从在别处输入或更新的数据的被动接收者和整理者变为原始录入系统和记录系统。新记录或修改后的记录通过内部数据治理规则后，MDM系统通过实时或接近实时的中间件将经过认证的记录发布到CRM和ERP系统以及所有数据仓库或分析系统。如果不需要实时或接近实时的反馈，新记录和更改后的记录可排队等候，以便通过批量集成与企业的其它系统同步。[5]这一变化还消除了主要的复杂性原因。MDM系统成为了源系统，企业中的其它应用程序和数据库成为消费系统，而不是让处于复杂源系统网络的中心的MDM系统位于左侧，而消费系统位于右侧。因此，省去了接近一半的系统集成工作量，并且还省去了映射源系统和其独立且特殊方法（允许数据录入返回到MDM系统）的工作。这看上去是一个激进的步骤，但是它实际上是长期趋势的延续。当企业应用程序套件最初变得通用时，公司假设它们的新CRM或ERP系统是唯一的真相来源。但是，随着时间的推移，公司沦为扩散系统和数据库的牺牲品。因此，没有一个前台或后台系统拥有完整的主数据集。如果您将要添加一个多领域MDM系统并承认CRM和ERP系统并不是设计用于管理主数据，为何不进行下一步骤并取消它们的创建、更新或删除主数据的功能，而是允许这些系统只能读取和处理主数据呢？主动数据治理如何发挥作用该主动模型更加注重成为主数据所有者而非仅仅将数据输入到录入系统的业务用户。并非仅仅输入几个关键字段并让数据管理员担心精确性、完整性、时效性以及一致性等重要问题，这些目标的责任转移到业务用户身上，他们需要数据是精确、完整、及时且一致的，以用于日常操作。在业务部门中拥有更多责任以确保主数据的质量对主数据的使用具有重大影响。创建新客户或产品并在需要时修改它所使用的端到端流程更加可视化和简单，因此让主数据的使用者更可能相信它。并不仅仅是作为一个黑盒（在其中输入的新创建的记录的状态是不完整、肮脏或重复的，但是从MDM系统出来时“神奇”地变得完整、干净且不重复），使用该数据的人将拥有关于审计历史记录和数据沿袭的更好信息，这将提升业务用户对主数据的信任级别。[6]MDMCRMERPJonathanQuincyJonesJonathanQuincyJonesrrr[7]此外，数据管理员的数量（和其角色）将改变。由于最终用户将能够直接在MDM系统中输入新记录，因此数据管理员应当很少充当“数据质量警察”。MDM系统本身将对完整性、精确性和一致性强制执行重要的业务规则。当用户不再依赖CRM和ERP系统（及它们的怪异特性）执行主数据的初始录入和更新之后，数据管理员可着重管理例外并监控用于衡量主数据的质量、可用性、安全性和有效性的重要标准。主动数据治理的业务优势多领域MDM的业务优势源于拥有最好、最干净的数据源，可提供给企业内的大多数人，同时仍然具有数据质量工具和严格的规则，以避免录入不精确、不完整或不一致的数据。主动数据治理的第一个优势是可在源头获得主数据。具有严格的“搜索后再创建”功能和强大的业务规则，确保关键字段填充经过批准的值列表或依据第三方数