微软解决方案-主数据管理问题和挑战今天大多数企业随着信息化建设的逐步推进,面向不同业务领域的应用系统已经得到广泛的使用,但是企业层面的系统集成以及系统相互之间的协调等需求也日趋增多,例如:ERP系统需要统一人、财、物、客户和供应商等编码CRM需要统一其销售和客户数据B2B需要整合供应商和物料数据流程生产部门需要整合实验室管理信息系统(LIMS)的数据质量安全环保部门需要整合HSE相关的数据企业高层管理人员需要统一全面的掌握企业业务经营数据要求业务系统提供统一全面的报表和经营分析,而不是各个系统各自为政的割裂视图。这就要求能够整合现有系统,给出整个企业层面的公共数据视图,并与各应用系统相结合,统一的进行企业数据分析、管理,避免数据的片面、冲突。企业运营需要多个内部系统间或与外部合作伙伴系统间的交互协作企业的业务经营本身也逐步要求跨过现有系统的边界,进行多个应用之间的交互,统一的为企业内、外部各种客户提供快捷、全面、细致的服务。数据中心和容灾备份的需要一些IT规模比较大的企业,由于业务集中和管理等各方面的要求,开始进行数据中心的建设,为了集中管理各系统中的海量数据,迫切要求有统一、规范的流程和方法处理这些数据,同时,也适应灾备的要求。但是现有的很多系统从设计、开发、实施、管理和运营的各个阶段,都是针对应用领域来进行的,这些应用系统关于数据都有自己的业务模型、规则和定义,这就导致了应用服务质量的下降(如:客户关系数据的质量导致CRM系统的有效性大幅下降)。为了实现应用整合和数据整合的目标,必须考虑跨越各个系统之上的主数据管理。解决方案概述微软的主数据管理(MasterDataManagement-MDM)解决方案,提供基于SOA架构的处理企业中各种应用系统中的结构化和非结构化数据,并与企业的业务处理流程相适应的设计、实施框架,指导和帮助企业构建和实施企业的主数据管理。整个方案可以分为四个阶段实施:1.建立标准共数据编码规范和管理维护流程,实现公共数据编码整个生命周期的全过程管理。2.建立支撑公共数据编码规范和管理维护流程的公共数据编码管理平台,集中统一管理公共数据编码数据库。3.通过公共数据管理平台对公共数据进行集中管理和维护,利用微软的数据整合技术(ETL、BizTalk、WCF等)通过数据接口与各类同构、异构业务平台进行数据同步,使得各个业务平台可以使用整个企业范围内统一、规范的公共数据进行业务操作并为数据仓库中将要进行的数据分析打好基础。例如,客户数据整合―CDI,产品信息管理―PIM。为未来建立企业的数据中心、容灾战略打下基础。4.提供统一、一致性的数据服务:为企业高层管理人员的经营分析提供准确、一致的信息,帮助做出正确的决策;避免生产经营中的数据冲突,提高客户服务质量。方案优势和业务收益方案优势:1.微软解决方案中所采用的产品和技术,从其设计开始,就是遵循统一的原则,因此在相互之间能完美的结合在一起,提供全面的MDM的功能。其它厂商的MDM方案或是收购的第三方的产品和技术,在功能上厂商自己也还在进一步整合之中,对于客户这是巨大风险。2.开发复杂度小,在系统的管理与维护还是应用灵活扩展方面都具有较强的优势。3.有成功的行业用户,能与企业的业务需求很好的结合。4.微软的从数据平台、安全、桌面到移动解决方案,乃至于消费娱乐产品,为企业提供全方位的信息服务,满足各种复杂的业务需求。业务收益:1.对公共数据的统一编码,使企业内部的客户、物料数据可以跨越应用系统,为企业的业务整合奠定了基础。2.各业务系统,均采用公共数据平台的主数据,使主数据实体的使用在各业务系统中的使用在全公司范围内统一,并为数据仓库中将要进行的数据分析打好基础,为企业高层管理提供准确、一致的业务分析数据成为可能。3.“整体比部分相加之和的内容要多”,通过微软MDM解决方案的构建的公共数据管理平台,使得与之相连的业务系统的效益得到更大得发挥,并实现了更高层面的客户、产品和物料数据的一致性,提高了业务服务质量,创造了更多的增值服务领域,为企业拓展新业务提供良好的技术支撑。4.公共数据平台中规范数据管理,为企业适应新的法规依从和内控管理提供了技术保障,同时,保护了企业核心数据的安全。总体架构和主要功能模块特色Web用户界面主数据管理用户应用处理环境工作流程管理主数据申请主数据审批主数据数据管理主数据查询主数据数据库用户身份管理授权系统数据交换处理开发管理环境用户界面开发主数据业务管理主数据编码规则处理主数据申请主数据审批主数据查询主数据转换主数据分发规则主数据编码处理主数据清理数据分析主数据分发处理工作流程定义分发流程定义流程监控管理分发接口定义流程调度接口调用数据抽取数据存储数据备份SAP业务环境主数据平台接口其他业务系统主数据平台接口图1:微软主数据编码系统逻辑结构图整个主数据平台逻辑上分为5个部分:Web系统、应用处理系统、开发管理环境、数据库和外部业务系统。Web系统负责提供给用户进行主数据编码维护的页面、并满足用户向系统的页面请求和处理,以及和后台应用系统之间的功能调用。Web系统提供的功能主要在Web服务器上实现,Web服务器采用Windows2003+IIS6.0,使用ASP.NET技术来完成页面功能的开发实现。以MOSS作为业务整合的门户平台,为员工高度集成的一体化工作平台,帮助客户实现统一的沟通和协作,使员工可以在轻易实现基于网站、文档等的协作,满足多种业务系统复杂操作的要求。用户通过Web浏览器与服务器建立连接,进而获取所需的服务。应用处理系统负责工作流程的管理调度、数据读取存储以及和其他业务系统的数据交换。在应用处理系统中,主要分为四个组成部分:工作流程管理。工作流管理主要负责编码流程的调度、编码流程规则的管理等,采用.Net的WWF来实现,为业务部门提供了按需定制的可能,使维护建主数据数据管理。数据管理包括数据的查询、清理和分析功能。采用微软WCF、SSIS实现数据的整合,BizTalk可以实现更为复杂业务过程的数据整合;利用SSAS、SSRS和ADO.Net完成数据分析、导入/导出,控制数据质量。主数据业务管理。业务管理模块主要完成主数据编码业务上的处理,其中包括编码规则的处理和编码的处理。数据交换处理。数据交换处理在主数据编码完成后,完成系统间的主数据同步工作,主要包括同步流程调度和各个外部系统的接口调用。充分利用BizTalkServer、WCF、SSIS等数据整合技术,与各种平台的不同业务应用场景的系统进行数据的双向同步。具体实现主要由BizTalkServer2006来完成主要的流程调度和规则判断。同时使用.NET技术编写相应的业务模块完成业务功能的处理和数据库的访问。数据库系统负责数据的存储利用微软SQLServer2005的数据库管理平台,保证海量数据管理的高效、可靠。数据库服务器用来保存所有的主数据编码数据以及系统的其它数据。建议采用Windows2003+SQLServer2005的方案。开发管理环境基于MOSS和Office2007,开发管理环境是用来开发和管理主数据编码系统的用户界面,工作流程,同步流程等等。外部业务系统MDM系统提供灵活丰富的适配接口,采用微软的Biztalk、WCF等方式与其它各类系统互连,实现复杂业务的要求。案例列表和重点客户案例分析该解决方案在国内外具有多个实施成功案例部分国外成功实施案例部分国内成功实施案例PlayCore中国石油(与SAP互连)McKessonTigerBrandsRSMMcGladreyGlaxoSmithKlineConsumerHealthcare中国石油(与SAP互连)客户问题中国石油是一家集上下游于一体的特大型上市公司,主要业务覆盖石油勘探与生产、天然气与管道、炼油与化工以及市场与销售。基于微软MDM的解决方案由微软顾问咨询部设计、实施,解决客户以下方面的需求:建立公共数据编码平台:通过平台实现对公共数据编码规则及管理流程的支撑,实现中国石油公共数据编码的标准化。以ERP系统对公共数据编码的需求为起点,建设一个对整个中国石油公共数据进行全生命周期管理的平台,通过平台实现对公共数据编码规则及管理流程的支撑,实现中国石油公共数据编码的标准化。建立ERP项目试点公共数据编码数据库通过平台实现公共数据编码的管理实现公共数据平台与ERP系统及试点应用的数据集成解决方案中国石油的主数据编码系统的结构完全采用微软的MDM解决方案,基于Web的客户/服务/数据的三层应用逻辑体系结构,各功能模块的实现也是依据微软的MDM技术框架构建(参见本文前面说明)。以下是建设过程中几个特点:1.系统建设初期,数据库系统采用SQL2000和Biztalk2004构建,随后,顺利的迁移至SQL2005和Biztalk2006;2.整个系统使用MOM2005作为其管理和监控平台,补丁管理也全面采用微软的解决方案,保证系统的稳定运行和管理。3.按照中国石油IT整体规划的要求,平台建设与企业的ERP的建设同步进行,在项目建设时间内顺利完成,全面实现了以下目标:建设一个能够稳定运行、支持标准规范与流程的公共数据编码平台建立ERP项目试点公共数据编码数据库,实现公共数据编码平台与ERP项目试点系统的数据集成基于ERP对公共数据的需求,给出公共数据编码规则和编码管理流程,同时能够根据ERP以及企业信息化的推进不断完善业务收益基于微软的MDM解决方案,按照中国石油的业务需要,迅速的完成了系统的开发上线,并与中国石油的ERP(SAP)系统等系统实现了良好的互联,为企业带来了巨大的经济效益。项目结果公共数据编码平台作为中国石油的MDM,已经成为其ERP系统的核心数据平台,并逐步开始为其它业务应用系统提供主数据服务。解决方案微软产品实现图11:MDM核心平台实现示意如图11,MDM平台一Windows和SQLServer作为核心的数据平台,MOSS作为门户平台,结合微软各种技术,实现主数据管理的各项功能。微软产品与相关技术名称主要用途Windows2003EnterpriseServer操作系统平台,功能、数据权限控制BizTalkServer2006Enterprise业务规则、流程编排、SOA交换平台SQLServer2005Enterprise基础数据库平台:用于交换平台的消息交换中间库、管理和配置信息存储库数据质量管理和优化SSRS,SSIS,SSASWCF,WebServicesInfrastructureSOA平台关键技术ADO.Net实现实体数据建模(EDM)和entitySQLMOSS门户平台和工作流平台WWF工作流框架