数据集成解决方案

数据集成1.数据集成系统现状企事业内部有不少的应用系统，比如财务系统、人力资源系统、工程管理系统（项目管理、采购管理、库存管理）、管理数据统计系统和企业信息门户。这些系统一般都有不同供应商提供，他们之间的信息有重叠和不一致显现存在。因此很容易产生下列的问题：1.1基础数据多头管理，系统间数据一致性差对于同样的问题，每个不同的系统都维护有自身的数据结构，例如在工程管理系统中存在供应商数据，而在物资系统中也存在供应商数据，这两个系统对同一个供应商可能存在不同的编号、不同的命名等等。这就导致了两个系统间没有数据标准，在工程管理系统中更新了供应商数据后，物资系统无法依据指定的规则进行同步更新，造成了企业主数据的混乱局面，难以满足快速支撑精确管理的需要，使得企业的运营效率和管理水平难以进一步提升。1.2接口没有实现统一的接口平台由于没有统一的企业主数据，目前系统接口均采用点对点方式，技术实现方式多种多样，例如最多的方式是数据库直接存取，接口双方需要明确知道对方的底层数据结构，这导致了完成和维护这些接口是一项非常艰巨的任务，并且在不同的供应商之间难于明确自身的责任，出现问题之后相互推诿。1.3企业内部信息难以完整统一和共享由于现在的应用系统是由不同的供应商提供，基础数据难以同步更新，各自产生的数据信息，都成了一个个的信息孤岛，彼此之间的数据难以共享。企业不容易获取汇总信息。2.数据集成需求分析接下来我们从业务和系统两个方面来分析数据集成的需求：2.1业务需求2.1.1统一用户视图的提供及展示企事业应用系统给用户提供各种服务，需要在各个应用系统上提供及展现统一用户视图信息，通过数据集成实现统一用户视图信息的共享，支撑多个层面快速准确地获取用户和产品信息，提升用户感知。比如在营销、销售、服务中，提供营销人员营销活动所需的市场统计数据和目标用户数据，以便进行精确化营销；提供销售人员单一用户视图信息及其统计数据的即席查询，以发现用户需求，增加2销售机会；提供服务人员跨系统数据的支撑，以进行用户分等级服务、用户增值业务，订购信息快速查询和退定等工作。2.1.2统一企业运营报表的提供和展示CRM、计费等生产系统分别按照本系统的自有数据向外提供运营报表，不同部门对数据的时间和业务概念理解不一致，造成不同系统的报表有差异，同时手工进行报表拼凑也会造成差异，于是产生了不同部门有差异，不同组织层级有差异，而且大量按需的对外报表提供对生产系统性能影响很大，不利于生产系统对其核心事务处理的稳定运行。因此通过数据集成，统一企业运营报表的数据源，形成统一的指标体系，并通过统一的企业数据应用门户，实现企业运营报表的统一提供和展示，实现多纬度的报表需求，以支撑精确化管理需要。2.1.3支撑企业运营过程的统计、监控和考核全过程的营销支撑需要对市场计划、营销活动、销售活动等各项工作事前预期，事中监控，通过数据集成，基于从各生产系统搜集到市场营销与销售的相关信息，对市场营销与销售业绩完成情况进行统计，并通过用户发展、业务量、收入等关键绩效指标和实际完成状况的关联，完成对各部门、团队或渠道的KPI指标进行监控与考核。2.1.4支撑企业运营过程所需跨系统数据的批量计算为了更好地支企事业工作的开展，提升用户管理能力，需要建立用户积分、信用度等用户评价体系；为了实现用户品牌维度，对相关量收指标进行统计；为了，发展优质用户，需要复杂、完善的渠道佣金计算支持；随着产品为中心向用户为中心的转型，越来越多运营过程所需的跨系统、大量细节数据的批量计算需求都需要统一的数据集成中心提供相关数据。数据集成中心作为企业运营数据共享平台，收敛企业各业务系统中的运营数据，按照企业数据模型进行数据整合，提供运营数据共享，支撑跨系统数据的应用，提升数据质量。2.2系统需求2.2.1实现数据统一数据集成中心在对企业数据的整合过程中能够实现以下三个统一：1.统一数据模型由数据集成中心承载企业数据模型（EDM），促进企业各域数据逻辑模型的统一。在企事业内新建或改造的系统，其数据模型应向数据集成中心所承载的企业数据模型靠拢。数据模型是各个系统及应用间交互的基础，通过数据模型的统一，减少系统及应用间复杂的转换，提高系统、应用、接口的效率。32.统一数据标准数据集成中心中建立标准的数据编码目录，源系统数据依据标准的数据编码目录，经过整合后进入数据集成中心存储，实现企业数据的标准化与统一存储。3.统一数据视图基于数据集成中心所存储的数据，支撑实现统一数据视图，使企业在用户、资源等视角获取到的信息是一致的，提升用户、以及企业内部的管理人员与分析人员对系统的感知。2.2.2实现数据共享数据集成中心为企业各业务系统提供统一共享数据接口，减少系统间相互接口的重复性，降低接口的复杂程度，提高系统间接口效率与质量；为跨系统数据应用提供数据支撑。数据集成中心作为企业运营数据共享平台，是各业务部门和企业管理层获取统计数据的唯一来源。数据集成中心可将某个生产系统的数据以准实时地方式存储转发至其它对数据实时性要求不高的生产系统，以减少生产系统间的网状接口。数据集成中心以实时的查询服务或准实时批量的数据提供的方式将数据集成中心内整合或计算好的数据向外部系统提供，以配合外部系统支撑统一用户视图查询、用户服务流程等功能。2.2.3实现数据应用数据集成中心利用自身系统的数据提供以下几类功能：1.查询应用实现查询条件不固定的按需查询功能。用户可以根据关心的维度查询数据集成中心内整合好的360度业务全貌数据，如，为渠道经理提供完整用户视图信息的查询，为用户提供完整用户视图查询、用户账单查询等。2.固定报表应用固定报表是维度和指标固定的统计结果的展示，在数据集成中心内对于实时性要求高的报表采用即时生成的模式，而对于实时性要求不高的报表，基于性能影响和资源开销两方面的考虑，应采用后台通过作业的方式先自动生成，在需要时可以立即展现结果。报表展现应支持多种图表方式，如饼图、柱图、线图等；支持报表数据导出为其他文件类型，如EXCEL、CSV、XML、PDF、WEB存档文件等；支持报表精确打印控制。3.动态报表应用基于数据集成中心整合好的数据，可以利用报表工具，按关心的维度和指标对数据进行主题性的统计，动态报表应用中，维度和指标不固定，可在数据模型支持的范围内变换。在数据集成中心上可实现多种动态报表。44.计算应用数据集成中心可基于整合好的数据按照设定好的业务规则进行部分属性数据计算，计算结果并不在数据集成中心内直接更新，而是由数据集成中心返回到该属性数据的属主生产系统，由属主生产系统完成该属性数据的更新后，再通过数据抽取、加载过程进入数据集成中心之后更新。2.2.4实现数据质量管控数据集成中心在数据收敛的过程中，能完成以下数据质量管控工作：1.数据质量校验根据规则对数据集成中心所存储的数据进行一致性、完整性、正确性的校验，形成数据校验结果并交付源业务系统进行修正。2.数据质量管控通过建立企业数据的质量标准、数据管控的组织、数据管控的流程，对数据质量进行统一管控，达到数据质量逐步完善。3.数据集成目标通过数据集成，数据集成中心应该能达到以下几个目标：3.1建立规范统一的指标体系根据企业的业务实际情况，建立面向企业指标体系的数据接口，用于收集企业各系统间的指标数据，同时为企业各系统提供所需的指标数据，成为沟通企业现有系统和未来系统之间各种关键业务指标数据的信息桥梁。3.2统一的数据采集接口建立统一的数据采集接口，根据企业实际业务需要，定义符合企业需要的数据采集指标，通过企业数据业务平台统一的进行数据采集，改变原有层层下达参数，再层层汇总、层层过滤，时效性和准确性亦难以保证的问题。3.3统一的数据存储中心通过企业规范的指标体系，收集和整合相应指标数据，存储到数据集成中心。按照统一指标、统一统计口径和统一数据概念的要求，存储指标数据和建立数据存储中心，满足不同系统之间相互获取数据的要求，同时为数据的综合分析和历史回溯奠定数据基础。3.4历史数据的回溯分析基于规范性与灵活性相结合的原则，通过对数据存储中心的历史数据进行提取和加工整理，采取5分级用户具有分级权限，在权限范围内灵活使用数据，进行分析和查询，可以为管理决策者在生产管理和经营决策上提供科学有效的历史数据依据。3.5建立数据应用接口企业在生产经营决策过程中，通常迫切需要了解企业外部的实际情况，所以需要打通企业与外部的数据壁垒，实现彼此之间数据共享。这种需求通过建立企业与外部之间特定的数据应用接口，一方面，从外部抽取企业需要的特定商业指标数据，另一方面，提供外部所需的企业指标数据。通过二者数据之间的充分对比分析，实现数据之间的数据共享，提高现有系统的数据使用率和有效地提高数据支撑能力，为管理层的经营决策提供坚实可靠的依据。3.6建立统一的决策分析管理平台通过对采集的基础数据信息的提取和加工整理，本着规范化与灵活性相结合的原则，设定不同的使用权限（组织和人员），灵活使用数据，进行分析和查询。系统统一下发固定报表模板，同时用户可根据个性化需求灵活定制报表，提供决策支持。4.数据集成思路通过前面的需求分析，我们可以整理出我们的数据集成思路，从而设计合理的数据集成方案。数据集成系统对于企事业的长远发展来说，应该是处于企业应用系统与企业数据仓库系统之间的。企业的一系列数据中，一部分是实时性要求非常高的，必须要求能实时的更改存放在多处的同一份数据；而有一些数据则实时性的要求不高，不需要实时地进行修改而是定时进行相应的同步即可。ODS的思想结合ETL与ESB等相关技术，实现这一套数据集成系统是比较合适的。4.1通用ODS架构分析ODS（OperationalDataStore），运营数据存储或者操作型数据存储，存储了运营系统（OLTP，联机事务处理系统）近实时的详细数据。ODS是企业数据架构中最为复杂的一种形态，它既要满足数据事务操作要求，又要满足数据分析要求。它是“一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息的需求”，常常被作为数据仓库的过渡，也是数据仓库项目的可选项之一。ODS的引入是为了寻找能满足快速加载和数据整合的性能要求，并且减少面向分析的需求的变更和扩充对业务系统的影响的解决方案。这一解决方案是在业务系统和EDW中的按主题存储的历史数据存储层之间增加一个数据整合层（也叫做数据缓冲层）。数据整合层的作用主要体现在以下两个方面：6数据结构和处理流程是以快速从业务系统中加载和整合数据为目的设计实现的，因此尽量减少复杂的数据转换，只对原始数据进行清理和整合，这样，可以满足快速加载和数据整合的性能要求。另一方面，当面向分析的业务需求变更和扩充需要对数据仓库中的历史数据进行主题重组或增加新的数据时，所需数据将会先从数据整合层中提取，只有数据整合层也不能满足其数据需求时，才会从业务系统中提取数据，这样就减少了分析需求变更和扩充对业务系统的影响，数据整合层起到了一个数据缓冲的作用，同时提高了数据仓库系统对于需求广度和深度扩展的适应性。我们认为，ODS（OperationalDataStore）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。一般在带有ODS的系统体系结构中，ODS都设计为如下几个作用：1）在业务系统和数据仓库之间形成一个隔离层。一般的数据仓库应用系统都具有非常复杂的数据来源，这些数据存放在不同的地理位置、不同的数据库、不同的应用之中，从这些业务系统对数据进行抽取并不是一件容易的事。因此，ODS用于存放从业务系统直接抽取出来的数据，这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一致，因此在抽取过程中极大降低了数据转化的复杂性，而主要关注数据抽取的接口、数据量大小、抽取方式等方面的问题。2）转移一部分业务系统细节查询的功能在数据仓库建立之前，大量的报表、分析是由业务系统直接支持的，在一些比较复杂的报表生成过程中，对业务系统的运行产