数据仓库-EDW

数据中心ODS随着企业信息化建设的发展，巨大的投资为企业建立了众多的信息系统，以帮助企业进行内外部业务的处理和管理工作。随着信息系统的增加，各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。同时随着时间推移，各系统不断沉淀大量的历史数据。如何打破信息孤岛，充分利用现有的历史数据，为企业提供战略决策的数据支持是各行各业所必需考虑的事情。为支持企业各项业务的长远发展，不断提高管理水平，建立实现企业数据交换、数据集成的企业级数据中心，并在此基础上初步建设数据管控平台，有效实现数据质量管理，为后续数据线规划的报表管理以及EDW等系统建设奠定基础，为企业提升核心竞争力，优化资源配置、实施有效管控，提高服务水平、科学可待续发展和加速发展奠定良好的基础。一、系统规划蓝图二、东南融通的优势1、关键技术优势数据交换、数据加工基于统一的调度监控ETLPLUS、调度引擎JSI模块封装SHELL、可执行程序、存储过程、Datastage作业等各种作业类型的执行接口?高扩展性设计，实现ETL、调度监控和硬件的集群报表工具（BI.OFFICE、其他）成熟组件支持，文件交换组件，数据加工组件2、团队优势BI线条员工超过1200人，覆盖咨询、解决方案、研发、实施各个层面参与众多的ODS/EDW/BI项目实施团队彼此配合程度高、统一协调、合作经验丰富随时进行同行信息共享与交流，及时进行方案提炼数据仓库EDW现代商业银行面临着诸多挑战，包括金融改革日益深化的挑战、面临来自外资银行的竞争、银行国际化的发展需要、客户的要求越来越成熟、监管机构对银行的监管越来越严格。面对这些挑战，要求金融企业对企业经营数据和信息进行充分的掌握和分析，以帮助企业精确掌握企业的经营状况和准确决策。建立企业级的银行数据仓库是银行业整体信息资产的管理，建立信息资产的运营服务体系，提升信息资产的业务价值。东南融通投入了大量资源研究银行企业级DW&BI应用体系，如下图所示：BI.Bank解决方案蓝图，包括以下关键内容：一、数据仓库战略规划参照国际银行领先DW&BI体系架构，规划银行企业级DW&BI的技术框架、数据模型、应用框架，结合银行的业务管理改革步伐制定整体实施计划，帮助银行循序渐进地逐步建成企业级DW&BI系统。二、数据仓库技术平台数据仓库技术平台，即设计企业级DW&BI的整体技术框架，涵盖数据仓库、ETL、BI前端工具、元数据管理、数据质量管理、系统管理等关键技术的设计与集成。三、银行数据仓库模型BI.BankDWM是一套预定的数据模型，描述了数据仓库各个主题域的实现，是对银行全行数据进行整合和组织的工具。具有良好的完备性、扩展性和先进性。四、商业智能行业应用满足个人金融部、公司金融部、计划财务部、风险管理部、信用卡部等各业务部门的日常统计报表、分析报表、管理报表；提供高层领导需要的各类统计指标数据；满足监管机构的报表。并提供ACRM、绩效考核、平衡计分卡、资产负债管理等应用系统。五、数据仓库实施方法论按照结构化的过程管理思想，结合数据仓库系统实施的特点，详细定义了建设一个满足客户需求的DW&BI系统所不可缺少的实施方法和项目管理方法，以降低系统实施的风险和成本，提高系统的可用性、可扩展性、灵活性。六、数据仓库专业技术服务LFT拥有一支优秀的BI专业实施服务团队，具备丰富银行经营管理知识和丰富的项目实践经验。以客户为中心，提供优质、及时、高效的服务，帮助银行实现商业智能技术与先进业务管理模式的整合，提升经营管理的基础平台，为客户提供业务策略分析及优化服务，帮助企业获得市场优势和价值回报。七、解决方案特点1、LFTBI.Bank是东南融通大量项目实践经验的积累，能够为银行制度长期的建设规划。2、提供商业智能应用平台LFTBI.Office，数据整合工具LFTETL-Plus、元数据管理平台LFTMetadata、调度与监控平台LFTDispatch、数据治理平台LFTGovernance。3、具有大量的基于EDW的BI应用系统建设经验。4、采用最开发的平台和技术架构。5、最低的总投资成本。6、最低的项目实施风险。数据模型DWMBI.BankDWM是LFT多年的DW/BI实施过程中积累的最佳实践，并结合国外的最佳模型，在国内多个银行拥有成功案例。BI.BankDWM用于对企业数据进行整合和组织的工具，是预定义的、面向主题的、可扩展的数据模型，我司投入大量的研发力量不断的对BI.Bank进行更新。BI.BankDWM保证数据组织独立于业务系统的数据处理逻辑，最大程度的适应银行业务系统的升级和更换，以及新业务的开展。BI.BankDWM是当前和未来数据的数据集成蓝图，用以建设集成的、稳定的、历史的、面向主题的企业级数据仓库，可以满足不断变化的报表、分析和决策支持的需求。数据开放服务ADS随着企业数据中心的建立，企业已经构建了企业级数据视图，但如何快速高效的提供数据服务，真正实现数据资产的价值，已经成为企业面临的一个迫切问题。一、目标场景随着市场环境不断变化，企业需要进行动态的经营管理，业务部门需要能够快速的获取各种信息，特别是在如下场景的快速支持：1.领导召开会议时需要的统计信息2.业绩考核与经营分析的信息支持3.时事相关的数据、临时的数据分析4.外部机构的数据需求二、服务对象开放数据服务主要针对以上场景，对以下类型的数据需求提供快速直接的服务：1.时效性要求很高，需要业务人员和IT人员高效协作2.很多查询是一次性的，或使用频度不高3.以明细数据为主，也有部分统计数据三、解决的问题开放数据服务既能解决上述的业务问题，同时还解决了企业数据中心建设后的如下问题：1、建设周期长：须先建设数据集市，再开发应用。2、响应成本高：目前，传统工具开发报表过于复杂，大量IT人员投入到重复性的开发工作。3、业务人员缺乏主动获取数据的手段：目前，没有操作简单、界面友好的取数工具。4、IT与业务缺乏良好的协作平台：缺乏对数据开放过程的协作管理、应用监控。开放数据服务是用东南融通展现平台BI.Office构建的，通过灵活报表引擎、图形、Execl/pdf/txt/html导出、透视表、批量物化和透视表等数据开放服务技术，实现自助查询、灵活报表、临时IT需求、临时报表、明细报表、外部数据需求等开放式数据服务。逻辑架构如下图所示主数据管理ECIF一、概述目前金融企业正在面临前所未有的变革，集中体现在：业务变化的周期越来越短，客户的个性化要求越来越高。很多银行迫切需要及时洞察客户，在金融产品和服务都需要完整、全面、及时的客户及其相关产品信息，但由于历史的原因，这些信息分布在银行的多个业务系统，造成了客户信息的分散，无法共享。东南融通总结多年来在各专业银行数据整合、客户信息管理系统成功案例基础上，参照国际先进经验和模型，专门为区域性金融企业设计的、全面提升银行营销水平的客户信息的整体解决方案，即ECIF（EnterpriseCustomerInformationFacility：企业级客户信息整合系统）系统解决方案。二、解决方案特色1、LFT-ECIF基于整体数据整合的客户信息，在数据的起点实现数据的一致性，有效的避免了某些客户信息产品的数据失真在处理过程中的放大缺陷。2、融合了元数据、ODS、ECIF、OCRM、ACRM等最新处理技术，实现了以完整信息对营销的全方位支持。3、可分阶段、分模块的实施过程，最大限度的保护企业原有的投资。4、架构设计具有高度的可扩展性，不仅能快速适应银行业务发展的需要，而且能通过加深数据挖掘深度来提升企业的经营水平。三、方案内容四、系统应用价值1、为现有应用系统和未来新建的应用系统提供实时的、完整的、共享的、一致的客户信息。2、推动银行新的业务流程再造3、建立新的业务规章制度4、规范客户营销、销售和服务流程，使客户体验更为亲切和方便5、使银行员工操作更为简洁和高效6、使内部管控和风险防范更有及时和有力。元数据管理东南融通元数据管理平台（BI.MetaManger）主要针对企业在建设数据仓库项目过程中，出现的以下问题：1、每个工具都提供部分数据仓库结构信息即元数据功能，但没有全局的数据仓库视图；2、大量存在同一个数据（用户、产品和数据字典）在不同部门或系统中重复出现现象，含义和取值有可能都不同；3、代码和业务含义保存在某些人的脑子里或私有系统里，得不到共享，对开发和维护系统和理解系统带来天然的屏障；4、数据质量问题严重，出现数据质量问题后，无有效手段分析和定位问题。BI.MetaManger有效解决了以上问题，它保证了数据仓库数据的一致性和准确性，为企业进行数据质量管理提供有力支持。一、端到端的元数据管理作为真正端到端的元数据管理工具，提供跨工具和应用的企业级的元数据统一视图，提供了清晰定义和分析跟踪业务运作历史数据的实际可行的解决方案。二、可定制的元模型管理提供企业数据仓库环境内置的元数据类型支持；支持用户按需定制元模型结构，形成统一的元数据类，特别适合支持业务元数据的管理，同时多样性的类关系管理支持灵活、规范的元数据项关联关系。三、自动获取和关联元数据可连接其他软件工具（Oracle、DB2、ESSBASEOLAP、DB2OLAP、PowerCenter、Erwin等）自动获取元数据，保证了元数据的最新、一致、可用、极大减少人工维护工作量。通过目录映射功能，在元数据采集时，自动映射两个来自数据库、BI工具的元数据。减少人工映射的工作量。支持SQL解析功能的元数据获取功能，大大减少已有存储过程或脚本语句等ETL作业的手工整理ETL映射元数据的工作量。四、强大的分析功能血统分析影响分析表重要程度分析元数据属性差异分析元数据关联异常分析业务线数据流图分析ETL生命周期分析五、完整的生命周期和版本管理系统提供元数据的生命周期管理，发布、删除和状态变更都有严格的流程，并提供了版本管理功能，这些都确保元数据的质量，保证了后续使用元数据系统的权威性和可靠性。数据质量管理系统数据质量问题按照问题的来源和具体原因，可以分为信息、技术、流程、管理四个问题域。1、信息问题域信息类问题是由于对数据本身的描述理解及其度量标准的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有：元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。2、流程问题域流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节：3、技术问题域技术类问题是指由于具体数据处理的各技术环节的异常造成的数据质量问题，它产生的直接原因是技术实现上的某种缺陷。数据质量问题的产生环节主要包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面的内容。4、管理问题域管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题，如人员管理、培训和奖励等方面的措施不当导致的管理缺失。人员管理所产生的质量问题主要指：一、Longtop数据质量管理策略数据质量做为众多业内客户IT建设过程中的普遍问题，其解决及管理之道主要可从以下几方面进行考虑：逐步提高对于数据的认识增加信息技术支撑及保障建立数据质量管理体系进一步建立并完善管理制度贯彻数据标准制定数据质量度量标准二、数据质量管理产品简介数据质量产品是东南融通公司在提炼多个数据质量管理实施项目的基础上研发的企业级数据质量管理产品，具有较强的数据质量管理功能，支持对企业数据进行多维度的数据质量检核，具备完善的检核问题的管理流程，产品基于J2EE架构，可以运行在主流的操作系统之上，其存储库支持主流的企业级数据库，产品在多家金融机构已成功实施并得到客户肯定。三、功能体系数据标准管理企业级数据标准是为了规范各类业务系统建设时对业务的统一理解，而对数据的分类以及其中的业务和技术属性进行详细描述，以增强业务部门和技术实施部门对数据定义和使用的一致性。数据标准的建设不仅包括要定义出一套全行都必需要遵照的在业务和信息技术层面的数据标准，还要将这套数据标准的定义真正地