东南融通元数据管理解决方案

元数据管理方案简介东南融通商业智能部王磊[e-mail]2目录元数据管理概述东南融通元数据管理解决方案3meta-datameta这个前缀来自希腊文，其原本的意思是在……之后,相当于今日英文的post-。古希腊哲学家亚里斯多德写了一本书讨论自然哲学，书名就是Physics。这本书到文艺复兴时都还是经典。之后他又写了一本讨论自然哲学的自然哲学，因位在Physics之后，就取名为meta-physics。此后meta前缀的意义就变成：……的……，如meta-language即是描述语言的语言。元数据是描述数据的数据(DataaboutData)元数据定义——缘起4元数据是对信息资源进行描述，以便理解、使用和管理信息资源的数据，是比一般意义的数据范畴更加广泛的数据，不再仅仅表示数据的类型、名称、值等信息，进一步提供了数据的上下文描述信息，比如数据的所属域、取值范围、数据间的关系、业务规则，甚至是数据的来源。元数据定义数据仓库领域的定义5元数据可分为两类：技术元数据（TechnicalMetadata）、业务元数据（BusinessMetadata）。•业务元数据业务元数据是对IT系统的数据实体和数据处理的业务化描述，包括业务定义、统计口径、取值标准等。•技术元数据技术元数据是描述数据实体和数据处理过程中的技术细节和处理规则，包括数据结构、ETL映射关系等。元数据分类6元数据分类逻辑模型物理模型数据字典ETL过程……业务术语业务指标业务规则标准代码……技术业务ODS分析、报表工具数据挖掘工具EDWDMBI数据线数据源7•传统上，数据架构师一直是元数据的主要用户。他们将元数据作为地图或指南来了解他们所拥有的数据、如何进行架构、如何关联其来源、转换和加载流程以及消费应用程序。该地图允许数据架构师更有效地了解、管理和集成数据。•如今，元数据的使用对象极大的扩展，早已超出了IT部门的范围，成为企业全员参与、关注的对象。它有助于了解业务的所有方面，不仅仅是数据的表现形式，还有语境含义和数据业务的重要性、以及与其他数据的关系。元数据的使用者8企业元数据的现状•分散、隔离的元数据，遵从各自的标准BI工具BOCognos…ETL工具PowerCenterDataStage…建模工具ERwinPowerDesigner…数据库OracleDB2Teradata…其他数据源EXCELCSVXML…元数据管理9什么是元数据管理“个人存款账户存款余额”统计口径是什么？个金部是…个贷中心是……….上游结构是不是变了？上游结构早就变了，你不知道？元数据管理是一个根据信息资产的使用方式来管理组织的这些资产的流程。统一管理分散在企业内部的元数据，包括技术元数据、业务元数据、操作元数据，其目标是为更好获取、共享、理解和应用企业信息资产，降低数据集成成本，为企业数据标准化提供支撑，促进数据质量的提升，实现企业信息资产价值最大化。元数据管理10元数据管理核心价值元数据为数据质量系统提供了有效的分析手段，更快地分析和定位问题，缩短了问题处理周期，从而提高了数据辅助开发和运维质量。元数据存储的数据标准信息，规范了企业代码和数据结构，大幅减少ETL的工作量，提高了数据质量。跨系统的数据语义统一规范，消除系统交互障碍和隐患，成为具有永久价值的资产加强内部对数据的控制、理解、应用和维护能力，使其真正具备资产的特征，降低数据处理风险，增强企业对其数据的信心元数据管理监管机构和萨班斯-奥克斯利法案、新巴塞尔协议(BaselII)等国际法案都对金融机构的数据治理和监管提出了要求，元数据管理最小化合规性风险。通过元数据管理，企业可以有效管理企业的信息资产，为保证数据质量提供了有效支持和基础。基于元数据管理的分析功能，为新需求设计、开发、确定测试范围提供帮助，为维护人员的日常工作提供支持，缩短了项目交付时间并取得更精确的成本估算。基于调度信息的元数据管理为系统的运行监控及分析提供支持。11元数据管理成熟度模型可控阶段优化阶段随机阶段发现阶段自动化元数据由个人或团队在局部产生或获取，主要在局部使用、修改，随机式管理元数据处于可发现状态，初步意识到元数据重要性充分意识到元数据重要性，元数据进行集中式管理对元数据实施集中存储并通过监督体制对元数据进行管理元数据管理作为常规业务并实现自动化，所有业务都依赖于元数据管理12目录元数据管理概述东南融通元数据管理解决方案13如何实现有效的元数据管理-原则客观认识元数据管理不可能一步到位，是个逐步整合、优化的过程元数据管理不是万能，它只是解决元数据领域的问题元数据管理是个持续投入才能持续产出的过程，持续投入的多少取决于对元数据管理的重视程度合理规划元数据管理项目必须有合理的蓝图规划为实现有效元数据管理，必须建立元数据管理团队正确方法有可行的配套元数据管理方法论必须有配套的管理办法和制度切实执行在元数据管理系统的运行中管理办法和制度必须切实执行原则14如何实现有效的元数据管理-关键点清晰认识、足够重视1元数据管理处于超前领域，但其对企业未来战略发展有重要意义，因当前市场元数据管理产品主要面向技术人员提供服务，较少面向业务人员提供服务，导致其价值没有被足够重视清晰认识、足够重视元数据管理不只是技术的实现，更是集成化的管理，配套的元数据管理办法和制度至关重要。建立专门的元数据管理团队，确保管理办法的制度的切实执行具备配套元数据管理办法和制度通过制度管理方式确保元数据的质量与及时更新，尽量采用技术化的手段实现实时或准实时元数据的采集，最大可能避免人为干预，提高数据的实效性及数据质量准确及时的元数据是信心的保证自动化解析第三方工具元数据及其关系，尽量避免手动干预，保证分析结果的准确，多视角提供元数据分析功能，满足不同角色用户业务需求提供较强的元数据分析从业务角度组织及展示元数据，提供元数据快速检索、快速定位等易用性操作，快速高效的分析功能提升用户体验，提供消息通知机制提供良好的易用性234515东南融通企业级元数据管理平台产品-BI.MetaManager数据源层元数据适配层元数据存储层元数据功能层展现层建模工具数据库ETL工具业务元数据前端展现工具建模工具适配器DB适配器ETL工具适配器业务元数据适配器前端展现工具适配器数据源访问接口元数据采集接口元数据数据库接口统一展现框架应用模块管理模块16BI.MetaManager功能BI.MetaManager管理模块应用模块元模型管理模板管理元数据采集权限管理系统管理元数据管理元数据更新管理元数据分析用户视图管理版本管理元数据检索元数据导出映射管理17支持第三方身份认证系统的集成支持二次开发，提供完善的API接口良好的开发性18Repository用于存储内部元数据信息，内置MySQL，同时支持Oracle、TeradataExtractor元数据采集器，进行元数据采集Server内置tomcat服务器，同时支持WebSphere、WebLogic对于小型应用，三部分可安装在同一服务器上元数据产品构成19物理架构20BI.MetaManager血统分析示例分析起点：报表Cognos数据语义层Cognos物理表DM汇总层表ER实体21BI.MetaManager特点真正端到端的元数据管理，提供跨工具、系统和应用的元数据关联和分析基于元模型的元数据管理，提供数据仓库环境内臵元数据模型支持，模型可任意定制提供灵活的模板定制功能，支持离线元数据定制化采集支持自动/手动元数据获取以及元数据关联：支持PowerCenter/DataStage、ERWIN/Powerdesigner、Cognos、SP/SQC的元数据采集支持主流的关系型数据库（Oracle/DB2/SQLSERVER/Teradata等）的元数据采集支持多层次元数据的影响分析、血统分析，分析结果图支持交互操作引入元数据审核和冲突管理机制，确保元数据的准确性完整的生命周期和版本管理22案例列表国家开发银行数据治理平台元数据管理数据质量管理数据标准管理深发展信用卡数据集市元数据管理兴业银行EDIP项目元数据管理23服务层案例——系统架构持久化层数据质量系统数据标准系统元数据系统界面级统一数据标准系统元数据系统数据标准功能提供数据标准的存储与分析功能提供检核对象与及相应的分析应用统一展现框架提供标准执行情况的结果数据质量系统数据质量功能元数据功能24业务系统报表信息数据标准组织结构与人员数据库物理模型CognosPowerCenter服务器案例——元数据组织规划保密须知：本文件及其书面或其他任何形式的附件乃以保密形式提供，其著作权归属于本公司，仅供阁下内部使用。未经过本公司的审核、确认及书面授权，阁下不得以任何方式在任何媒体（包括互联网）上公开引用或在阁下的任何资料中引用本文件及其附件中的任何数据和信息，不得以任何方式将本文件及其附件中的任何内容提供、披露给其他单位或个人。敬希阁下与我们共同遵守法律。