搜索
数据中心建设概念解释商占超数据元元数据主数据元数据管理主数据管理数据服务资源目录目录数据元元数据主数据元数据管理主数据管理数据服务资源目录目录定义•元数据MetaData•就是“描述数据的数据”或“关于数据的结构化数据”•哈佛大学数字图书馆项目定义:元数据是帮助查找、存取、使用和管理信息资源的信息。•是关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。•描述数据的内容（what）、覆盖范围（where,when）、质量、管理方式、数据的所有者（who）、数据的提供方式（how）等信息，是数据与数据用户之间的桥梁；举例以一个船员培训为例•一张表是船员基本信息：姓名、编号、培训班，另一张表存放船员的培训课程信息：课程编号、名称、学分。•姓名、编号、培训班、课程编号、学分都是数据元，但这些数据元有自己的元数据，即描述数据，分别是长度、类型、值域等。•对于船员基础信息表而言，姓名、编号、培训班是描述船员基础信息的数据，是它的元数据。•对于船员培训信息表而言，课程编号、名称、学分是描述船员培训信息表的数据，是它的元数据。元数据例子太少啦！数据是手提箱，而元数据是它上面的姓名标牌；数据是文件夹，而元数据是夹子的标签；数据是书的内容，元数据是书脊上的杜威十进制数码。船员违法记分示例元数据源系统名称源系统IP源系统数据库源系统表名源系统类型船员管理系统*.*.*.*sysbaseTABLE_XXX内部_核心行政处罚系统*.*.*.*sysbaseTABLE_XXX内部_核心抽取方式目标表目标字段源表源字段计算公式ETL目标_TABLE目标_字段源头_TABLE源头_字段源头_字段=源头_字段+目标_字段WS目标_TABLE目标_字段源头_TABLE源头_字段源头_字段=目标_字段静态元数据名称描述数据类型关系生成时间索引船员违法记分信息记录船员违法记分信息数字型空2015/9/2XXX动态元数据入库时间更新周期数据质量统计信息状态存储位置存储大小引用处2015/9/3天200条30000条正常XXX库/源头_TABLE200M船员主题/违规违法/记分信息数据源方面数据抽取转换方面数据统计方面数据内容方面流水号身份证号码姓名服务簿号码单位代码单位名称记分分值我们将要在共享数据库项目中面对的元数据元数据元数据作用数据描述：对信息对象的内容属性等的描述能力是元数据最基本的功能。数据检索：支持用户发现资源的能力即利用元数据来更好地组织信息对象建立它们之间的关系为用户提供多层次多途径的检索体系从而有利于用户便捷快速地发现其真正需要的信息资源数据选择：支持用户在不必浏览信息对象本身的情况下能够对信息对象有基本的了解和认识从而决定对检出信息的取舍数据定位：提供信息资源本身的位置方面的信息如DOIURLURN等信息由此可准确获知信息对象之所在便于信息的获取数据管理：保存信息资源的加工存档结构使用管理等方面的相关信息以及权限管理版权所有权使用权防伪措施电子水印电子签名等数据评估：保存资源被使用和被评价的相关信息通过对这些信息的统计分析方便资源的建立与管理者更好地组织资源并在一定程度上帮助用户确定该信息资源在同类资源中的重要性数据元元数据主数据元数据管理主数据管理数据服务资源目录目录定义•数据元dataelement•用一组属性描述定义、标识、表示和允许值的数据单元。•[GB/T18391.1－2002，定义3.14]•通过定义、标识、表示以及允许值等一系列属性（元数据）描述的数据单元，被认定为是不可再分的最小的数据单元。•[MSA-S-PT-4：海事云数据中心技术标准-平台数据标准,4.1.2.1数据基本定义]•数据元一般来说由三部分组成：对象、特性、表示举例•“船舶种类代码”为数据元，“0205”为数据元的值，“船舶种类名称”为数据元，“集装箱船”为数据元的值•“船舶种类代码”中，“船舶”为对象词，“种类”是该数据元的特性词，“代码”是该数据元的表示词。•所建立的数据库中，数据（基本）表的字段名应能从数据元集中选取且具有唯一对应关系；[MSA-S-PT-4：海事云数据中心技术标准-平台数据标准,4.1.2.2数据元编制规则]。因此可理解表的列字段即为数据元数据元数据元描述示例：船员登记号数据元数据源特征数据元属性属性定义分类编号CY010100001：CY010100001船员基本信息登记登记号数据库表中展示内容标识符CrewRegNum数据元类型字符型数据格式an9值域代码结构如C+9位整数数字，C表示船员，数字表示编号。数据库表中不展示内容，用于理解数据元名称船员登记号（“船员”是对象词，“登记”是特性词、“号”是表示词）英文名称CrewRegistrationNumber中文全拼chuan-yuan-deng-ji-hao同义名词船员编号相关环境适用于海事全系统定义船员的唯一识别号数据库表中不展示内容，用于管理注册机构海事局提供者部海事局船员处源系统船员管理系统维护者部海事局科技信息处限制项该类数据一旦定义后则不可更改，例外情况：……（省略）数据元集信息示例中文名称（简称）标识符英文名称定义对象类特性表示格式姓名名称（姓名）PAT00_100020Person-name由人的姓和名组成的字符串。人姓名名称A[A(29)]性别代码PAT00_100031Person-sex，code男性与女性之间的生物学区分，用代码表示。人性别代码N年龄（岁）PAT00_100042Person-age,years表示人的实际年龄（岁）。人年龄物理量N[N(2)].[N]身份证件类别名称PAT01_100024Typeofidentifycard表示个人的身份证件类别，如居民身份证、军官证、护照等。人件类别名称A[A(20)]身份证件类别代码PAT01_100025Typeofidentifycard，code表示个人身份证件类别的代码。人件类别代码N身份证件号码PAT01_100026Numberofidentifycard表示个人的身份证件的号码。人证件号码识别号N[N(18)]籍贯名称（籍贯）PAT010101_100030Person-nativeplace表示人的籍贯。人籍贯名称A[A(20)]国籍代码PAT010101_100051Person-nationality,code表示人的国籍代码。人国籍代码N(3)民族代码PAT010101_100052Person-race,code表示人的民族代码。人民族代码NN数据元数据元数据元作用数据元元数据主数据元数据管理主数据管理数据服务资源目录目录主数据定义•主数据MasterData•指在整个企业/单位范围内各个系统间要共享的、高价值的核心业务实体数据•主数据是指具有广泛共享性的全局型数据。主数据的共享性由根据其数据性质分为长期共享和定期共享。•[MSA-S-PT-4：海事云数据中心技术标准-平台数据标准,5.1.1.1海事数据的统一定义]举例•海事基础数据：船员基本信息、船员证书信息等•海事动态数据：船员服务资历信息、船员培训信息、船员记分信息等•海事位置数据：船舶当前位置信息海事主数据定义示例主数据数据元元数据主数据元数据管理主数据管理数据服务资源目录目录主数据管理主数据管理的建设目标明确的主数据管理流程主数据管理目标完善的主数据系统功能清晰的主数据管理范畴弹性的主数据系统架构通畅的系统间交互接口良好的系统主数据质量主数据管理主数据管理的范围高质量标准化主数据数据治理数据共享数据质量数据集成主数据管理主流MDM产品对比厂商企业数据类型MDM产品支持SOA支持的业务实体实施成本SAP主数据、业务数据(交易数据)SAPMDM是SAP的所有业备实体最高Oracle主数据、元数据、交易数据、计费数据销售数据、库存数据等0racleMDM&OSB或0racleMDM&0DISuite&OWB&MetadataManagement0SB是三类业务实体中心(Hub)客户、产品、位置类似于IBM的领域中等Microsoft主数据、元数据、分级数据、非结构化数据、交易数据MasterDataService(MDS)是未指定任意实体和层级最低IBM主数据、元数据变易数据、分析数据InfoSphereMDMserver是四个领域(Domain)的业务实体：参与人、产品、账卢、位置中等甲骨文主数据管理功能列表数据元元数据主数据元数据管理主数据管理数据服务资源目录目录数据元元数据主数据元数据管理主数据管理数据服务资源目录目录元数据管理元数据管理的建设目标建立数据仓库系统元模型，规范数据处理过程的结构化描述，实现不同来源数据的元数据统一维护管理实现数据仓库系统各层之间元数据定义与互通，促进数据处理过程规范化实现数据抽取、加载、加工、调度的元数据管理，扩充元数据服务接口提供完善的元数据管理维护机制，适应各业务系统频繁改造元数据管理为数据质量管理提供基础支撑，促进数据质量标准管理元数据管理元数据管理的范围技术元数据•描述系统中技术领域相关概念、关系和规则的数据，主要包括对数据结构、数据处理方面的特征描述，覆盖系统数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节业务元数据•描述系统中业务领域相关概念、关系和规则的数据，主要包括业务术语、信息分类、指标定义和业务规则等信息管理元数据•描述系统中管理领域相关概念、关系和规则的数据，主要包括人员角色、岗位职责和管理流程等信息元数据管理元数据管理的功能点应用层对元数据管理的实际问题提供应用解决方案，主要包括指标库管理、业务术语自助学习、维表库管理、接口管理、数据仓库软件各层元数据互通、辅助应用优化、辅助安全管理、基于元数据的开发管理和数据质量管理等。功能层元数据功能层为前端元数据应用提供了基本的功能支撑，主要包括元数据基本功能、元数据分析功能、元数据质量管理、元数据服务接口和元数据权限管理五个部分。存储层定义了元数据存储所遵循的元模型，规范从获取层得到的各类元数据的属性要求和存储格式要求，包括业务元数据、技术元数据和管理元数据。获取层于整个体系架构的最底层，元数据获取层抽象概括了元数据获取的各种途径。业务和管理元数据通常以手工方式获取，技术元数据覆盖数据源系统以及数据仓库系统数据的整个生命周期，要求以自动方式获取，如数据字典和数据模型等。资源目录资源目录要解决的问题信息从哪里来？需要的信息在哪里？信息到哪里去？在哪里使用？通过什么使用？谁提供？谁加工？谁使用？什么时间可以使用？什么时间可以提供？什么时间用的？有什么资源？资源的内容是什么？如何发布？如何查找？如何呈现？如何使用？如何管理？业务流程示意图资源目录业务系统机构业务系统业务系统1资源编目资源目录管理机构2注册3审核维护4发布5查询6发现7获取资源服务业务系统业务系统资源目录功能点资源目录