基于数据仓库管理的虚拟仪器技术

华南理工大学硕士学位论文基于数据仓库管理的虚拟仪器技术姓名：米志红申请学位级别：硕士专业：电机与电器指导教师：何志伟20030501基于数据仓库管理的虚拟仪器技术作者：米志红学位授予单位：华南理工大学相似文献(10条)1.学位论文李小杰基于数据仓库的数据转换元数据标准化的研究及实现方案2000数据仓库技术是二十世纪九十年代,随着商业竞争加剧而产生的专门用于决策支持的数据组织技术.数据仓库中数据转换过程完成从现有系统中提取数据并导入数据仓库的功能.数据转换过程与多种源系统交互,操作数据量大,转换过程对数据的处理复杂,实现复杂且耗时,但转换过程中所作的处理步骤却基本固定.因此转换过程中设计和数据的共享重用将简化转换过程,减少重复开发.但现在多数转换过程的实现依赖于特定应用,不支持共享.该论文所作的贡献可以归结为:第一,结合实践,总结数据仓库技术在决策支持系统中的应用,数据仓库中数据转换的实现过程.第二,总结元数据的研究现状,并确定利用元数据技术作为解决数据转换中共享和重用问题的方案.第三,介绍开放信息模型OIM,并选择这种元数据标准组织数据转换过程中元数据,从而达到兼容OIM的不同系统之间基于相同元数据模型的元数据互通目的.第四,设计采用OIM组织元数据的数据转换的过程的实现框架,针对其中的实现难点,设计OIM的面向对象模型与关系实现模型之间的映射规则.2.期刊论文郑丹.王耀.ZHENGDan.WANGYaoDTS组件在实现数据仓库中数据转换的应用-电脑知识与技术（学术交流）2007,2(12)DTS是一个强大而且灵活的数据库迁移工具,它能够实现各种异构数据源的数据转换.本文通过一个数据仓库实例,说明如何利用DTS将原始的业务数据源加载到数据仓库中,重点说明运用DTS中的ActiveX脚本语言转换数据.3.学位论文田翀基于CWM的数据仓库建模工具的研究及数据转换工具的设计与实现2005数据仓库是近年来兴起的一种新的数据库应用。元数据作为数据仓库中的核心部分，有着不可替代的作用。它是各种数据仓库工具间相互理解各自操作的基础。随着数据仓库的不断发展，元数据标准化和数据集成的需求越来越迫切。在经历了相当长的一段时间后，OMG组织于2001年提出了CWM规范，该规范在数据仓库及业务分析领域为元数据定义公共的元模型以及基于XML，的交换格式。CWM有着深厚的应用背景和技术支持，目前已有多家公司支持CWM并基于它开发下一代的产品。本文在初步认识了CWM的背景体系之后，对CWM及其基础技术进行了描述，并且详细研究了CWM模型驱动结构和MDA的关系。在此基础之上，从几个实例中分析了如何应用CWM对元数据进行建模。在对CWM和元数据有了一定了解之后，通过对当前各类信息系统(包括数据库系统、数据仓库系统、数据分析和挖掘系统等)开发、移植和集成等方面的需求分析，以及对现有元数据管理方案的深入研究，本课题组提出了一套基于CWM的元数据管理方案WMMS，它灵活利用OMG建模体系提供的各种通用服务，适用于本地和分布式环境下的元数据管理。本课题主要设计了WMMS中的建模工具与数据转换工具。建模工具根据CWM与UML的天然联系，选择广为使用的RationalRose进行二次开发，将其定制为面向CWM的专用建模工具。并为建模工具设计的优化的数据结构和针对CWM的特点所设计的一套高效的模型检验机制，以及简单介绍了建模工具的各个功能模块。数据转换工具是在研究了OMG组织提出的XMI规范的基础之上，用于将建模工具中产生的元数据根据XMI规范转换成XMI文档的形式，同时实现逆向转换的工具。文中首先说明了把XMI文档导入建模工具的意义，然后详细分析了元数据和XMI文档之间对象和元素以及它们的关联的映射关系，并提出了具体算法以及实现高效转换，并给出了根据XMI文档转换元数据的实例。4.学位论文迟少华iHISP多维数据分析系统数据转换工具的研究2003数据仓库的研究是当前信息领域的热门课题.数据仓库系统以传统的数据库为主要的信息源,通过联机分析处理和数据挖掘等技术对各类大量的数据和信息进行分析处理,实现了数据向信息的转换,它的分析结果以多维视图的形式展示,为决策提供有效的支持.该文首先对目前医疗信息系统的研究情况进行了详细的分析,论述了该课题的目的与意义,介绍了数据仓库的研究现状,并在此基础上对数据仓库的相关理论和技术进行了分析,论述了数据仓库的定义及数据仓库与数据库系统、数据仓库与联机分析处理之间的关系,讨论了数据仓库各种关键技术的实现方法和步骤.该文对数据仓库的开发方法进行了重点的研究,针对医疗信息系统的实际情况对数据仓库进行建模分析与设计,并对数据仓库的数据提取方法进行了详细的设计,建立了数据仓库的元数据管理系统.最后,对上述数据仓库系统的理论和方法进行了实例应用研究,详细设计了针对四平市中心医院数据仓库系统的数据转换工具.5.期刊论文吴军勇.郭福亮数据仓库建设中的数据转换技术研究-计算机与数字工程2004,32(6)数据转换是建设数据仓库的一项重要工作,使用DTS转换包是一个很好的方法.用DTS图形向导建立和初始化DTS包,然后在vb.net语言环境中使用,方法简单实用,对数据仓库的建设有较高的指导性和实用价值.6.学位论文李姗姗基于CWM的元数据管理的研究——元数据转换工具的设计与实现2003数据仓库是一门新兴技术,正日益受到业界重视并带来了巨大效益.元数据是数据仓库的核心部分,是各种数据仓库工具间相互理解各自操作的基础.但是由于各大开发商采用不同的数据仓库元数据标准和管理策略,使得数据仓库的数据集成与共享十分困难.针对这个问题,OMG于2001年提出了CWM规范,该规范尽可能描述数据仓库的各个方面,有深厚的应用背景和技术支持,目前已有多家公司支持CWM并基于它开发下一代的产品.本文在分析CWM背景体系的基础上,深入研究了CWM的内涵,总结了CWM每个包的内容及包之间的依赖关系.并据此提出了一套基于CWM的元数据管理解决方案——WMMS.WMMS集成了建模工具、元数据转换工具、网络元数据搜索引擎、元数据存储等功能组件,旨在以强大的功能支持分布式环境下的元数据管理.本课题主要设计了WMMS中的建模工具与数据转换工具,并重点实现了后者.建模工具根据CWM与UML的天然联系,选择广为使用的RationalRose进行二次开发,将其定制为面向CWM的专用建模工具.文中阐述了建模工具的基本功能、组成模块,并针对CWM的特点提出了一套模型检验机制,最大程度地保证了建模工具中产生的元数据的正确性.元数据转换工具采用OMG的XMI作为元数据转换的基本标准,主要用于将建模工具中产生的元数据转换成XMLDocument的形式.文中在系统分析XMI规范的基础上,定义了建模工具中各种形式的元数据到XMLDocument的映射,并设计了优化的数据结构,提出了两个转换算法以实现高效转换.最后,本文考虑到CWM描述的局限性,讨论了非CWM描述的元数据的表示和转换方式,以此作为建模工具和数据转换工具后续开发的依据.7.学位论文彭峰数据仓库中抽取转换加载系统的设计和实现2003数据转换是ETL过程中最复杂、最重要的问题.提出数据资源整合的总体方案,设计和实现了两个ETL工具——Notes数据库转换工具和数据导入导出工具.Notes数据库转换工具解决非关系型的Notes数据库向关系数据库的转换问题;数据导入导出工具主要用于关系数据库之间的数据复制,具备简单的数据转换功能,侧重于实用性和方便性.考虑到数据仓库环境中更复杂的数据转换问题,设计和实现了新的数据转换引擎——数据转换任务引擎.在数据转换任务引擎中,提出了一种描述转换规则的方案——字段映射规贝婊达式,并设计了脚本语言DMScript以实现之,较好的解决了数据转换的复杂性和可扩展性问题.ETL过程需要灵活的管理和控制.提出ETL过程工作流的概念和定义,并提出将ETL过程工作流模型化成一种加权有向图——工作流图的方法,设计了串行和并行两种ETL过程工作流调度算法,并在DM,-DTS工作流系统中得以实现.数据仓库需要完整的ETL系统.以前面的工作为基础,设计了通用的ETL系统——DM,-DTS的体系结构.DM,-DTS是一组软件包集合,包括数据导入导出工具、非关系数据源转换工具和DM,-DTS工作流系统.DM,-DTS构成了达梦数据仓库完整的ETL解决方案.8.期刊论文先晓兵.常晋义.XIANXiao-bing.CHANGJin-yi数据仓库实现中ETL的应用研究-计算机与现代化2007,(10)通过外贸业务分析决策系统的实现,探讨在数据仓库项目应用过程中,如何针对来自不同应用系统、不同数据平台、不同数据源形式的源数据系统存在的数据质量的差异性、缺乏一致性等问题,设计较好的ETL(Extract,Transform,Load)过程解决方案,将数据从源数据系统中抽取、转换成数据仓库需要的格式和统一数据类型,并正确加载到数据仓库中,为决策支持系统的实现提供高质量的基础数据.9.学位论文苏国章数据仓库中ETL技术的应用研究2008近年来,随着数据库技术的应用和发展,人们尝试对数据库中数据进行再加工,形成一个综合的、面向分析的环境,以更好地支持决策分析,从而形成了数据仓库(DataWarehouse,简称DW)。数据仓库的重点与要求是能够准确、安全、可靠地从数据库中取出数据,经过加工转换成有规律信息之后,再供管理人员进行分析和决策支持,为后续的数据挖掘和知识发现提供良好的数据环境。在数据仓库的构建中,传统上作业量最大、日常运行问题最多的是把业务数据库中的数据抽取(Extract)、转换(Transform)和装载(Load)到数据仓库的工作,即所谓ETL的过程。其中,数据抽取是指从不同的网络、不同的操作平台、不同的数据库中抽取数据；数据转换指包括数据类型的转换、字段的合并、拆分和映射等的工作；数据装载是指把转换后的数据加载到目标数据库中。本论文以广州市交警信息查询与短信服务为项目背景,设计并实现了数据ETL系统,着重研究ETL过程中的增量数据抽取技术和异构数据转换方法。本文首先介绍ETL技术的相关理论和基本概念。针对传统数据集成系统的不足,提出一种改进的三层结构的数据集成系统。在增量数据抽取技术的研究中,分析了目前几种增量数据抽取技术的工作原理,指出它们的优缺点和适用范围,并从多个方面对这些抽取技术做了比较。为了提高抽取效率,减少对应用系统的实施和维护工作量,本文提出一种基于触发器和增量控制表的数据抽取方法。在异构数据转换方法的研究中,介绍了几种数据转换方法的工作原理,综合运用JDBC、XML和元数据技术提出一种可行的数据转换方案。该方案利用JDBC的SQL类型作为公共数据类型,解决异构数据源数据类型不统一的问题。以XML文档作为中间存储介质,缓存中间处理结果。元数据则保证系统能够按照业务规则进行数据转换。该方案可以很好地解决数据ETL过程中常见的转换问题。在系统实现方面,充分运用面向对象技术的继承、多态的特性,将设计模式的思想大量地应用于系统的设计中,使系统架构清晰,具有良好的扩展性。10.学位论文赵雁铁路基础数据转换与整合方法研究与实现2007随着铁路信息化的发展，铁路各业务部门产生了大量的基础数据，这些数据是铁路生产管理和经营决策所需的宝贵的数据资源，也是学校科研工作所需的重要参考资料。目前，由于系统的独立性，各系统的数据难以共享，存在大量信息孤岛，难以满足科研对数据的集成性的要求。铁路基础数据平台的建设就成了急需解决的问题。在数据平台建设中数据是核心，涉及到大量的数据转换与数据整合工作。数据转换方法的好坏关系到数据转换的效率和质量，而数据整合方法的优劣直接关系到数据平台的性能和进一步的应用需求。因此，本文针对各数据源系统的数据与铁路基础数据平台的需求数据之间的差异，提出了三种不同类型的数据转换方法和两种数据整合方法，并对这些方法进行了深入研究。本文针对铁路上大量存在的异构业务系统数据，提出了利用OLEDB实现异构数据