基于异构系统数据时间同步模型的研究与应用

三峡大学硕士学位论文基于异构系统数据时间同步模型的研究与应用姓名：汪静申请学位级别：硕士专业：计算机科学与技术指导教师：贺鹏20070401II内容摘要本文针对异构数据库系统数据时间同步所提出的新问题，详细介绍了异构数据库系统数据时间同步的特点、要求，分析和研究了现行互联网上常用的时间同步算法；根据异构数据库系统数据时间同步的特点，提出了一种基于新时钟、时间戳与触发器的异构数据库系统数据时间同步模型。该模型主要由三部分组成：异构数据库系统数据相互操作的方法、新时钟的构建、异构数据库系统数据同步策略。在对算法原理介绍之后，本课题就该算法的客户端和服务器端的具体实现进行了详细的说明，同时给出了算法的实现框图和部分代码。昀后根据实际应用的环境需求，设计了异构数据库系统时间同步算法的实验方案，并进行了模拟实验；在此基础上给出了本算法的实验结果示意图。同时，在文章的末尾指出了本算法的不足之处。分析表明，本文提出的异构数据库系统数据时间同步的算法模型，能够较好的满足异构数据库系统数据时间同步的要求，从而说明算法的正确性和实验方案的合理性，同时本算法还具有一定的理论意义和应用价值。关键词：异构性数据库系统时间同步时间戳触发器IIIAbstractThepaperaimedatthenewproblemsofheterogeneousdatabasesystem’sdatasynchronous,introducethecharacteristicsandrequirementsofheterogeneousdatabasesystem’sdatasynchronousparticularly.ImadespecificanalysisonthecorealgorithmsofNTPusedonInternet.Igiveaheterogeneousdatabasesystem’sdatasynchronousmodelbasedonnewclock,synchronousstrategybasisoftime-stampandtrigger.Themodelcomposebythreeparts:thedataoperatingeachotherofheterogeneousdatabasesystem,buildingnewclock,thestrategiesofheterogeneousdatabasesystem.Afterintroducingthetheoryofthearithmetic,Irealizedthearithmeticfromclientandserver.Atthesametime,Igivethegraphsaboutthearithmeticandapartofcode.Intheend,Idesigntheexperimentofheterogeneousdatabasesystem’sdatasynchronousbytherequirementofapplicationinfactanddosomesimulatedexperiment.ThenIgivesomesketchmapsabouttheapplicationofthealgorithm.AtthesametimeIpointouttheshortagesofthealgorithmintheend.Itimplythatthealgorithmofheterogeneousdatabasesystem’sdatasynchronouscansatisfiedtherequirementofheterogeneousdatabasesystem’sdatasynchronous.Anditcanprovethecorrectofthealgorithmandthereasonableoftheexperiment.Thealgorithmdoeshavesenseinboththeoryandapplication.Keywoeds:heterogeneousdatabasesystemtimesynchronizationtime-stamptriggerI三峡大学学位论文原创性声明本人郑重声明：所呈交的学问论文，是本人在导师的指导下，独立进行研究工作所取得的成果，除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写的作品成果。对本文的研究做出重要贡献的个人和集体均已在文中以明确方式标明，本人完全意识到本声明的法律后果由本人承担。学位论文作者签名：日期：1引言随着计算机技术、通讯技术和网络互联技术的迅速发展，信息管理己逐步发展到以数据仓库为处理中心，以数据挖掘和开采等为技术手段的阶段。由于要在不同设备(如:移动电话、掌上电脑、便携式电脑以及PC)、不同平台上(如:Linux、Unix、Windows等)，不同数据库(如:SQLServerforCE,DB2,SQLServer,Oracle,Access等)之间实现数据的同步，其首要问题就是解决异构数据间的映射问题(即一个字符集如何转换为另一个字符集)。国外对数据集成的研究比较早，许多数据库系统提供了专门的数据转换集成工具。如SQLServer2000的DTS,Oracle的SQL*Loader,IBM的VisualWarehouse等。另外，还有一些第三方软件开发商也推出一些产品，例如:AscentialSoftware公司的DataStage,AppliedDatabaseTechnology公司的DataMapper,Dataflux公司的SmartScurb和DataJunction公司开发的析取包等。这些数据库附带的、第三方公司开发的数据集成工具对于结构化数据在功能上可以说已经基本上能满足一般的要求。而在异构数据的转换与同步方面，目前流行的有两种方案，一种是模式级的数据转换，另外一种是数据级的数据转化。在数据转换过程当中，数据类型转换是昀为普遍的，目前常用的方法尚停留在一一直接映射，在这种方式下，当增加一个数据库系统时，需要解决该数据库系统与已存在的多个异构数据库的数据类型映射匹配问题，并增加多个转化程序。目前国内外对异构数据库数据同步的研究仅仅停留在数据同步这个层次上，对于数据的时间同步方面的研究基本未有相关研究。也就是说，目前的研究仅停留在使异构数据源的数据能够实现数据同步，而对数据同步的时间精确度等方面未作要求。但是，在许多应用领域，如：工业实时控制、商业实时数据更新分析系统等，都对异构数据源的数据同步的时间精确度方面有所要求。如果不满足此要求，在实际应用过程中可能造成严重后果，比如工业实时控制中将会导致控制失败，给生产造成一定损失。因此，本文将从研究异构数据库间数据同步控制技术入手，提出一种基于系统新时钟的构建、时间戳与触发器的异构数据时间快速同步模型，从而达到实际应用中对异构数据库系统数据时间同步的要求。21绪论从昀原始的沙漏，到近代的机械表、石英表、原子钟等计时工具，中间经历了漫长的发展演变过程。时间已经成为人们日常生活中不可缺少的一个重要组成部分。随着信息技术的不断发展，人们也在不断的对时间的精度有着更高的要求和追求。1.1时间同步简介随着计算机和网络技术的迅猛发展，网络互联系统上的许多应用都是时间敏感性应用。比如电话计费、股市行情、航海定位、分布式文件处理、分布式数据库处理、电子商务等许多方面，涉及各个领域的应用都与网络中各个节点之间时间同步的精度密切相关。在网络中的分布式系统中，各个计算机都在其固有的晶振频率下进行计时的。随着时间的推移，即使初始时间设置相同的计算机系统的时间也会逐渐失去同步。对于网络上的许多应用来说，如何将网络中各个计算机的时间同步到一个统一的标准上至关重要。时间同步也叫做对时，即通过特定的方法将网络上的装置的时间设置成协调世界时（UTC）。理想的状态即网络上的装置与UTC时间相同，没有偏差。但在实际应用过程中，由于受到网络时延、对时算法、计算机时钟分辨率等因素的影响，使得网络对时装置的时间与UTC时间有一个偏差。我们要做的就是使这个偏差尽可能的小，尽可能的将此偏差控制在实际应用所要求的范围内。网络时间协议（NetworkTimeProtocol,NTP）由美国德拉瓦大学的David.L.Mills教授于1985年提出是设计用来使Internet上的计算机保持时间同步的一种通信协议。网络时间协议可以估算出数据包在Internet上的往返延迟，并可独立地估算计算机时钟偏差，从而实现网络上计算机间可靠和精确的时间同步。网络时间协议是一个动态的,稳定的和容错的协议，用来保证网络中所有设备的时钟精确度误差在1ms之内。网络时间协议(NetworkTimeProtocol，NTP)是用于将计算机客户或服务器的时间同步到另一个服务器或参考时钟源的Internet标准协议。NTP的目的是在无序的Internet环境中提供精确和健壮的时间服务。它使用UTC(UniversalTimeCoordinated)作为时间标准，本身基于UDP/IP，使用层次式时间分布模型。在局域网上，它一般可以提供10-1ms的同步准确度；在广域网上同步精度一般为几十ms。在典型配置中，NTP利用多个冗余服务器及多条网络路径来获得高准确度与可靠性。在有些配置中包括加密与验证机制，有些还提供了基于IP多播的时间服务器自动发现机制[1]。1.2异构数据库系统简介数据库系统（DatabaseSystem）是近代计算机发展的必然产物。随着日常生活中各种各样数据信息的日益膨胀，必然要求计算机能够提供一种高效，快捷，方便的数据库管理功能，数据库系统应运而生。3与数据库系统有着密切关系的就是数据库管理系统（DBMS）。DBMS是一组计算机程序，控制组织和用户的数据库的生成、维护和使用。DBMS的主要功能是实现数据库开发、数据库查询、数据库维护、数据库应用开发。由于网络中各种装置不同，比如手机、PDA、个人电脑、服务器等；并且所处的平台不同，比如Windows、Linux、Unix等，另外各种装置所使用的DBMS也不相同，比如SQL、DB2、Oracle等，造成了整个数据库系统的异构性。而现实应用中，我们经常需要从各种各样的异构系统之中操作某些数据。比如：从电脑去访问手机或者PDA的数据；从Windows平台下去访问SQL、Oracle、DB2等等数据源。在这里，我们主要需要研究的是DBMS的异构性。1.3异构数据库系统时间同步的意义很多领域的网络系统如金融业、证券、银行、广电业、广播电视、交通业、火车、飞机、电子商务、交易、认证、加密、电信计费、网间结算等异构系统需要在大范围保持计算机间的时间同步和时间准确。在多种异构系统共存的情况下，为确保网络之间信息畅通无阻，该类系统需要解决客户机与服务器或者客户机与客户机之间的时间同步问题而保证不会发生事件的因果错误次序颠倒，为此在异构系统中要求系统中具有时间同步的功能。由此可见异构系统上下级信息时间同步是必不可少的。当然，同构系统中同样存在时间同步问题。对于企业来说，随着市场竞争的加剧，能否根据市场的变化制定出正确的决策直接关系到企业的生死存亡。因此，各种各样的分析决策系统纷纷出台，充当各行各业的“企业智囊”。昀早的分析决策系统是在以电子表格为主体的数据基础之上建立的，而后随着数据库技术的发展，人们尝试对数据库中数据进行再加工，形成一个综合的、面向分析的环境，以更好地支持分析决策，从而形成了数据仓库(DATAWAREHOUSE，简称DW)。数据仓库技术就是在这种背景下被提出，并迅速发展起来，成为决策分析支持系统首选的数据存储和管理方式。业界公认的数据仓库概念创始人W.H.INMON在《构建数据仓库》一书中对数据仓库做了精确的定义:数据仓库是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化(不同时间)的数据集合，用以支持经营管理中的决策制定过程。数据仓库与传统数据库不同，它并非是一个仅仅存储数据的简单数据库，它实际