深入探讨基于网格的空间数据库体系构造

深入探讨基于网格的空间数据库体系构造摘要：本文基于笔者多年从事空间数据库的相关研究，以网格数据库为研究对象，深度探讨了基于网格的空间数据库的体系架构，文章首先对空间数据网格产生的背景进行了简要的阐述，而后分析了网格系统体系结构的组成，最后笔者结合空间数据库的特点，重点探讨了网格空间数据库系统的构建，全文既是笔者长期工作实践的技术总结，同时也是在实践基础上的理论升华成果，相信对从事相关工作的同行有着重要的参考价值和借鉴意义。关键字：空间数据库，网格，体系，构建1空间数据网格的研究背景伴随科学技术的发展，人们对计算机计算能力、存储能力的要求越来越高。网格(Grid)正是伴随着互联网技术而迅速发展起来的，产生于科学研究与合作中的新一代计算基础设施，专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，这样组织起来的“虚拟的超级计算机”有两个优势，一个是数据处理能力超强；另一个是能充分利用网上的闲置处理能力。简单地讲，网格是把整个网络整合成一台巨大的超级计算机，利用互联网把广泛分布的各种资源，包括计算资源、软件资源、存储资源、数据资源、信息资源等连成一个逻辑整体，在动态变化的广域分布的异构虚拟组织间实现资源共享和协同工作。网格的五个主要应用领域：分布式超级计算、分布式仪器系统、数据密集型计算、远程沉浸和信息集成。网格最早以集成异构计算平台的身份出现，接着跨入多个领域，逐步形成多种类型的网格，包括数据网格(DataGrid)、信息网格(InformationGrid)、知识网格(KnowledgeGrid)等。数据网格负责容纳和提供对跨组织数据的协作访问能力。信息网格是在计算网格的基础上，利用数据挖掘、信息融合和搜索引擎等技术构建的。主要研制一体化的智能信息处理平台，消除信息孤岛，方便用户分布、处理和获取信息，向用户提供“信息随手可得”式的服务。知识网格研究的侧重点是智能信息处理，目标是如何消除信息孤岛和知识孤岛，实现信息资源和知识资源的智能共享。网格技术和其他技术相结合，能够产生许多新的研究领域，例如网格技术和空间数据相结合就产生了空间数据网格(spatialDataGrid)，空间数据网格与基础网格(BaseGrid)结合构建空间信息网格(SpatialInformationGrid)。空间信息网格是当前空间信息科学研究的主要内容，而空间数据网格作为空间信息网格的重要组成部分和虚拟系统的中间层，在整个网格系统中起桥梁和纽带的作用。在科学研究领域和商业应用领域也越来越受到重视。2网格系统体系结构分析网格技术代表一种先进的技术和基础设施，它基于现有因特网技术、Web技术和高性能计算技术，能够充分吸纳各种计算资源，并将它们转化成一种随处可得的、可靠的、标准的同时还是经济的计算能力，从而实现网络资源的共享和协同工作。网格所关心的问题是直接访问随时间动态变化计算机、软件、数据和其他资源，因此它具备解决资源与任务的分配和调度、安全传输与通信保障、人与系统以及人与人之间的交互等能力。经典的网格体系结构是五层沙漏结构，它是一种抽象层次结构，以“协议”为中心，强调协议在网格的资源共享和互操作中的地位。通过协议实现一种机制，使得虚拟组织的用户与资源之间可以进行资源使用的协商、建立共享关系，并且可以进一步管理和开发新的共享关系。这一标准化的开放结构对网格的扩展性、互操作性、一致性以及代码共享都很有好处。五层沙漏模型将网格划分为五层，分别是构造层(fabric)，连接层(connectivity)，资源层(resource)，聚合层(collective)和应用层(application)。如图1所示。应用层汇聚层资源层连接层构造层应用层传输层网络层连接层图1GLOBUS计算网格的五层沙漏体系结构五层沙漏模型中各层协议的数量是不同的，对于最核心的部分，由于要能够既实现上层各种协议向自身协议的映射，同时实现自身协议向下层其它各种协议的映射，使得核心协议在所有支持网格计算的地点都得到支持，所以核心协议的数量不应该太多，这样核心协议就形成了协议层次结构中的一个瓶颈，使得模型结构呈现沙漏形状。在五层结构中，资源层和连接层共同组成这一核心的瓶颈部分。如图1所示。3网格空间数据库系统的构建空间数据网格作为空间数据共享与应用的技术体系，空间数据库系统是它的一个重要组成部分。本节主要讨论网格数据库系统的基本概念、网格数据库的体系结构以及数据访问与集成服务。3.1基本概念网格空间数据库系统实质上是在网格环境下的分布式的空间数据库系统，研究网格环境下分布式的空间数据库系统的管理、协同和数据访问与共享。Web环境下的分布式的数据库系统一般分为分布式数据库系统和联邦数据库系统。分布式数据库系统是在分布式环境下实现一个经典的集成库，它有一个全局概念模式，各个节点只能通过这个全局模式访问其它节点的数据库。分布式数据库系统为用户提供了对多个数据库的透明访问，即用户不用指明所要访问的数据库即可获取目标数据。但在很大情况下，由于节点的异构性，想要构造一个全局的数据库模式是不容易的。联邦数据库系统是由一组相互协作的同时保持自治的多个成员数据库系统组成，这些成员数据库系统可以不同程度地集成。联邦数据库系统强调在自治的数据库实现部分的、有控制的信息的共享和交换，一个成员数据库系统在加入联邦之后，能够继续进行其局部操作。联邦数据库系统与分布式数据库系统的区别在于，分布式数据库要求一个集成所有成员数据库局部模式的全局模式，而联邦数据库的联邦模式不一定是各个成员数据库的局部模式的全集，比分布式数据库系统的全局模式更易于构建。总的来说，联邦数据库系统具有成员数据库自治和没有全局数据模式两大特点，这同时也是联邦数据库系统的优势所在。鉴于此，网格数据库系统也应该采取联邦模式。Internet从Web发展到网格之后，分布式的数据库系统也相应地发展到网格数据库系统。相对于Web环境下的分布式的数据库系统，网格数据库系统具有以下优势：已有数据库资源的网格化；更多组织共享使用网格数据库，提高资源的利用率：网格数据库服务化，使用资源更方便：通过协同工作，提高数据库的处理能力，完成大规模的数据库处理需求；数据库的可用性和可靠性同时提高。3.2网格数据库体系结构建立网格数据库系统的基本原则是：以基于服务的方式访问已有的数据库；独立于各种数据库：与其他的Web服务和网格服务共存：与网格认证与授权机制相衔接。网格数据库是网格技术与数据库技术的结合产物，它的体系结构也必然遵循网格的五层沙漏模型：构造层、连接层、资源层、聚合层和应用层，如图1所示。在构造层和连接层，网格数据库的功能与一般的网格应用没有特别的区别。在资源层，网格数据库通过信息协议管理资源的结构和状态信息，包括数据库的配置(类型、性能)、负载和使用策略等；通过管理协议磋商对资源的访问，包括分配、预留、监视和控制。聚合层的功能包括：协同分配、调度及代理服务，比如一个数据库建立多个副本，OLTP在正本中执行，OLAP在副本中执行，提高性能，平衡负载；数据库复制服务，优化数据库的访问性能，以及用于负载平衡、灾难恢复；监视和诊断、故障恢复服务；元目录服务GUS，由多个GRIS构成。在应用层，通过API/SDK访问汇聚层和资源层的服务，调用GridDatabaseService执行交易或查询、报表、数据抽取、装载等。ClientGridServiceRegistryGridDataServiceFactoryGridDataServiceFindfactoryFactoryGSHCreateGridDataServiceGridDataServiceGSHCreateGridDataServiceGSHDatarequestDatadocumentdatabase图2网格数据库服务空间数据网格体系结构中对网格数据库的访问属于网格数据库应用层的服务。3.3数据访问与集成服务网格数据库的数据服务的创建和使用模式如图2所示。客户端Client指一个网格服务或应用程序，在空间数据网格中指数据的请求者。客户端从网格服务注册中心获取网格数据服务工厂的GSH(GridServiceHandle)，并向网格数据服务工厂请求网格数据服务，网格数据服务根据客户端的数据请求从数据库中获取数据，并将数据返回客户端。网格数据库服务注册(GridDatabaseServiceRegistry,GDSR)是一个永久服务，为网格环境下的多个用户所共享。GDSR提供GDS(GridDatabaseService)和GDSF(GridDatabaseServiceFactory)的专门注册服务，属于GRIS的一个接口，通过查询GDSR，可发现提供特定服务或功能或数据源的GDSF和GDS。