12PB级文件系统元数据管理关键技术的研究与实现

PB级文件系统元数据管理关键技术的研究与实现作者：付印金学位授予单位：国防科学技术大学相似文献(10条)1.学位论文赵秋云高性能计算环境下的副本技术研究2009计算网格是一种以计算为中心的网格技术，是新一代的高性能计算环境，它通过共享网格环境中的计算资源，以达到提高计算性能的目的。在高性能计算环境下，与计算资源紧密相关的是大量动态的数据资源，这些数据资源具有海量、分布式存储等特点，同时各种计算任务对数据的访问和处理非常频繁，因此，如何有效管理海量的动态数据资源便成为高性能计算领域亟待解决的问题。为此，数据管理中的副本技术被广泛引入计算网格，通过在网格环境中创建数据文件的副本，减少文件的远程访问次数，进而提高完成计算任务的整体性能。如何选择恰当的时间、地点创建适当数量的副本，以及如何删除不需要再保存的副本是副本技术中的关键问题，也是计算网格的一个研究热点。论文基于校园计算网格，主要就副本动态管理问题开展了研究，提出了副本优化的动态管理策略，并进行了仿真实验与分析，同时在实际网格环境下完成了副本改进策略的应用实现和副本管理服务门户的开发。本文深入研究了网格体系结构的发展以及网格体系结构对副本管理效率的影响。对国内外网格副本技术研究现状进行分析和对比，在此基础上进一步研究了Globus系统中的副本管理方案和基础服务组件，探讨了现有若干副本管理策略的原理和特点，重点分析了影响副本策略性能的主要因素，利用瀑布策略及其与层次网格结构紧密关联的特性，结合其它策略的优点，提出基于瀑布策略、以降低总体传输代价为目的的最小传输代价集合策略(MTCA)。为了对最小传输代价集合策略(MTCA)性能进行评估和分析，在深入研究和分析当前流行的数据网格仿真器OptorSim的基础上，通过修改网格仿真环境，加入瀑布策略(Cascading)和最小传输代价集合策略(MTCA)，对仿真器的网格拓扑结构、副本仿真器、副本优化器等主要仿真模块进行了修改和扩展，最终完成了多种策略仿真实验和性能分析。最后，基于改进的副本管理策略，研究了Globus网格环境下副本管理应用的原理和开发方法，分析了WebService的分布应用特性和实现机制，另外设计和实现了分布的副本管理和调度系统，在系统中应用最小传输代价集合策略(MTCA)实现对网格环境下副本的动态管理，同时开发了副本管理服务的门户，方便网格用户的副本操作。通过大量实验分析证明，最小传输代价集合策略(MTCA)在减少平均作业时间、降低网络资源和存储资源占用率等方面，较现有的副本策略有明显优势。该策略可以方便地应用于Globus网格环境，并有效地提高网格环境下的副本管理效率。2.会议论文俞平.肖南峰基于网格计算的仿人形机器人计算平台研究22007仿人形机器人是一个极为复杂的系统,要控制它的运动和行为,需要强大的计算能力、庞大的数据资源、各种传感仪器。网格计算是一种面向问题和应用的技术,其目的是实现网络虚拟环境下的高性能资源共享和协同工作,消除信息孤岛和资源孤岛。因此,网格能为仿人形机器人的运动控制和行为控制提供所需的计算资源、存储资源、数据资源、各种设备。本文分析了仿人形机器人计算平台搭建所需要解决的主要问题,提出和实现了一个基于网格的仿人形机器人计算平台。并对该平台进行了验证,实验结果证明了其有效性。3.学位论文谌俐利高性能计算环境下的数据管理和传输服务研究2006随着科学技术的发展，对高性能计算的要求也越来越高。网格的出现，使地理上广域分布的各种资源包括计算资源和数据资源能够组织在一个统一的框架下共享使用。如何在网格环境中高效地传输海量数据，是网格计算中的一个重要问题。网格数据管理环境不仅必须提供安全的数据服务，还应提供海量数据的分布式存储管理、数据聚集、传输服务、热点数据备份的副本管理以及安全、高速的数据传输服务。对于一些海量数据，我们希望能够方便、快捷地把数据传到指定的处理机上，尽量减少传输时间。而同时，我们也需要对一些处于热点状态的数据进行多处理机备份，即对数据进行副本管理。通过对网格结构的分析与研究，本文着重关注于高性能计算环境下的数据管理和传输服务，基于GlobusToolkit的工具包和支持网格安全体系结构及机制的文件传输协议GridFTP，设计并实现了网格数据传输服务图形化集成平台(GridDT)，可提供网格环境下的文件上传、下载、并行方式数据传输、第三方控制数据传输，在此基础上对图形化方式与命令行方式下的数据传输性能进行了比较，并对带状数据传输模式进行了数据传输分析。同时本文还研究了副本管理的原理，实现了网格数据副本管理的图形化集成平台(GridDMC)，提供网格数据的副本创建、副本查询以及满足应用程序基本需求的副本定位。4.期刊论文胡忆虹中英生命科学领域的e-Science合作研究-中国生物工程杂志2003,23(1)e-Science的概念是英国人先提出来的,它是建立在新一代网络技术(Internet)和广域分布式高性能计算环境(Grid)基础上的全新科学研究模式,以互联网技术和网格计算技术为基础,实现跨越地理界限的全球大规模数据采集、T(百万兆级)级高速计算和高性能可视化,并以此为基础将互联网的应用、高性能科学计算及资源共享提高到一个全新的层次.实现e-Science的根本保证是网格计算技术(GRID).GRID是新一代网络应用框架,它以G级(千兆级)高速网络连接,整合多平台高性能计算机的网络为硬件基础,以正在开发的中间件(Middleware)为操作系统,其核心的思想是最终将全球的计算机可用资源整合成一个虚拟的超级计算机(Globalvirtualcomputer),实现与地理分布无关的计算资源、数据资源、存贮资源的全球自动配置和共享.目前网格计算技术最为发达的国家是美国,在欧洲,英国处于领先地位.5.学位论文韩宝玲数据网格中副本一致性维护及选择的研究与实现2008开放的互联网环境中存在容量巨大、形式多样、分散存储的数据资源，对这些数据资源实施有效的管理是一个挑战性问题。数据网格以广域环境下海量、异构的数据资源为处理对象，结合高性能计算设施和大规模存储设备，实现了数据存储、数据传输、数据访问、副本管理、高性能数据处理等功能，为用户提供了一个数据管理与处理的基础设施。为了在数据管理中提高数据可用性、减少网络流量、增强数据访问性能，在数据网格中引入了副本管理技术。针对数据网格的特点，建立恰当的副本管理机制，切实提高数据网格中数据的可用性和改善数据访问性能，已成为数据网格中的一个研究热点。基于数据网格中读访问和写访问的发展需求，我们分析了当前情况下副本一致性维护过程中存在的问题，构建了一种副本一致性维护模型，针对副本更新过程中涉及到的本地的一致性维护、更新冲突的检测和解决等问题进行了研究与讨论，提出了一种新颖的更新传播算法并对其进行模拟实验，验证了本文算法能够比较高效的传播更新。数据更新的频繁发生也致使了用户选择副本标准的更改。由于副本的更新，使得数据网格内副本间的状态存在着不同，致使用户访问副本的需求发生了变化。针对这种情况，我们研究了副本选择的问题，提出了一种价格模型，并通过实验进行了验证，证明了本文的副本选择算法能够达到我们预期的目标。6.学位论文武鑫数据网格中的副本管理策略关键技术研究2009数据网格是网格环境下共享和管理存储资源和分布式数据资源的大规模、可扩展的框架结构，它适应数据密集型应用对网格环境下数据共享和处理的需要，给用户提供了透明访问远程异构数据资源的机制。实现了安全、可靠和有效的网格环境中的数据传输以及访问、复制等操作，并提供到不同存储系统的统一的接口，从而使得数据密集型的高性能计算和大量的共享数据密集型事务处理及科学研究成为可能。副本管理策略是数据网格的一个重要技术之一，本文分析了数据网格中副本管理系统的结构和特点。由副本管理策略创建的数据副本可以降低远程访问该数据的网络延迟及带宽消耗，还可以降低网络的负载，同时能够提高数据的安全性和可靠性以及系统的容错性等。而良好的副本管理策略也是提高网格服务质量QoS的一个重要方面。本文通过对数据网格副本管理技术的研究，针对数据网格节点数目多、资源异构、结构复杂、非集中控制等特点，提出了一些新的思想。为的是提供最大限度的稳定性，当任意结点失效时，不会造成网络的瘫痪，对用户提交的信息能够及时正确的给予应答，当网络性能改变时，也能提供正常的服务。本文分析和比较了WebService技术和P2P技术，并将其结合应用到层次和区域式的网格体系结构模型中去，将集中式管理和分布式交互融合起来，从而便于网格信息的管理以及节点间的信息交互。在数据网格中，一个数据文件可能存在多个副本，如何根据约束条件找到该数据文件的一个或多个副本的问题，称为副本定位问题。本文为每一个节点建立索引信息，以Lucene算法为内核来实现快速准确的副本定位策略。最后结合我们提出的网格体系结构，运用相应的技术和算法，对其进行仿真模拟实验，进行性能比较并对实验结果进行进一步的分析。实验结果表明我们提出的体系结构可以改善网格的性能，以Lucene算法为内核的副本定位算法确实可以减短副本定位的时间，从而减少了数据访问延迟及带宽消耗。7.期刊论文邓灵斌.DengLingbin基于网格技术的数字信息服务-中国信息导报2005,(8)网格是构筑在互联网上的一组新兴技术,它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体,为科技人员和普通老百姓提供更多的资源、功能和交互性.互联网主要为人们提供电子邮件、网页浏览等通信功能,而网格功能则更多更强,使人们能够透明地使用计算、存储等其他资源.可以说,网格是一个一体化的网络基础设施,其目的是利用高速网络把分散在不同地理位置的各类计算机(计算机群)、数据源、外围设备等连接起来,组织成一台虚拟的超级计算机,形成对用户相对透明的虚拟高性能计算环境,实现计算资源、数据资源、信息资源、知识资源、存储资源、通信资源等多种资源的高度共享与高速存取,向每一个用户提供一体化的服务.8.学位论文俞平基于网格计算的仿人形机器人计算平台的研究与实现2007仿人形机器人具有极其优异的机动性和非常独特的功能，因而近年来成为国内外的研究热点。仿人形机器人集计算技术、控制技术、传感技术、通讯技术、智能计算、数学建模，以及机构学、材料学、电子学、仿生学等于一体，无论是从运动控制还是从行为控制来看，它都是一个极为复杂的系统，要控制它的运动和行为，需要强大的计算能力、庞大的数据资源、各种传感仪器。网格计算饱含国际上最先进的理念、思想和技术，被认为将带来继互联网之后的第三次信息技术革命。网格技术能够实现网络虚拟环境下的大规模、高性能资源共享和协同工作，消除信息孤岛和资源孤岛。因此，我们认为，通过网格计算技术，仿人形机器人能够获得所必需的计算资源、数据资源、存储资源、设备资源。本文对仿人形机器人的基础运行环境展开研究，创新性地提出了仿人形机器人计算平台。仿人形机器人计算平台是仿人形机器人的支撑平台，它可以为仿人形机器人提供全面的基础支持软硬件，以实现仿人形机器人的运动功能、感知功能、思维功能、人机交互等等。本文对基于网格计算的仿人形机器人计算平台进行研究，首次完整、详细地讨论了该计算平台的分析、设计与实现。并且通过演示系统，初步证明了研究结论的正确性、分析与设计的可行性，以及实现的有效性。文章分六个部分，第一部分介绍本文的研究意义，以及介绍机器人、机器人控制系统、高性能计算、网格计算等等与本文相关研究领域的发展现状；第二部分介绍了计算平台的总体情况，包括问题的提出、计算平台的定义、目标，以及总体设计，并着重介绍了计算平台智能层的总体结构；第三部分详细讨论计算平台的实现；作为本文的研究重点，智能层的实现独立一章，在第四部分中讨论；第五部分介绍了计算平台演示系统；第六部分是本文的结论。9.学位论文洪勤民基于WSRF的交通信息服务网格研究2007信息化是智能交通(ITS)的主要特征，智能交通的实质是交通信息的共享和综合。因此，交通信息共享成为智能交通发展的关键。当前IT