大规模网络存储系统的数据布局策略研究

大规模网络存储系统的数据布局策略研究作者：陈涛，肖侬，刘芳，ChenTao，XiaoNong，LiuFang作者单位：国防科学技术大学计算机学院,长沙,410073刊名：计算机研究与发展英文刊名：JOURNALOFCOMPUTERRESEARCHANDDEVELOPMENT年，卷(期)：2009，46(z2)被引用次数：0次参考文献(12条)1.GrayJWhatnext?Afewremainingproblemsininformationtechnology20082.BrinkmannA.EffertS.MeyeraufderHeideFDynamicandredundantdataplacement20073.舒继武DAS,NAS,SAN,P2P等存储系统的体系结构20084.RowstronA.DruschelPStoragemanagementandcachinginPAST,alarge-scale,persistentpeer-to-peerstorageutility20015.DabekF.KaashoekMF.KargerDWide-areacooperativestoragewithCFS20016.DouceurJR.WattenhoferRPOptimizingfileavailabilityinasecureserverlessdistributedfilesystem20017.SchmuckF.HaskinRGPFS:Ashareddiskfilesystemforlargecomputingclusters20028.BrinkmannA.SalzwedelK.ScheidelerCEfficient,distributeddataplacementstrategiesforstorageareanetworks20009.SchindelhauerC.SchomakerGWeighteddistributedhashtables200510.NagleD.SerenyiD.MatthewsAThepanasasActiveScalestoragecluster-deliveringscalablehighbandwidthstorage200411.WelchB.UnangstM.AbbasiZScalableperformanceofthepanasssparallelfilesystem200812.LiuZhongEfficient,balanceddataplacementalgorithminscalablestorageclusters2007(7)相似文献(4条)1.学位论文刘春晓大规模网络存储系统数据布局策略的研究与实现2009随着Internet技术的不断发展，网络上的数据迅速增长，无论是在生物医学、核能等科学研究和工程领域，还是在电子商务、金融等信息服务领域，高性能大容量的大规模网络存储系统已经成为目前数据存储的主要方式。大规模网络存储系统中的海量数据管理已经成为很多领域的挑战性问题，关于数据布局策略的研究在海量数据管理中尤为重要。br　　如何将PetaByte级的数据分布到大量的存储设备上是当前大规模网络存储系统面临的很大难题。设计一种适合大规模网络存储环境下的数据布局策略是解决问题的关键。br　　为满足当前大规模网络存储系统对扩充容量、提高数据访问速度和保证数据安全的要求，本文分析和比较了现有大规模网络存储系统中数据布局策略和当前对数据布局策略的研究成果，并结合半正定规划算法和动态区间映射算法两种方法，提出了一种“层次化”的数据布局策略。该策略将大量存储设备划分为数量较少的设备集合；半正定规划算法可以解决带有不同数量副本的文件的放置问题，将文件的不同副本放在不同的设备集合上,保证文件的存储局部性和数据可靠性；动态区间映射算法解决了文件分片后的放置问题，将文件条放在设备集合内的不同存储设备上，保证系统具有较好的自适应性。br　　Lustre模拟器是大规模系统性能评估的重要平台，在上面支持上万个用户对上千个节点的访问。本文在Lustre模拟器上，实现了“层次化”数据布局策略，对比Lustre模拟器的数据布局策略，进行存储访问测试和性能分析。br　　理论分析和实验表明，本文提出的“层次化”数据布局策略可以保证在大规模网络存储系统中数据的可靠性、对数据的高速访问和系统的自适应性。br2.期刊论文刘芳.陈涛.肖侬.LiuFang.ChenTao.XiaoNong大规模网络存储系统中面向可靠性的数据布局算法-计算机研究与发展2009,46(z2)如何有效地在大规模的网络存储系统中存放数据是一个具有挑战性的问题.深入研究如何在满足存储的公平、冗余和自适应性的情况下,基于存储设备不同的可靠性能,充分考虑存储数据的重要性进行数据布局.用整数规划的形式描述了面向不同可靠性等级的存储设备进行数据布局的优化问题,并说明了这个问题是NP难的.提出了一种块级别的面向可靠性的数据分级布局算法,保证了布局算法的公平、冗余以及自适应性,并分析了数据布局算法的合理性和可行性.3.期刊论文陈涛.肖侬.刘芳.CHENTao.XIAONong.LIUFang大规模网络存储系统的数据布局算法研究-计算机工程与科学2009,31(11)可扩展和可靠的数据管理是实现大规模网络存储系统的关键技术,需要一个能够自适应存储规模变化、公平、冗余、高可用的数据布局算法.本文根据不同的设计目标以及存储环境的同构和异构特性,分析了四类布局算法:同构的布局算法、非冗余的异构布局算法、冗余的异构布局算法和高可用的布局算法.对现有布局算法存在的问题进行了讨论,并指出了未来的研究方向.4.学位论文劳仲安数据网格环境下的数据传输及缓存技术研究及实现2009开放的互联网环境中存在容量巨大、形式多样、分散存储的数据资源，对这些数据资源实施有效的管理是一个挑战性问题。数据网格以广域环境下海量、异构的数据资源为处理对象，结合高性能计算设施和大规模存储设备，实现了数据存储、数据传输、数据访问、副本管理、高性能数据处理等功能，为用户提供了一个数据管理与处理的基础设施。br　　由于数据网格先天的广域分布性，使得在广域网中进行高效、可靠的数据传输成为了进行数据共享的必然要求。针对这种情况，我们设计和实现了网格数据传输系统，提供了并行传输、条状传输、普通第三方传输、间接第三方传输、带路由的数据传输等功能，并支持现有的主流传输协议FTP、HTTP以及HTTPS等，从高效性、能行性、稳定性、可靠性及安全性等方面满足了数据网格中分布、异构、海量数据的传输需求，改善了数据共享性能。br　　另外，随着计算机技术的发展，CPU和系统主存的性能得到了极大的提高。然而由于IO设备的发展相对滞后，磁盘性能逐渐成为了影响计算机整体性能的瓶颈。特别是在内存密集型和I/O密集型应用中，磁盘访问的巨大延迟将严重影响应用程序的性能。因此在数据网格环境下数据的访问有可能因为磁盘的巨大延迟而导致性能的急剧下降。针对这种情况，本课题组提出了内存网格用于解决此类问题。由于不同大小的文件在数据网格环境下具有不同的访问特征，为了进一步提高内存网格的可用性，我们结合大规模网络存储系统中数据布局策略提出基于内存网格的文件分类缓存服务，在保证内存网格公平性和高可用性的前提下，对内存网格系统中的文件进行分类缓存，扩展内存网格的可用性。通过基于真实应用的实验模拟，证明了文件分类缓存可有效提高现有内存网格的性能。br　　网格数据传输模块为底层的数据资源开凿了一条连通四面八方、数据高速流动的沟渠，使得数据网格环境下不同节点的数据可以进行有效共享；而使用内存网格对于数据进行缓存则可以有效提高数据访问的性能，因此两者从不同方面提高了数据网格的数据访问性能。br本文链接：授权使用：无锡市图书馆(wxstsg)，授权号：26cd262f-45d8-4930-8c8e-9e6100cbadaf下载时间：2011年1月4日