搜索
广西师范大学硕士学位论文基于DHT的可扩展的流媒体系统研究姓名：吴绮申请学位级别：硕士专业：计算机软件与理论指导教师：覃少华20090501I基于DHT的可扩展的流媒体系统研究研究生：吴绮导师：覃少华专业：计算机软件与理论研究方向：计算机网络年级：2006级摘要传统的网络应用模式中服务性能瓶颈以及单点失效的问题不仅限制了端系统资源的充分利用，同时越来越无法满足新的分布式应用的需求。Peer-to-Peer(P2P)网络在协同工作、分布式信息共享、大规模并行计算等方面显示出独特优势，使其成为新的发展热点。对基于结构化的Peer-to-Peer覆盖网络的流媒体服务而言，如何构造一个可扩展的、节点加入和退出时维护开销较小的流媒体体系是一个关键问题。在流媒体服务体系中DHT算法的昀大问题是DHT的维护机制较为复杂，尤其是节点频繁加入、退出造成的网络波动会极大地增加DHT的维护代价，此外，使用DHT技术会破坏节点的物理拓扑位置信息，导致节点间产生“路由绕路”问题，针对这些问题，本文对传统DHT算法进行改进,采用分层DHT的技术，构造一种可扩展的、维护开销较小的结构化P2P系统,并将其应用于流媒体系统中，以提高流媒体系统的传输效率和服务质量。本文在深入分析目前存在的各种基于P2P架构的流媒体服务系统的基本原理的基础上，总结了它们的优缺点，并对其分发机理和可扩展性进行了充分地研究。为了更有效地提高流媒体服务体系的可扩展性和高效性，提出了一种基于DHT的可扩展的流媒体服务体系：DBS-chord（DHT-basedscalablestreamingsystem）。该体系采用两层模型，很好的解决了节点随意性的问题；通过使用Vivaldi方法来计算节点在网络坐标中的位置，使得媒体数据的传输只需要穿越少量的网络跳数，有效地解决了节点间产生的“路由绕路”问题，降低了底层网络的负载，使得DBS-chord体系具有较高的效率和可扩展性。为了更有效地快速定位和管理，采用基于DHT层次化的消息路由查找机制，从而实现系统中媒体内容的快速定位和管理。通过使用基于C++语言平台上实现课题设计的模型的仿真，仿真实验结果表明：DBS-chord体系与传统的Chord体系和ML-chord体系相比较具有更少的平均访问开销，平均维护开销和平均节点加入开销，并能够大幅度提高流媒体系统分发服务质量。课题的研究成果具有良好的应用价值和推广价值。本论文的研究内容源于广西教育厅基金项目“网格下的流媒体关键技术研究”。关键字：可扩展性对等网络分布式哈希超级节点IIResearchofScalableStreamingServiceSystemBasedonHierarchicalDHTCandidate：QiWuSupervisor：AssociateProf.ShaohuaQinSpeciality：ComputerSoftwareandTheoryResearchDirection：ComputerNetworkGrade：2006AbstractThetraditionalmodelofnetworkapplicationperformancebottlenecksinservices,aswellassinglepointoffailurenotonlylimitstheclientfulluseofsystemresources,butalsoincreasinglyunabletomeetthenewneedsofdistributedapplications.AndPeer-to-Peer(P2P)networksincollaborativework,distributedinformationsharing,suchaslarge-scaleparallelcomputingshowuniqueadvantages,makingitahotnewdevelopment.BasedonPeer-to-Peeroverlaynetworkforstreamingmediaservices,howtoconstructascalable,nodejoiningandmaintenancecostslesswhenthestreamingmediasystemisakeyissue.thebiggestproblemofDHTalgorithmisisthemaintenanceofcomplexmechanisms,inparticular,frequentnodejointhenetworkfromthefluctuationscausedbygreatlyincreasedDHTmaintenancecost,basedonthis,theproposedalgorithmtoimprovethetraditionalDHT,theDHTstratifiedtechnology,constructionofascalable,costlesstomaintainthestructureofP2Psystems,andsystemsusedinstreamingmedia,streamingmediasystemtoimprovetransmissionefficiencyandservicequality.Firstly,weintroducethecommonpeer-to-peersystemsbasedDHTinInternetandsummarizetheiradvantagesanddisadvantages.Secondly,aDHT-basedscalablestreamingmedia:DBS-chord.Thesystemusingthetwo-layersmodel,agoodsolutiontotheproblemofarbitrarynodes;Vivaldicalculatedbyusingthecoordinatesofnodesinthenetworklocation,makingdatatransmissionmedianeedonlypassthroughasmallnumberofhopsofthenetwork,aneffectivesolutiontothenodeleadstoadetourroutingproblem,reducingtheloadontheunderlyingnetworkallowsDBS-chordsystemwithhighefficiencyandscalability.BasedonthelevelsofDHT-basedroutingtofindtheinformationmechanismsforthedatasectionofthemediatoaccessinformationandholddatasectionoftheabstractnodepositioningacrosstheP2Pnetworkintoadistributedhashtable,inordertoachievesystemrapidpositioningofmediacontentandmanagement.TheexperimentalresultsshowthatconventionalChord-basedsystemcomparedto,DBS-chordsystemwiththeIIIaveragequerycostsless,theaveragemaintenancecosts,theaverageoverheadandthenodetojoinnodefailureofalarge-scalestabilityofbetter.Finally,withC++languagemodeldesignedtoachievethesubjectofthesimulationtestsystem.TheresearchworkinmypaperisaffiliatedwiththeGuangXiofficeofeducationsciencefoundationproject“ResearchontheP2PStreamingMediaServiceArchitectureanditsKeyTechnology”.Keywords:scalability；peer-to-peer；DHT；superpeer论文独创性声明本人郑重声明：所提交的学位论文是本人在导师的指导下进行的研究工作及取得的成果。除文中已经注明引用的内容外，本论文不含其他个人或其他机构已经发表或撰写过的研究成果。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律责任。研究生签名：日期：论文使用授权声明本人完全了解广西师范大学有关保留、使用学位论文的规定。广西师范大学、中国科学技术信息研究所、清华大学论文合作部，有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布（包括刊登）论文的全部或部分内容。论文的公布（包括刊登）授权广西师范大学学位办办理。研究生签名：日期：导师签名：日期：第一章绪论1.1研究背景随着宽带技术的日趋普及和通讯网络技术的快速发展，在计算机互联网上产生和提供了大量的网络服务，网络中的数据信息不断增加，数据分布由集中向分散发展，原有的C/S架构方式暴露出如负载容量有限，过分依赖中央服务器的正常运作等问题。具有大量信息资源且少依赖或不依赖中央服务器特性的Peer-to-Peer(P2P)网络技术应运而生。1.2流媒体分发服务研究现状流媒体的分发服务主要有四种类型[1]：①C/S模式的流媒体分发服务；②基于CDN的流媒体分发服务；③基于IP组播的流媒体分发服务；④基于P2P的流媒体分发服务。1.2.1C/S模式的流媒体分发服务在传统的C/S模式的流媒体分发服务中，如图1-1所示，服务器是网络的控制核心，服务器以单播的形式和每个客户建立连接，信息和数据都保存在服务器端，只有服务器端具有控制能力，客户端基本上是一个高性能的I/O设备。由于流媒体服务具有高带宽、持续时间长等特点,随着节点的增加，服务器的负载就越来越重，形成了系统的瓶颈，所以系统服务的可扩展性很差。此外，C/S模式下的互联网是完全依赖于服务器，没有服务器，网络就没有任务意义，存在单点失效的问题。ServerClient图1-1传统C/S模式1.2.2基于CDN的流媒体分发服务CDN[2]即内容分布网络，它的基本思想是内容提供商提供的媒体文件部分或全部缓存到位于因特网“边缘”的距离用户较近的缓存代理服务器上，使客户能从位于本地的缓存代理服务器上获取流媒体内容。CDN从技术上全面解决了由于网络带宽窄、用户访问量大、网点分布不均等问题，提高了用户访问的性能，有效减少了主干网络负担和传输延迟，同2时也增加了系统容量。但是，基于CDN的体系与存在明显的不足，由于客户端的动态性，很难确定需要部署多少边缘服务器；其高昂的成本，始终是阻碍其大规模部署的主要因素。源服务器内容分发服务器图1-2CDN体系结构1.2.3基于IP组播的流媒体分发服务IP组播[3-5]：目前基于TCP/IP的Internet网络主要有三种传输方式：单播、广播和组播。单播技术是一种单点到单点的数据传输方式，如图1-3所示，发送端向每个接收端都发送单播分组，路由器只转发分组。缺点是如果多个用户同时请求同一个数据，服务器必须通过网络给每个用户发送一份相同的数据。随着客户端数目的增加，很容易造成服务器端的网络拥塞。R1R2R4R3R5P1P2P4P3图1-3单播广播技术是一点到所有点的数据传输方式，采用这种方式，服务器只需要发送一次数据，数据就会扩散到所有用户，效率很高。但是由于发送模式的盲目性，数据会扩散到所有的网段而不关心网段中的主机是