多媒体云计算平台关键技术研究

中国科学技术大学博士学位论文多媒体云计算平台关键技术研究姓名：李铮申请学位级别：博士专业：信号与信息处理指导教师：俞能海2011-05-05摘要I摘要云计算在近几年取得了迅速的发展，使用云平台承载各种大规模服务已经成为了信息产业发展的大势所趋。此外，随着多媒体技术的进步，互联网上也涌现出了大量新型多媒体业务并在广大用户中普及。在这样的两个大背景下，如何使用云计算平台承载多媒体业务，便成为了一个很有研究价值的问题。从多媒体业务自身的特性来看，对运算能力要求较高的特征，进一步增加了使用云计算的必要性。然而，多媒体业务的固有特性需要在设计云计算平台时对其进行针对性考虑，现有的普通云计算平台在这方面做得颇为不足。本文由此出发，结合多媒体业务的固有特性，重点研究了针对多媒体业务的云计算平台中的关键技术，力争解决多媒体业务在云计算平台中部署时存在的问题。具体说来，论文的主要研究内容和创新点如下：1.对现有的云计算平台和新型多媒体业务进行了调查和研究，总结了新型多媒体业务的特点，分析了现有云计算平台在承载这些业务时面临的问题和存在的不足。2.提出了一种针对多媒体云计算的网络构架。针对现有云计算平台在网络和基础构架方面支持多媒体业务时面临的基础设施支持不足、对异构终端支持不足等问题，本文提出了一种无中心的专用拓扑结构，设计了针对该拓扑的节点和服务一体化管理模块、基于RPC协议的软件构架、基于代理服务器的多媒体内容感知缓存框架等关键模块，专门针对多媒体云平台上的业务特性和异构终端特性做出了优化。实验结果表明，平台设计具有合理性，平台中使用的各项技术也具有有效性。3.提出了一种应用于多媒体云计算平台的并行化流量控制机制。为了解决多媒体云计算平台中大规模数据流量的有效管理问题，并针对云计算对不同用户和终端按照不同优先级进行分级服务的特点，本文提出了使用基于HTB流量控制技术的基本方案。为了进一步解决HTB由于性能缺陷而无法在云平台中使用的问题，本文研究了传统HTB处理速率的瓶颈，继而采用无锁FIFO技术，设计了新的算法，实现了一种流水线风格的无锁并行化HTB。实验结果表明，该并行化HTB在处理能力上有着大幅度提升，同时能够维持良好的稳定性，因而完全胜任多媒体云这种有着巨大数据流量的平台。摘要II4.提出了一种多媒体云平台中的并行化深度包检测机制。针对多媒体云计算平台中大量实时数据流所带来的安全隐患，本文提出了在平台中使用深度包检测技术。针对将该技术用于多媒体云平台时存在的稳定性和速度缺陷，本文分析了正则式规则中的长度限制这一影响稳定性的主要因素，研究了“重叠匹配表达式”在生成自动机时所带来的空间消耗问题，针对性地提出了BSPM算法。在此基础上，本文设计了一种并行化深度包检测机制，针对不同类型表达式设置了计数预处理、普通DFA匹配、BSPM匹配几个模块，使之可以同时运行。实验结果表明，该机制在提高稳定性上有显著效果，同时还可以保持较好的处理速度，从而在综合性能上有着很优越的表现。关键词：云计算多媒体拓扑设计流量控制深度包检测ABSTRACTIIIABSTRACTAsanewbornITconcept,cloudcomputingisdevelopingrapidlyinrecentyears.DeployinglargescaleservicesincloudisbecomingthemajortrendofITindustry.Moreover,asaresultofmultimediatechnologies‘development,manynewtypesofmultimediaapplicationshavemergedontheInternet,whicharealreadyacceptedbycommonpeople.Onthebasisofthetwopoints,usingcloudformultimediaapplicationsisconsideredasaneweffectiveservingmode,whichalsomeetstherequirementofhighcomputingintensityofmultimediaapplications.Tosolvetheproblemthatcurrentcloudcomputingplatformlacksconsiderationformultimediaapplications,inthispaperthekeytechnologyinamultimediacloudcomputingplatformhasbeenresearched,aimingatsolvingtheproblemsofdeployingmultimediaapplicationsincloud.Themaincontentandachievementscanbedescribedasfollows:1.Inthispaperthecurrentcloudcomputingplatformsandmultimediaapplicationshavebeenresearchedandconcluded,whichgivesadescriptiononthecharacteristicsofmodernmultimediaapplications,andtheproblemsofdeployingtheseapplicationsinthecurrentcloud.2.Anovelarchitectureofmultimediacloudcomputingplatform‘snetworkhasbeenproposedinthispaper.Aimingatsolvingtheproblemoflackingbasicsupportformultimediaapplication,insufficientconsiderationforheterogeneousterminalsandsoon。Thisarchitectureusesanocentertopologyspeciallydesignedfortheplatform.SeveralkeymodulesandtechnologiesincludingthecontentandserviceorientedDHTmanagementmodule,theRPCarchitecture,andthemediacontentawareproxycachetechnologyareadopted.Theexperimentresultsindicatetherationalityofplatformnetworkarchitecturedesign,andtheeffectivenessofthetechnologiesapplied.3.Aparalleltrafficcontrolmechanismformultimediacloudcomputingplatformhasbeenproposedtomanagethetremendoustrafficsintheplatformeffectively.Becausecloudcomputingneedtoservedifferentlevelsofuserswithdifferentqualities,inthispaperHTBisproposedasthebasictrafficmanagementmoduleformultimediacloud,whichcanbothprovideserviceABSTRACTIVwithdifferentlevelsandmakefulluseofresources.TobreakthebottleneckofHTB‘sprocessingspeedandmakeitcapableforcloudcomputing,thenewalgorithmofHTBhasbeendesigned.Asaresult,theconcurrentregionoftraditionalHTBcanbereducedasmuchaspossible,andanovelpipeline-basedlock-freeparallelHTBcanberealizedafterapplyingoflock-freeFIFOs.TheexperimentsresultsshowthattheparallelHTBcanmakeanobviousimprovementonthetraditionalHTB,andkeepstabilityinthemeantime.Soitiscapableformultimediacloudcomputingplatform.4.AnovelparallelDPImechanismhasbeenproposedinthispaperforthereal-timesecurityinmultimediacloudcomputing.TomakeDPIsuitableforcloudcomputing,itisnecessarytosolveitsproblemonstabilityandspeed.SoitisanalyzedthatthemainreasonforDPI‘sinstabilityisthelength-restrictedregularexpressions.Tosolvetheproblem,anovelalgorithmcalledBSPMhasbeenproposed.Basedonthis,aparallelDPImechanismconsistingofpre-processmodule,DFAmoduleandBPSMmodulehasbeendesignedtoprocessdifferentkindsofexpressionssimultaneously.Fromtheexperimentresultsitisshownthatthenewmechanismhasnotableimprovementonthestability,andkeepsawellperformanceinprocessingspeed.KeyWords:cloudcomputing,multimedia,topologydesign,trafficcontrol,deeppacketinspection插图目录IX插图目录图1.1SaaS中的用户层次........................................3图1.2面向商业应用的云计算构架................................5图2.1电视直播中使用的AR技术................................15图2.2IBR效果实例...........................................16图2.3VBR效果实例...........................................16图3.1CDN构架...............................................25图3.2Google内部的MapReduce实现............................27图3.3CDN的基本网络拓扑.....................................35图3.4多媒体云计算平台的基本网络拓扑.........................37图3.5多媒体云计算平台的协议栈...............................38图3.6RPC结构图.............................................40图3.7服务部署流程图...................