面向服务的云会议系统架构及其关键技术研究

中国科学技术大学博士学位论文面向服务的云会议系统架构及其关键技术研究姓名：李俊超申请学位级别：博士专业：计算机应用技术指导教师：郭锐锋2011-04-18摘要I摘要随着计算机、网络、通信技术的飞速发展，IP通信已成为计算机和通信领域的研究热点，并且正在从早期的VoIP系统向着应用多样化的统一通信转变。多媒体会议是一种以网络为媒介的IP通信平台，使得用户可以在互联网上实现面对面般的会议交流。多媒体会议的本质是把端到端的VoIP电话进化为多方会谈的统一通信方式，实现在多点间的语音、视频和应用数据的实时传送功能。由于网络环境、服务器性能、软件技术等多方面限制，现有多媒体会议的研究和产品仍然存在许多问题，影响了它的服务质量和实用性。因此，对多媒体会议的系统架构和关键技术做进一步研究，使其能够在互联网和移动通信网络中提供大规模、高质量的会议服务，方便人们的远程交流，具有重要意义。本文通过研究现有多媒体会议的特性，针对现有会议规模较小、系统鲁棒性较弱、通信延迟较大、媒体传输可靠性较差等缺点，结合云计算技术和面向服务思想，提出一种新的多媒体会议类型——面向服务的云会议。云会议系统将面向服务思想、云计算技术和多媒体会议紧密融合，实现上采用面向服务架构，降低耦合性、提高灵活性和可扩展性，利用云计算技术在扩大会议规模的同时降低成本，使得多媒体会议在丰富应用的基础上，兼有云计算和面向服务的优点。本文还在云接入方法、文件系统、信息检索、媒体传输、处理机制等云会议关键技术上进行研究并提出相应解决方案，具有科研和实用价值。本文主要研究工作如下：1）对多媒体会议架构进行了系统研究，沿着从集中式到分布式到云会议的顺序展开论述。本文总结了作者在集中式和分布式会议上的工作，并分析各自的特点、用途和局限性，为解决现有会议存在的问题，提出了面向服务的云会议这种新的会议形式。我们把开源云平台Hadoop的两层结构扩展，运用面向服务的思想划分为四层服务，使云会议具有更好的灵活性，也更容易满足不同情景需求。通过综合比较集中式、分布式和云会议的特点，在规模、适用场景、可伸缩性、扩展性、容错性、性价比、延迟等方面体现云会议的优越性。2）提出一种用户连接入云会议的方法，针对复杂的网络环境，为用户选择最佳的云会议接入点，提高信令和媒体的通信传输质量，以获得更好的用户体验。发展了三角启发式原理，使其能够用于路径质量评价，并将其作为云会议接入点选择算法的理论依据。在通过计算得到节点网络坐标的基础上，提出一种网络坐标的降维存储方式，使多维坐标点映射到一维的B+树叶子结点上，并提供对应的云会议接入点选择算法，提高最佳接入点的查找效率。摘要II3）在HadoopHDFS的基础上，改进云会议的文件系统，以应对云会议与普通云计算数据类型不同的问题，并解决单一NameNode服务器的性能瓶颈和容错问题，提高文件系统的实时性和容错性。提出一种云会议信息检索算法，对会议中存在的大量文本记录和文件资料进行内容检索。在统一索引结构的基础上，利用云会议存储空间大的优点，以空间换带宽和时间，提出基于大小、范围、冗余条件的key生成算法，减少了信息检索时的信息传输量和计算延迟。4）针对云会议情景模式多样、QoS要求灵活多变的情况，提出一种云会议媒体传输策略，采用最优动态缓冲、受限重传机制和弹性容错机制，比传统会议媒体传输方法能更加灵活地调节实时和可靠需求。针对HadoopMapReduce原型单一JobTracker的性能瓶颈和容错问题，以及无法处理会议实时任务的问题，把并行计算模型MapReduce改进为Map-Reduce-Dispatch三步处理框架，满足实时性和可靠性要求，并能处理任务滞后问题。关键词：IP通信技术，多媒体会议，面向服务架构，云会议，网络坐标，媒体处理ABSTRACTIIIABSTRACTOntherapiddevelopmentofcomputer,networkandcommunicationtechnology,theIPCommunicationisbecomingahotspotresearchincomputerandcommunicationdomains,whichisdeveloppingfromearlyVoIPsystemtotheUnifiedCommunicationwithdiverseapplication.ThemultimediaconferencingisanIPCommunicationplatformonnetwork,whichhelpsusersholdconferencesinInternet.TheessenceofthemultimediaconferencingisthattheVoIPisdeveloppedfromend-to-endconversationtomulti-partyconversation,andrealizesthefunctionofthereal-timetransmissionofvoice,videoanddataamongmulti-points.Becauseofthelimitationofnetworkcircumstance,servercapabilityandsoftwaretechnology,thestudyandproductsofmultimediaconferencingnowstillhaveafewproblems,whichinfecttheQoSandpracticability.ItisimportanttoresearchonthemultimediaconferencingsystemarchitectureanditskeytechniquestoprovidelargescaleandhighqualityconferencingserviceinInternetandmobilecommunicationnetworkforlong-distancecommunicationindailylife.Thispaperstudiesthecharacteristicsofexistingmultimediaconferencingandfindsafewweakpoints:smallscaleofconference,weakrobustnessofsystem,largedelayofcommunicationandweakreliabilityofmediatransmission.Toovercometheseshortpoints,weproposeanewmultimediaconferencingtypecalledtheService-OrientedCloudConferencing,combiningcloudcomputingtechniqueandservice-orientedthinking.Thecloudconferencingsystemmixesthecharacteristsofcloudcomputingtechnique,service-orientedthinkingandmultimediaconferencing.Itusesservice-orientedarchitecturetoreducecoupling,enhanceagilityandadvanceexpansibility.Itusescloudcomputingtechniquetoenlargetheconferencescaleandsavecost.Ithasthestrongpointsofcloudcomputingandservice-orientedarchitectureonthebaseofrichapplicationsinmultimediaconferencing.Thispaperalsostudiestoprovidesolutionsofthekeytechniquesincloudaccessmethod,filesystem,informationretrieval,mediatransmissionandprocessmechanism,whichhavescientificandpracticalvalue.Themainresearchworksofthispaperareasfollows:1)Westudymultimediaconferencingsystemarchitectures,andexpatiateonthestudyprocessfromcentrlizedanddistributedconferencingtocloudconferencing.ABSTRACTIVThispapersumarizestheauthor'sworkoncentrlizedanddistributedconferencing,andanalysetheircharacteristics,usesandlimitations.Toovercometheirshortpointsandlimitations,weproposethenewconferencingtype:Service-OrientedCloudConferencing.ThecloudconferencingextendsthetwolayerarchitectureofanopensourcecloudplatformcalledHadooptofourlayersofservice.Thisextensionmakesthecloudconferencinghavebetteragilityandmeettheneedsofdifferentconferencingscenarios.Weanalysecentrlized,distributedandcloudconferencingintegrately,suchassize,scene,scalability,expansibility,faulttolerance,costanddelay.Wefindthecloudconferencinghasadvantagesinthesefields.2)Weproposeamethodforusersconnectingintocloudconferencing.Forthecomplexnetworkenvironment,wechoosethebestcloudconferencingaccesspointtoadvancecommunicationandtransmissionquality.WedevelopTriangleHeuristictosuitthepathqualityevaluation,whichisthetheoreticalbasisofcloudconferencingaccesspointchosenalgorithm.Weproposeadimensionreductionstoragemethodfornetworkcoordinate,whichmapsdimensionalcoordinatestoleavesofB+tree.Wealsoproposeacloudconferencingaccesspointchosenalgorithmtoimprovesearchefficiency.3)WeimprovecloudconferencingfilesystemonthebaseofHDFS,becauseofthedifferentdatatypesbetweencloudconferencingandnormalcloudcomputing.ThisimprovmentovercomestheproblemsoftheonlyNameNode'sbottle-neckan