即时通讯优化方案baidu

IM解决方案技术建议书1即时通讯优化方案IM解决方案技术建议书2目录前言.......................................................................................................................................3第1章当前平台IM技术介绍......................................................................................4WebRTC简介....................................................................................................................4WebRTC优劣....................................................................................................................4第2章当前平台IM的突破方向..................................................................................52.1视音频编解码技术.....................................................................................................52.2设备对恶劣网络环境的适应能力.............................................................................62.3音频处理技术.............................................................................................................82.4IM主流应用功能的开发.........................................................................................9研发风险评估...................................................................................................................9第3章第三方IM方案分析........................................................................................10使用第三方IM流程图...................................................................................................10主流的第三方平台.........................................................................................................11使用第三方平台的优势.................................................................................................11环信IM平台...................................................................................................................12第4章总结.........................................................................................................................14IM解决方案技术建议书3前言本方案产生的背景是纺织服装平台已经初步搭建即时通讯服务，实现Web视频聊天功能，并经过一段时间的使用测试，对所发现的用户体验问题、多客户端互通问题和技术问题的描述，针对这些问题及对即时通讯功能后续发展规划，做出此优化方案。IM是(InstantMessaging)的英文缩写，全称为即时通讯技术，现在比较有名的产品有:腾讯QQ、MSN、微信、中国飞信等等产品，即时通讯是一整套解决方案，其中包括了IM后端服务、IM客户端、硬件配置。后端的服务由众多的业务系统组成，如：Session存储、用户信息系统、文件管理系统、实时音视频服务、消息处理、推送系统等等构成，是一套业务复杂、流程大的处理方案。IM解决方案技术建议书4第1章当前平台IM技术介绍当前平台的IM实现是基于WebRTC技术进行构建的，与传统的中心服务型IM技术有根本的不同。WebRTC简介WebRTC是HTML5支持的重要特性之一，Web开发者能够基于浏览器（Chrome\FireFox\...）轻易快捷开发出丰富的实时多媒体应用，而无需下载安装任何插件，Web开发者也无需关注多媒体的数字信号处理过程，只需编写简单的Javascript程序即可实现。终端用户通过本机浏览器与信令服务器进行信令信息交换，在获取到足够的信息，自动与其他终端建立通讯链接，实现P2P视频聊天。WebRTC优劣WebRTC优势WebRTC是HTML5的主要特性，是国际组织W3C制定的行业标准。目前WebRTC已经得到谷歌、微软、苹果等公司的大力发展并且在普及推广应用。让苹果、安卓手机使用浏览器进行视频会议成为可能。WebRTC使用的是P2P技术不占用服务器资源，节省了大笔服务器部署费用。IM解决方案技术建议书5WebRTC局限性1、由于WebRTC使用的是P2P技术不占用服务器资源，节省了大笔服务器部署费用。但是受限客户端机器的性能及网络带宽，无法进行大规模的进行视频会议聊天；2、WebRTC是Google提供的基于Chrome浏览器的开源项目。浏览器市场被几大巨头支配，Google、Microsoft、Apple，中国国内有360、百度、QQ等。这些浏览器厂商出于利益考虑，会人为的制造技术壁垒。因此，基于WebRTC开发的项目，在浏览器适配，移动端适配上需要大量深度开发。3、对于一些服务器功能如视频录制、视频监控等WebRTC有着先天的缺陷，无法很好的完成。4、与传统中心服务型即时通讯技术相比，WebRTC属于新型的即时通讯技术，由于发展时间较短，其应用技术和配套功能都处于初始阶段，虽然实现了基本的即时通讯功能，但在用户体验与功能多样化上，还有待开发。第2章当前平台IM的突破方向2.1视音频编解码技术视音频编码技术是视频会议系统的关键技术指标，是影响会议效果的重要因素。目前视频会议系统中用到的视频编码技术主要有H.261、H.263、H.264、MPEG-2、MPEG-4等，音频编码技术主要有G.711、G.722、G.728、G.729、MP3等。其中，H.264和MPEG-4这两种视频编码技术能够在低带宽下实现高清晰的动态图像效果，而且编码延时小，作为新一代视频编解码标准，其优势非常明显。H.264具有许多与旧标准不同的新功能，它们一起实现了编码效率的提高。特别是在帧内预测与编码、帧间预测与编码、可变矢量块大小、四分之一像素运动估计、多参考帧预测、自适应环路去块滤波器、整数变换、量化与变换系数扫描、熵编码、加权预测等实现上都有其独特的考虑。而在音频编码方面，MP3是一种高效的声音压缩算法，其频响范围在20Hz到20KHz之间，采样频率达到44.1KHz，而且支持双声道编码，因此正在获得越来越广泛的应用。IM解决方案技术建议书62.2设备对恶劣网络环境的适应能力网络的QoS可以在一定程度上保证视频会议的传输效果，但其作用是很有限的，尤其是在一些较为恶劣的网络环境下。视频会议系统设备本身对恶劣网络环境的适应能力也将对会议效果产生较大的影响。这些适应能力包括IP优先权设置、IP包排序、IP包重复控制、IP包抖动控制、丢包重传以及速率自动调整等。2.2.1IP优先权（IPPrecedence）在网络规划差分服务方式的QoS技术时，可通过多种匹配手段对进入数据网的业务包进行分类，包括IP地址、IP优先权（IPPrecedence）等。其中，利用IP包中的IP优先权部分可以对音频、视频和RTCP（Multicast）数据流进行优先级划分。当网络采用IPPrecedence进行流量匹配时，可通过视频设备发出的修改过IPPrecedence字段信息的视音频包进行入队列处理，以保证视频会议码流的优先传送。2.2.2IP包排序通常，网络的尽力传递机制无法保证其转发的数据包的正确次序。对于H.323视频会议系统，如果视频设备按次序接收IP包，将带来错序问题，数据包的丢失或延迟将导致视频图像的冻结或声音的中断或抖动。可通过视频设备支持IP包排序功能解决该问题，当IP包到达时，视频设备将对其次序进行验证，无序的包被退回，以维护发送给终端用户的音频和视频流的连续性。2.2.3IP包重复控制一个IP包经过承载网时可能会产生多个重复的副本，或为了适应恶劣网络环境系统可能采用重传机制时也会产生多个重复的副本，这样将引起视频图像的冻结或声音中断。支持IP包重复控制的视频设备可通过该功能来纠正该错误，以维护发送给终端用户的音频和视频流的连续性。IM解决方案技术建议书72.2.4抖动控制当音频和视频IP包离开发送端时，按照规则的间隔均匀的排列。在通过网络之后，这一均匀的间隔因不同的延时大小而遭到破坏，从而产生抖动。抖动会导致目标终端上音频和视频流的不连贯性。支持抖动控制的视频设备可通过抖动缓存来实现抖动消除，以维护终端用户接收到的音频和视频流的连贯性。2.2.5丢包重传当网络拥塞严重时，网络设备（如路由器）会根据缓存大小并配合相关处理机制丢掉一些视频包，视频会议系统中视频包是采用UDP协议进行传输的，而UDP本身没有重传机制，因此会导致接收端出现图像丢帧或马赛克现象。支持丢包重传的视频设备可通过添加丢包检测和重传的机制来保证会议图像的连贯性。2.2.6自动速率调整技术在一些恶劣的网络环境下，降低会议码率将有助于提高视音频的连贯性和实际效果。如果视频设备支持动态速率调整技术，可以使终端和MCU能通过检测网络上有利和不利的因素来自动适应网络的容量和性能，通过动态调整视频会议的码率，为终端用户提供尽可能好的视频质量。视频设备的自适应带宽调整功能主要是通过检测数据包丢失率来实现的。如果终端检测到数据包丢失率超过了指定的阀值，它将自动降低视频会议码率，同时通知其它参会终端做相同的动作，从而提供一个具有最优视音频效果的会议码率。2.2.7唇音同步技术视频会议系统中视频信号和音频信号是分别编码、分别传输的，由于IP优先级和视音频包大小等因素的影响，会使视音频的同步包到达顺序不同，引起唇音不同步。影响唇音不同步主要有两种因素：网络传输时延和视音频处理时延不同。当音频和视频包离开发送端时，音频包与对应的视频包保持同步。但是，在通过承载网时，各种队列算法会对音频资料包和视频资料包进行不同的处理。这将打乱音频资料包与相应的视频资料包的同步关系。最终的结果导致声音与口型IM解决方案技术建议书8失去同步。支持唇音同步的视频设备可通过使用IP包中的RTP时间戳信息来纠正这一问题。利用RTP时间戳，设备能够确定哪一音频包与哪一视频包对应。进一步重新调整相应的视音频包，以保