第7讲：网络多媒体 IP网络视频通信若干问题(修改) [兼容模式]

网络多媒体技术网络多媒体技术网络多媒体技术网络多媒体技术第七讲第七讲：网络视频通信若干问题：网络视频通信若干问题郑世宝郑世宝郑世宝郑世宝tel:34204002/13501768669tel:[phone]EE--mail:[e-mail]:[e-mail]提纲提纲提纲提纲„„网络多媒体技术研究趋势？网络多媒体技术研究趋势？„„IPIP网络视频通信问题网络视频通信问题„„IPIP网络视频通信问题网络视频通信问题„„无线视频通信问题无线视频通信问题„„融合问题融合问题图像通信与信息处理研究所网络多媒体技术研究趋势网络多媒体技术研究趋势网络多媒体技术研究趋势网络多媒体技术研究趋势••QoSQoS问题问题：如何提高分辨率、信噪比、延时、：如何提高分辨率、信噪比、延时、鲁棒性？鲁棒性？••编码问题编码问题：不仅仅是压缩比问题，从通用走向：不仅仅是压缩比问题，从通用走向专用，例如专用，例如SVACSVAC••率失真问题率失真问题：码控问题，：码控问题，CBR/VBRCBR/VBR••网络编码问题网络编码问题：多用户优化，网络优化：多用户优化，网络优化••视觉信息熵编码视觉信息熵编码：非信号冗余编码，如感知编：非信号冗余编码，如感知编视觉信息熵编码视觉信息熵编码：非信号冗余编码，如感知编：非信号冗余编码，如感知编码、码、ROIROI编码、编码、SVCSVC编码、多视角编码编码、多视角编码••融合问题融合问题：业务融合、网络融合：业务融合、网络融合图像通信与信息处理研究所融合问题融合问题务融合网络融合务融合网络融合IPIP网络视频通信问题网络视频通信问题问题的提出问题的提出问题的提出问题的提出实时视频的速率本身是突发变化的非平稳的实时视频的速率本身是突发变化的非平稳的„„实时视频的速率本身是突发变化的、非平稳的实时视频的速率本身是突发变化的、非平稳的••例如：短期例如：短期I/B/PI/B/P帧编码速率不同；长期运动场景和图帧编码速率不同；长期运动场景和图像细节的不同像细节的不同像细节的不同像细节的不同„„网络带宽本身也是不稳定的、波动的网络带宽本身也是不稳定的、波动的••例如不同优先级的业务即使优先级相同但其他例如不同优先级的业务即使优先级相同但其他••例如：不同优先级的业务；即使优先级相同，但其他例如：不同优先级的业务；即使优先级相同，但其他因素，如网络拥塞引起因素，如网络拥塞引起„„网络拥塞常会导致丢包、延时和延时抖动网络拥塞常会导致丢包、延时和延时抖动„„网络拥塞常会导致丢包、延时和延时抖动网络拥塞常会导致丢包、延时和延时抖动„„网络差错还会带来包复制和重排序网络差错还会带来包复制和重排序因此网络视频传输的质量控制是个复杂的系因此网络视频传输的质量控制是个复杂的系„„因此，网络视频传输的质量控制是一个复杂的系因此，网络视频传输的质量控制是一个复杂的系统工程问题和科学问题统工程问题和科学问题图像通信与信息处理研究所解决途径解决途径解决途径解决途径„„一般的开环控制有两种：一般的开环控制有两种：••采用恒定比特率（采用恒定比特率（CBRCBR）的传输方式）的传输方式，，CBRCBR采用恒定比特率（采用恒定比特率（CBRCBR）的传输方式）的传输方式，，CBRCBR的缺点：会造成视频质量的不均匀和网络资源的缺点：会造成视频质量的不均匀和网络资源的浪费的浪费；；的浪费的浪费；；••采用变化比特率（采用变化比特率（VBRVBR）传输方式，）传输方式，VBRVBR的缺的缺点：会造成网络带宽的波动和过大的缓存延点：会造成网络带宽的波动和过大的缓存延点：会造成网络带宽的波动和过大的缓存，延点：会造成网络带宽的波动和过大的缓存，延时过大时过大因此需要采取对源端的可行的调整适应因此需要采取对源端的可行的调整适应„„因此，需要采取对源端的可行的调整适应因此，需要采取对源端的可行的调整适应方案方案，即带反馈的码率控制。，即带反馈的码率控制。图像通信与信息处理研究所一、如何一、如何在在BestBest--EffortEffort网络上传输视频网络上传输视频信号信号„„测试在现有的网络和不同的互联网网络传测试在现有的网络和不同的互联网网络传输协议下（输协议下（RTP,RTCP,UDP,RTP,RTCP,UDP,和和IPIP），编码），编码输协议下输协议下,,,,,,和和编码编码器对于输出码率调整的性能。器对于输出码率调整的性能。••发端通过接受报告（发端通过接受报告（RRRR）中由）中由RTCPRTCP包所提供包所提供••发端通过接受报告（发端通过接受报告（RRRR）中由）中由RTCPRTCP包所提供包所提供的反馈信息来获取丢包率。然后，我们可以根的反馈信息来获取丢包率。然后，我们可以根据丢包率粗略估计出块丢失率之后发端就据丢包率粗略估计出块丢失率之后发端就据丢包率粗略估计出块丢失率。之后，发端就据丢包率粗略估计出块丢失率。之后，发端就可用一个算法来调整可用一个算法来调整λλ，编码的昀大码率。，编码的昀大码率。根据网络状况对根据网络状况对λλ采用渐进增长倍数递减采用渐进增长倍数递减••根据网络状况，对根据网络状况，对λλ采用渐进增长，倍数递减。采用渐进增长，倍数递减。以求在高效和公平之间达到平衡。以求在高效和公平之间达到平衡。图像通信与信息处理研究所••在组播情况下如何判断网络拥塞，以及一种能在组播情况下如何判断网络拥塞，以及一种能够适应异构网络的方法，当够适应异构网络的方法，当RRRR中指示，有相当中指示，有相当比例的接收端都检测到丢包率达到了上限（如比例的接收端都检测到丢包率达到了上限（如1010％或者更多），发端就推断网络发生了拥塞，％或者更多），发端就推断网络发生了拥塞，它需要降低它需要降低相似的如果有多于相似的如果有多于的接的接它需要降低它需要降低λλ；相似的，如果有多于；相似的，如果有多于1010％的接％的接收机报告它们的丢包率降低到了下限，发端就收机报告它们的丢包率降低到了下限，发端就可考虑增加可考虑增加可考虑增加可考虑增加λλ。。••还可在源端采取对帧率进行调整的方法（主要还可在源端采取对帧率进行调整的方法（主要是调整帧截取频率），以适应网络拥塞的情况。是调整帧截取频率），以适应网络拥塞的情况。图像通信与信息处理研究所然而问题是如果该然而问题是如果该λλ值的变化次数太过频繁经常降值的变化次数太过频繁经常降„„然而，问题是，如果该然而，问题是，如果该λλ值的变化次数太过频繁，经常降值的变化次数太过频繁，经常降低到昀小值。由于向源端指示丢包的信息有一定的延时低到昀小值。由于向源端指示丢包的信息有一定的延时（比如在法国和加拿大之间举行的一次电话会议），（比如在法国和加拿大之间举行的一次电话会议），λλ会会（比如在法国和加拿大之间举行的次电话会议），（比如在法国和加拿大之间举行的次电话会议），会会快速地在昀大值和昀小值之间振荡。由于帧率在此过程中快速地在昀大值和昀小值之间振荡。由于帧率在此过程中经常被修改（更甚与量化器的值），这样对视频信号的影经常被修改（更甚与量化器的值），这样对视频信号的影响可能也只有在使用电话会议的用户才可以接受响可能也只有在使用电话会议的用户才可以接受响，可能也只有在使用电话会议的用户才可以接受。响，可能也只有在使用电话会议的用户才可以接受。„„一个被称为一个被称为RAPRAP的更为细致的方法被应用于视频流在互联的更为细致的方法被应用于视频流在互联网上的传输，该协议要求服务器端的数据源的码率可调节，网上的传输，该协议要求服务器端的数据源的码率可调节，网上的传输，该协议要求服务器端的数据源的码率可调节，网上的传输，该协议要求服务器端的数据源的码率可调节，同时要求在每个客户端有可以进行相应码率调节的接收器，同时要求在每个客户端有可以进行相应码率调节的接收器，且该接收器应能对每个包进行确认。这些确认信息，就相且该接收器应能对每个包进行确认。这些确认信息，就相当于及时向源端提供了有关包丢失的反馈信息当于及时向源端提供了有关包丢失的反馈信息当于及时向源端提供了有关包丢失的反馈信息当于及时向源端提供了有关包丢失的反馈信息。。图像通信与信息处理研究所••不同于滑动窗流量控制机制，通过改变窗的大不同于滑动窗流量控制机制，通过改变窗的大小来控制流量和实现码率调整，小来控制流量和实现码率调整，RAPRAP是通过调是通过调整包间间整包间间来来整包间间隔（整包间间隔（interpacketinterpacketgapgap，即，即IPGIPG）来）来作为对网络阻塞的响应。作为对网络阻塞的响应。••IGPIGP的调整也是遵循加性递增，乘性递减的原的调整也是遵循加性递增，乘性递减的原则。则。••RAPRAP接收器在每收到一个包都产生确认信息的接收器在每收到一个包都产生确认信息的好处，就在于源端就可以保持一个平滑环路时好处，就在于源端就可以保持一个平滑环路时好处，就在于源端就可以保持个平滑环路时好处，就在于源端就可以保持个平滑环路时间的估计。间的估计。图像通信与信息处理研究所二如何在组播环境下支持视频传输二如何在组播环境下支持视频传输二、如何在组播环境下支持视频传输二、如何在组播环境下支持视频传输由于显而易见的网络中的互异性比如说接收设由于显而易见的网络中的互异性比如说接收设„„由于显而易见的网络中的互异性，比如说接收设由于显而易见的网络中的互异性，比如说接收设备的多样性，联接带宽的多变性等等，都对源端备的多样性，联接带宽的多变性等等，都对源端自适应技术提出了挑战自适应技术提出了挑战MaCanneMaCanne曾经发表过一曾经发表过一自适应技术提出了挑战。自适应技术提出了挑战。MaCanneMaCanne曾经发表过一曾经发表过一篇会议论文，提出通过一种被称作接收端驱动的篇会议论文，提出通过一种被称作接收端驱动的分层组播方式（分层组播方式（RLMRLM）将码率自适应调整从源端）将码率自适应调整从源端分层组播方式（分层组播方式（RLMRLM）将码率自适应调整从源端）将码率自适应调整从源端移至接收端。移至接收端。„„将视频的分层压缩技术和分层传输技术结合起来，将视频的分层压缩技术和分层传输技术结合起来，„„将视频的分层压缩技术和分层传输技术结合起来，将视频的分层压缩技术和分层传输技术结合起来，设想压缩算法将视频图像分多层进行编码，并逐设想压缩算法将视频图像分多层进行编码，并逐层提高质量，这样就可以适应终端的调整。层提高质量，这样就可以适应终端的调整。层提高质样就可以应终端的调层提高质样就可以应终端的调„„SVCSVC成为新的互联网视频组播传输的主流技术。成为新的互联网视频组播传输的主流技术。图像通信与信息处理研究所„„网络将不同的层，按照不同的组播分组发送。而网络将不同的层，按照不同的组播分组发送。而终端则依靠加入不同的组播组来接收不同层次的终端则依靠加入不同的组播组来接收不同层次的视频图像。终端显示的视频质量就由终端所加入视频图像。终端显示的视频质量就由终端所加入的组所决定（从昀低组到昀高组）。的组所决定（从昀低组到昀高组）。„„RLMRLM有一个严格的假设，就是所有的层中都可能有一个严格的假设，就是所有的层中都可能发生丢包，亦即在中间节点发生网络拥塞就会造发生丢包，亦即在中间节点发生网络拥塞就会造成丢包。这就需要网络给接收端一个指示成丢包。这就需要网络给接收端一个指示。。RLMRLM接收机会寻找合适的时间积极地通过插入层来进接收机会寻找合适的时间积极地通过插入层来进行测试。行测试。图像通信与信息处理研究所„„McCanneMcCanne研究了假设所有层发生丢包概率研究了假设所有层发生丢包概率都相同的情况。都相同的情况。BajajaBajaja将有相同丢包概率将有相同丢包概率都相同的情况都相同的情况jjjj将有相同丢概率将有相同丢概率的结果和每层设置优先级的结果进行了比的结果和每层设置优先级的结果进行了比较较，发现使用有优先级的方式传送其性能，发现使用有优先级的方式传送其性能较较