第5章_多媒体通信中的关键技术

第5章多媒体通信中的关键技术5.1多媒体通信中的关键问题在多媒体通信中，不同的业务有不同的QoS要求，如比特率、传输延时与延时抖动、误码率等。此外，还有实时性、同步性及多点通信等需求。而网络故障、网络拥塞、网络瓶颈点和缓冲区容量等在一定程度上会影响多媒体通信系统的性能。例如，实时音频和视频可在带宽足够宽的条件下正常工作，信息包的时延和抖动都非常小。但当遇到拥挤链路时，声音和图像的质量有可能下降到无法接受的程度。因此，多媒体通信应该解决包括提高网络带宽、减少时延、减少抖动、改善服务质量等问题。此外，多媒体通信在遵守通信基本原则的基础上，还需要考虑多媒体信息带来的新问题：多媒体框架结构、QoS、同步机制以及多媒体信源模型和数据库管理等技术。5.2多媒体通信框架随着多媒体技术的成熟，通信已从过去单纯的传送声音发展到文字、视频、图像等多种媒体信息，由此产生了多种典型的多媒体应用模式，如视频点播（VOD）、远程教学、计算机辅助协同、视频会议等，依托互联网的多媒体应用也越来越多。此外，从用户、系统和网络的不同角度来看，多媒体通信系统的需求也各不相同。多媒体通信需要提供多种类型、不同QoS的通信服务。因此，对多媒体框架结构模型的研究也至关重要。5.2.1基于服务质量的多媒体通信系统框架结构多媒体通信系统的服务质量不仅要考虑到通信网络的支持，而且要对端系统提出服务质量的要求。基于服务质量的多媒体通信系统框架分为应用层、应用支撑平台层、协调层、网络层和多媒体设备层，以及QoS控制与管理部分，其通信系统结构模型如图5-1所示。用户应用层应用支撑平台层协调层网络层多媒体设备层QoS控制与管理本地多媒体设备网管图5-1基于服务质量的多媒体通信系统结构模型1.应用层应用层的主要模块包括用户界面、应用构件和信息内容，其功能是完成用户提出的应用需求，包括多媒体会议、多媒体邮件、多媒体信息查询、VOD播放、交互电视、文件传输等。2.应用支持平台层应用支持平台层包含媒体代理和控制构件，不同的媒体（音频、视频、共享数据等）和不同的控制功能（会话控制、QoS控制、安全控制等）都有特定的代理构件，可根据需求进行组合。该层采用主动服务和应用自适应相结合的方式来面向新应用，如果下面的多媒体网络提供可编程服务，则应用可以选择主动服务，否则只能采用自适应网络所提供的服务。此外，该层次还将应用的QoS请求抽象映射到可编程网络，将下层网络提供的服务抽象提交给应用层，从而使多媒体应用与底层使用何种网络进行传输无关。这样就给应用程序提供了一系列的透明性，即应用层对于位置、网络通信协议是透明的。此外，应用支撑平台层还应该提供多种分布式多媒体应用设计模型，以满足应用的多样性。3.协调层多媒体通信的复杂性主要来源于连续媒体数据。在处理连续媒体数据时，不仅需要保持统一媒体内的时间连续性，而且常常需要维持不同媒体间的同步关系。协调层支持这种媒体间同步关系的实现，提供实时同步机制以控制时间定序和多媒体交互作用之间的准确定时。同时，协调层还需要提供对分布式多媒体应用所需的多方同步的支持。4.网络层网络层的功能是向网络层用户提供通信服务，该层并不关心传输数据所表示的内容。对于每个通信会话，端到端的通信特性由QoS参数决定。而这些参数由网络层用户传递给网络层，即从应用支撑平台层、协同层或者应用层传递而来。网络层提供了一系列网络服务接口以完成对网络的访问和服务。5.多媒体设备层多媒体设备层提供了应用程序或应用支撑平台中可使用的函数和过程，从而控制多媒体设备。多媒体设备服务接口提供了控制这些设备的通用接口，以及控制由这些设备产生或接收的信息流接口。6.QOS控制与管理服务质量允许用户指定所需要的服务质量级别，在不同层的接口中，这个服务质量级别的含义是不同的，各个层次所采用的服务质量参数也不完全相同。用户QoS参数指明了用户希望听到/看到的服务质量（如电话质量的音频、电视质量的视频）。应用层QoS参数描述了应用服务的请求，以及可能为媒体质量或面向应用的端到端传输服务所能提供的等级说明（如端到端的延迟界限），它们可以由用户QoS参数映射过来或直接来自于用户的QoS参数说明。系统层的QoS参数描述了应用层QoS定义的对通信服务和操作系统服务的请求。操作系统服务要求的资源（处理时间、辅助存储器、缓存区）被应用层和网络层任务用于解决与媒体有关的输入/输出以及发送/接收等问题。5.2.2基于TCP/IP的多媒体通信模型多媒体通信中的媒体数据除了具有实时性、等时性等基本特点外，还需要保证各种媒体间的同步关系。因此，多媒体通信对最大时延、延时抖动等QoS参数都有严格要求。下面介绍的模型通过对互联网的传输控制协议/互联协议（TransmissionControlProtocol/InternetProtocol，TCP/IP）参考模型的增强来提高多媒体通信的服务质量。多媒体应用通信控制层UDPIP网络接口媒体同步子层数据获取子层通信子层多媒体应用通信控制层UDPIP网络接口网络图5-2基于TCP/IP的多媒体通信系统结构模型为了实现互联网多媒体通信的QoS保证，在TCP/IP参考模型的传输层和应用层之间增加一个通信控制层，以实现对多媒体通信的支持。通信控制层分为三个子层，如图5-2所示。传输层采用的协议为用户数据报协议（UserDataProtocol，UDP）。1.数据获取子层数据获取子层的功能包括以下两点：（1）从应用层获取各种媒体数据，并按照其获取时间排队，然后提交给媒体同步子层；（2）分解由媒体同步子层获取的多媒体数据，并根据同步信息，将不同的媒体信息提交给相应的播放设备。2.媒体同步子层媒体同步子层的功能包括：（1）将数据获取子层获得的各种媒体信息合成为多媒体信息，交给通信子层发送；（2）分解通信子层接收的信息包，提取相应的媒体信息和同步信息，然后提交给数据获取子层；（3）实现多媒体同步失调监测和强制同步。3.通信子层完成多媒体信息的发送和接收。5.2.3异构环境下的多媒体通信模型下一代网络(NGN)以软交换为核心，采用开放、标准体系结构，能够提供话音、视频、数据等多媒体综合业务，是未来网络发展的方向。对未来网络的研究离不开当前网络的现状以及技术条件。目前，由于多种接入技术并存，各标准之间的竞争愈演愈烈，因此很难在短时间内统一标准；同时，多种网络并存也能解决不同用户以及不同业务的需求，如不同的用户业务速率和响应速度以及质量需求等。而如何充分利用现有的网络资源，实现资源共享、协同工作、降低信息使用成本也成为业界备受关注的问题。异构环境下的多媒体通信模型应融入到NGN整体框架的研究和发展中，NGN是一个基于交换技术、分组方式、开放结构的融合网络。在NGN中，软交换起到业务控制节点的作用，并提供媒体网关间或与IP端点间的智能融合，从而实现异构环境下的多媒体通信和服务。5.3多媒体通信中的恒、变比特率传输多媒体传输可分为恒比特率传输和变比特率传输两种方式。电路交换网络的信道性能、信息速率是恒定的，所以采用恒比特率传输，即多媒体信源按给定比特率提供码流；分组交换网络的信道特性是统计复用的，因而能够支持变比特率传输，即多媒体信源按给定目标比特率要求提供码流，码流速率可根据应用需求和信道条件发生变化，从而获得最优质量。实际应用中，不同的应用经编码后所产生的比特率通常会有很大差异，如果不经过缓存器平滑和速率控制，码流必然是变速率的。如果信道允许理想的变比特率传输，则可以在编码过程中保持量化阶不变。当随着图像活动性变化而产生的变比特率码流直接进入信道时，由于没有经过缓存器的平滑，信噪比将会大大提高。恒比特率和变比特率传输的比较：（1）速率控制方面：采用恒比特率传输时，为了适应恒定速率信道的要求，在编码器中必须进行速率控制，而速率控制往往是以牺牲多媒体数据的质量为代价的；采用变比特率传输时，编码器则不必进行非常严格的速率控制，速率控制的代价也比恒比特率传输时要小。（2）比特率的分配方面：在相同多媒体数据质量的情况下，采用恒比特率传输产生的平均速率约为采用变比特率传输时的50%。5.3.1恒比特率传输由于编码器所产生的数据流速率是变化的，当多媒体信息按恒比特率传输时，为了适应恒定速率信道的要求，在编码器和信道之间需要设置一个缓存器。当数据流的速率高于信道的传输速率时，缓存器会越来越满；当数据流的速率低于信道速率时，缓存器会越来越空。为了防止缓存器溢出或变空，需要对编码压缩数据流的速率进行控制，如通过改变量化器量化阶的大小方式来解决。如果量化阶加大，则码率下降，数据质量也会因此下降。速率控制问题就是在尽可能地保证数据质量稳定的条件下，使压缩码流的速率适应恒定信道速率的要求。常用的恒定比特率控制方案主要有以下三种。1.SM3速率控制SM3（SimulationModel3）为压缩编码标准MPEG-1的仿真模型，它提供了一种简单的速率控制方法，包括目标比特分配和码率调整两个过程。（1）目标比特分配：根据多媒体数据编码所产生的码流平均速率应该与信道速率相匹配的原则，为每帧数据预先规定编码的比特数。（2）码率调整：在每一帧的编码过程中，通过调整量化阶的大小，使该帧编码实际产生的比特数接近其预分配值。在每一帧中，帧目标比特数平均地分配给该帧中的所有各块。然后，根据缓存器的充满程度来改变当前量化阶的大小。当缓存器数据增多时，即实际编码比特数超过预定值时，增大量化阶，从而使码率下降。通过以上两个步骤，可以基本达到使编码器输出码流与信道速率相匹配的目的。2.TM5速率控制TM5（TestModel5）为压缩编码标准MPEG-2测试模型，如图5-3所示。其原理是根据虚拟缓冲区饱和度情况调节量化因子，尽量降低目标分配比特数和实际使用比特数之间的偏差，从而达到控制码率的目的。TM5码率控制过程可分为3个步骤：比特分配复杂度计算自适应量化参考值计算视频编码图5-3TM5速率控制图（1）目标比特分配：在编码前，根据预测的图像复杂度，为不同编码类型帧分配一个目标比特数；（2）码率控制：根据当前帧目标比特数和虚拟缓冲区饱和程度，计算每个宏块量化参数的参考值；（3）自适应量化：根据当前宏块的空间活动性，调节量化参考值，直至得到最终的量化阶。在TM5中，图像复杂度是根据前一个相同编码类型帧预测得到的，一旦序列中发生场景切换，则两帧之间的相关性就会降低，复杂度将偏离实际情况，导致目标比特数分配不合理，最终引起图像质量恶化。场景切换后，由于前一帧平均活动性不能准确反映当前帧活动性状况，使得码率控制过程的第3步失效，造成图像质量不稳定。TM5为3种类型编码帧分别设立了虚拟缓冲区，在场景变化较小或图像复杂度较小，且编码时间较短时，TM5能够基本保证缓冲区的约束要求和图像质量的相对稳定。但当图像复杂度变化较大，且编码时间较长时，由于不同的缓冲区之间控制不同步，就有可能导致缓冲区溢出。3.基于DCT域复杂度计算的速率控制视频压缩码流MPEG-2由量化后的离散余弦变换(DCT)系数和运动信息编码后复合形成。通常，DCT系数编码比特数占整个码流的绝大部分，因而用DCT域信息反映编码复杂度是非常合理的。基于DCT域复杂度计算的速率控制方法的控制流程如图5-4所示。（1）帧复杂度计算和目标比特数分配：首先计算帧复杂度，再根据帧复杂度和编码类型（I、P、B）分配不同的目标比特数；（2）根据虚拟缓冲区饱和度及所分配目标比特数计算量化参数的参考值：与TM5不同的是，虚拟缓冲区不再按编码帧类型设置，而是使用同一个虚拟缓冲区，从而保证了虚拟缓冲区的一致性；（3）自适应量化：根据宏块复杂度调节量化阶的大小；（4）更新：在完成一帧编码后，更新虚拟缓冲区状态及填充比特。DCT域复杂度计算目标比特分配参考值计算自适应量化缓冲区检测DCT运算和前向DCT运算图5-4基于DCT域复杂度的速率控制框图5.3.2变比特率传输由于分组交换网络在多媒体通信方面表现出极强的竞争力，使得变比特率传输得到了越来越广泛的应用。为了支持变比特率传输业务，网络需要一种反馈机制以通知信源端可以发送的数据量，即网络