视音频、流媒体、图像编码标准综述

视音频、流媒体、图像编码标准综述一视频编码综述1.MPEG标准的发展MPEG是MovingPicturesExpertsGroup（动态图像专家组）的缩写。是一个致力于数字视频、音频技术发展及标准化的杰出组织，它是ISO（InternationalStandardOrganization）与IEC（InternationalElectronicCommittee）在1988年联合成立的，正规的组织代号是ISO/IECJTCI/SC29/WG11，成员专家来自于不同国家的最有业界影响力的研发机构。在十多年的时间里，MPEG组织取得了丰硕的成果，自身也有了很大的发展。1992年11月，MPEG-1被批准，并于1993年被ISO组织接纳为国际标准；1994年11月，MPEG-2标准发布，并在1995年成为国际标准；MPEG-4标准则于1999年和2001年分别有了版本1和版本2；目前，H.264/MPEG-4AVC（即ISOMPEG-4Part10）正在制定之中。2.ISOMPEG-1标准MPEG-1制定于1992年，为工业级标准而设计，编号为ISO/IEC11172。MPEG-1针对CIF标准分辨率（NTSC制为352×240；PAL制为352×288）的图像进行压缩，并在标准中规定了视音频信息经过压缩后的数据码率最大为1.5Mbps。MPEG-1可实现在不同带宽的设备，如CD-ROM、Video-CD等数字媒体上进行存储，也可以在局域网、ISDN网上进行视音频信息的传输。3.ISOMPEG-2标准MPEG组织在1994年推出了MPEG-2压缩标准，并在1995年成为国际标准，编号为ISO/IEC13818。MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率可达100Mbps。MPEG-2不是MPEG-1的简单升级，它在系统和传送方面作了更加详细的规定和进一步的完善。MPEG-2特别适用于广播级的数字电视的编码和传送，被认定为SDTV和HDTV的编码标准。(1)MPEG-2标准的构成MPEG-2标准目前分为9个部分，各部分的内容描述如下：1)第一部分－ISO/IEC13818-1，System：系统，描述多个视频，音频和数据基本码流合成传输码流和节目码流的方式。2)第二部分－ISO/IEC13818-2，Video：视频，描述视频编码方法。3)第三部分－ISO/IEC13818-3，Audio：音频，描述与MPEG-1音频标准反向兼容的音频编码方法。4)第四部分－ISO/IEC13818-4，Compliance：符合测试，描述测试一个编码码流是否符合MPEG-2码流的方法。5)第五部分－ISO/IEC13818-5，Software：软件，描述了MPEG-2标准的第一、二、三部分的软件实现方法。6)第六部分－ISO/IEC13818-6，DSM-CC：数字存储媒体-命令与控制，描述交互式多媒体网络中服务器与用户间的会话信令集。以上六个部分均已获得通过，成为正式的国际标准，并在数字电视等领域中得到了广泛的实际应用。此外，MPEG-2标准还有三个部分：第七部分规定与MPEG-1音频非反向兼容的多通道音频编码；第八部分现已停止；第九部分规定了传送码流的实时接口。(2)MPEG-2编解码原理MPEG-2视频压缩的原理是利用了图像中的两种特性：空间相关性和时间相关性。这两种相关性使得图像中存在大量的冗余信息。为了能够有效的去除图像中的冗余信息，MPEG-2标准中将编码图像被分为三类，分别称为I帧，P帧和B帧。I帧图像采用帧内编码方式。P帧和B帧图像采用帧间编码方式。P帧图像只采用前向时间预测，B帧图像采用双向时间预测，可以大大提高压缩倍数。MPEG-2的编码码流分为六个层次，从上至下依次为：视频序列层（Sequence），图像组层（GOP：GroupofPicture），图像层（Picture），像条层（Slice），宏块层（MacroBlock）和像块层（Block）。在帧内编码的情况下，编码图像仅经过DCT，量化器和比特流编码器即生成编码比特流。在帧间编码的情况下，原始图像首先与帧存储器中的预测图像进行比较，计算出运动矢量，由此运动矢量和参考帧生成原始图像的预测图像。而后，将原始图像与预测像素差值所生成的差分图像数据进行DCT变换，再经过量化器和比特流编码器生成输出的编码比特流。(3)MPEG-2中的Profile@Level现有MPEG-2视频标准的技术规范集包括5类（Profile）4级（Level）组成，并采用分级编码。类和集的若干组合构成MPEG-2标准在某种特定应用下的子集。级（Level）是指MPEG-2的输入格式，标识从有限清晰度的VHS质量图像到HDTV图像，每一种输入格式编码后都有一个相应的范围。共分4级：1)低级LL(LowLevel)，图像输入格式的像素是ITU-RRec.BT601格式的1/4，即352×240×30或352×288×25。2)主级ML(MainLevel)，图像输入格式符合ITU-RRec.BT601格式，即720×480×30或720×576×25。3)1440高级H14L（High1440Level），图像宽高比为4∶3，采用1440×1080×30的高清晰度格式。4)高级HL（HighLevel），图像宽高比为16∶9，采用1920×1080×30的高清晰度格式。类（Profile）是指MPEG-2的不同处理方法，每一类都包括压缩和处理方法的一个集合，较高的类意味着采用较多的编码工具集，进行更精细的处理，达到更好的图像质量，同时实现的代价也更大。共分5类：1)简单类SP（SimpleProfile），使用最少的编码工具集。2)主类MP（MainProfile），它比简单类增加了一种双向预测方法，在相同比特率的情况下，将给出比简单类更好的图像。3)信噪比可分级类SNRP（SNRScaleableProfile）和空域可分级类SPP（SpatiallyScaleableProfile），这两种类允许将编码的视频数据分为基本层和附加层，提供了一种多种广播的方式。4)高级类HP（HighProfile），应用于图像质量、比特率要求更高的场合。(4)MPEG-2的特点及应用MPEG-2具有以下几个突出特点：①支持的图像分辨率最高，包括符合ITU-RRec.601（CCIR601）格式的标准分辨率的数字电视和更高分辨率的HDTV。②支持包括高速体育运动在内的各种活动图像。③支持的应用最为广泛，既包括存储媒体中的DVD，广播电视中的数字广播电视和HDTV，还可应用于交互式的视频点播（VOD）和准视频点播（NVOD）。④还能够适配ATM等宽带通信网。4.ISOMPEG-4标准MPEG-4于1998年10月定案，在1999年1月成为一个国际性标准，随后为扩展用途又进行了第二版的开发，于2001年有了其第二个版本。MPEG-4的国际标准编号为ISO/IEC14496。MPEG-4的特点是其更适于交互AV服务以及远程监控，是一个有交互性的动态图像标准。(1)MPEG-4标准的构成1)多媒体传送整体框架（DMIF）：主要解决交互网络中、广播环境下以及磁盘应用中多媒体应用的操作问题。通过DMIF，MPEG-4可以建立起具有特殊品质服务（QoS）的信道和面向每个基本流的带宽。2)数据平面：MPEG-4中的数据平面可以分为传输关系和媒体关系两部分，并引用了对象描述（OD）和流图桌面（SMT）的概念，使基本流和AV对象在同一场景中出现。3)缓冲区管理和实时识别：MPEG-4定义了一个系统解码模式（SDM），该解码模式描述了一种理想的处理比特流句法语义的解码装置，它要求特殊的缓冲区和实时模式。通过有效地管理，可以更好地利用有限的缓冲区空间。4)视频编码：MPEG-4支持对自然和合成的视觉对象的编码，合成的视觉对象包括2D、3D动画和人面部表情动画等。5)音频编码：MPEG-4不仅支持自然声音，而且支持合成声音。它将音频的合成编码和自然声音的编码相结合，并支持音频的对象特征。6)场景描述：场景描述主要用于描述各AV对象在具体AV场景下，如何组织与同步等问题，同时还有AV对象与AV场景的知识产权保护等问题。(2)MPEG-4编解码原理a.基本思想MPEG-4编解码的基本思想是基于图像内容的第二代视频编解码方案，并将基于合成的编码方案也结合在标准中。它根据图像的内容将图像分割成不同的视频对象VO（VideoObject），在编码过程中对前景对象和后景对象采用不同的编码策略，对于人们所关心的前景对象，则尽可能的保持对象的细节及平滑，而对不大关心的后景对象采用大压缩比的编码策略。b.编解码的数据结构MPEG-4按照如下五个层次组织要编码的图像，从上至下依次为：视频段VS（VideoSession）、视频对象VO（VideoObject）、视频对象层VOL（VideoObjectLayer）、视频对象组层GOV（GroupofVideoObjectPlane）、视频对象平面VOP（VideoObjectPlane）。在MPEG-4中，VO主要被定义为画面中分割出来的不同物体，每个VO有三类信息来描述：运动信息、形状信息、纹理信息。VO的构成依赖于具体应用和系统实际所处环境，在要求超低比特率的情况下，VO可以是一个矩形帧（即传统MPEG-1中的矩形帧），从而与原来的标准兼容；对于基于内容的表示要求较高的应用来说，VO可能是场景中的某一物体或某一层面，如新闻节目中的解说员的头肩像；VO也可能是计算机产生的二维、三维图形等。c.VOP编码器结构编码器主要由两部分组成：形状编码和传统的运动纹理编码，其中形状编码是MPEG-4在编码任意形状的VOP时所必须的。d.MPEG-4的编解码流程及框架MPEG-4的编码流程：第一步是VO的形成（VOFormation），先要从原始视频流中分割出VO，之后由编码控制（Codingcontrol）机制为不同的VO以及各个VO的三类信息分配码率，之后各个VO分别独立编码，最后将各个VO的码流复合成一个位流。其中，在编码控制和复合阶段可以加入用户的交互控制或由智能化的算法进行控制。现在的MPEG-4包含了基于网格模型的编码和Sprite技术。在进行图像分析后，先考察每个VO是否符合一个模型，典型的如人头肩像，如是就按模型编码；再考虑背景能否采用Sprite技术，如是则将背景生产一幅大图，为每帧产生一个仿射变换和一个位置信息即可；最后才对其余的VO按上述流程编码。MPEG-4的解码流程则基本上为编码器的反过程，这里不再赘述。(3)MPEG-4中的Profile@Level(4)MPEG-4的主要应用场合从目前的情况看，MPEG-4主要被用于三个领域：数字电视、交互式的图形应用（包括内容上的合成技术）、交互式多媒体领域等。(5)MPEG-4的特点及优势1)MPEG-4是做为一个国际化的标准来制定研究的，因而具有很好的兼容性及开放性。2)MPEG-4提供高压缩比的同时，对数据的损失很小，达到以最小的数据获得最佳的图像质量的目的。3)MPEG-4是个开放标准，因其高质量的数字影像，以及允许内容创建者从MPEG-2质量一直到极低带宽的Internet流式内容全程进行品质和带宽的均衡，而被全世界的无线、电脑及娱乐公司广泛采用。4)正如MPEG-2将使数字电视最终完全取代现有的模拟电视那样，随着MPEG-4新标准的不断推出，数据压缩和传输技术必将趋向更加规范化。5.H.264/MPEG-4AVC（ISOMPEG-4Part10）H.264（ITU-T命名），或称之为MPEG-4AVC（ISO/IEC命名），是一种由ITU-T与ISO/IEC正在联合进行开发的视频编解码方案，即将成为MPEG-4标准的第10部分（ISOMPEG-4Part10）。关于该技术的视频编码方案，现在正式命名为ITU-TH.264或JVT/AVC草案。H.264/MPEG-4AVC作为