第三章流媒体编解码技术

Chapter3流媒体编解码技术海南大学信息学院流媒体编解码技术MPEG简介MPEG-1和MPEG-2标准MPEG-4视频编码标准MPEG-7标准MPEG-21标准H.261标准H.263标准H.263+和H.263++标准H.264标准流媒体编码压缩新技术3.1MPEG简介MPEG：MovingPicturesExpertsGroup（运动图像专家组）负责制订适用于数字存储媒介、电视广播和通信等应用场合的视频和音频数据的压缩编码标准MEPG-1，MEPG-2，MEPG-4，MEPG-7和MEPG-213.2MPEG-1和MPEG-2标准MPEG-1标准全称：CodingofMovingPicturesandAssociatedAudioforDigitalStorageMediaatuptoabout1.5Mbp/s第一部分说明了如何根据第二部分（视频）以及第三部分（音频）的规定，对音频和视频进行复合编码。第四部分说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。第五部分是一个用完整的C语言实现的编码和解码器。MPEG-2标准全称：GenericCodingofMovingPicturesandAssociatedAudioInformation3.2.1MPEG-1/-2标准中的三种编码类型图像I帧AI-frameisencodedusingonlyinformationfromwithinthatframe(intracoded)--notemporalcompression(intercoded)P帧Pframe(predictedframe)useprecedingframeasreferenceimageB帧Bframe(bidirectionalframe)usebothprecedingframeandfollowingframeasreferenceimagesIPBBBPBBBPBBB15234967813101112AtypicalgroupofpicturesincodingorderIBBBPBBBPBBBPAtypicalgroupofpicturesindisplayorder3.2.2视频码流的分层结构视频数据经过压缩编码后形成视频基本码流（ES）MPEG用句法规定了一个分层结构对分层要求：支持通用性、灵活性和有效性MPEG视频基本码流的分层结构从上至下依次为：视频序列层(Sequence)，图像组层(GOP：GroupofPicture)，图像层(Picture)，像条层(Slice)或宏块条（片）层，宏块层(MacroBlock)和像块层(Block)。除宏块层和像块层外，上面四层中都有相应的起始码，可用于因误码或其它原因收发两端失步时，解码器重新捕捉同步。因此一次失步将至少丢失一个像条的数据。3.2.2视频码流的分层结构图像序列头图像组图像组…………….图像组序列尾图像头像条MBS像条MBS…………….图像组头图像（I,P,B)图像（I,P,B)…………….像条头宏块MB宏块MB…………….18×828×838×848×858×868×88×8图像序列层图像组层图像层像条层（宏块条层）宏块层像块层（块层）YCRCB序列指构成某路节目的图像序列，序列起始码后的序列头中包含了图像尺寸，宽高比，图像速率等信息。序列扩展中包含了一些附加数据。为保证能随时进入图像序列，序列头是重复发送的。3.2.2视频码流的分层结构——序列层3.2.2视频码流的分层结构——GOP层一个图像组由相互间有预测和生成关系的一组I、P、B图像构成，但头一帧图像总是I帧。GOP头中包含了时间信息。问题：在两个参考帧之间插入几个B帧？（1）B帧数目的增加会降低B帧和参考帧之间以及参考帧与参考帧之间的相关性；（2）B帧数目的增加要求增大参考帧中运动估计的搜索范围；B帧数目的增加会增加接收的延迟时间和要求增加接收机内缓存器的容量；3.2.2视频码流的分层结构——图像层包括不同编码类型的图像，即I、B、P帧；MPEG-1中，逐行扫描（帧格式）；MPEG-2中，逐行或隔行（场格式）扫描；PIC头中包含了图像编码的类型和时间参考信息。3.2.2视频码流的分层结构——宏块条层包括若干个连续宏块，其顺序和行扫描顺序一致从一个宏块行（16行宽）的任何一个宏块开始MPEG-2MP@ML中，一个宏块条必须在同一宏块行中起始和结束，且一个宏块条至少包括一个宏块比特流重新同步的基本单元3.2.2视频码流的分层结构——宏块层运动补偿预测的基本单元。MPEG算法在P帧和B帧中以宏块为单位自适应地选择合适的运动补偿预测模式（在I帧中全部宏块都采用帧内编码模式）。P帧中的宏块采用前向运动补偿预测模式；当预测效果不佳时，切换到帧内编码模式。B帧中的宏块采用何种模式取决于哪一种模式下对该宏块进行编码时所需的比特数最少。3.2.2视频码流的分层结构——宏块层（Cont’d）MPEG-2中定义了三种宏块结构：4:2:0宏块4:2:2宏块和4:4:4宏块，分别代表构成一个宏块的亮度像块和色差像块的数量关系。4:2:0宏块中包含四个亮度像块，一个Cb色差像块和一个Cr色差像块；4:2:2宏块中包含四个亮度像块，二个Cb色差像块和二个Cr色差像块；4:4:4宏块中包含四个亮度像块，四个Cb色差像块和四个Cr色差像块。这三种宏块结构实际上对应于三种亮度和色度的抽样方式。3.2.2视频码流的分层结构——像块层MPEG算法中最小的编码单位DCT变换的基本单元MP@ML中一个像块由8x8个抽样值构成同一像块内的抽样值必须全部是Y信号样值，或全部是Cb信号样值，或全部是Cr信号样值。3.2.3MPEG-1/-2视频编码关键技术MPEG-1/-2视频压缩的原理：利用序列图像中的空间相关性和时间相关性。空间相关性：一个像素与其周围的某些像素在亮度和色度上存在的关系时间相关性：一个视频序列中前后帧图像间存在的关系采用带运动补偿的帧间预测编码和帧内DCT编码相结合的方案帧内编码与帧间编码流程的区别：是否经过预测环的处理3.2.3MPEG-1/-2视频编码关键技术（Cont’d）1.离散余弦变换（DCT）2.量化器3.“之”字形扫描与游程编码4.熵编码5.信道缓存6.运动估计7.运动补偿3.2.4MPEG-2和MPEG-1的区别1.MPEG-2定义了“Profile”和“Level”的概念规定了5个语法子集（Profile）：SimpleProfile,MainProfile,SNRScalableProfile,SpatiallyScalableProfile,HighProfile按编码图像的分辨率分成4个Levels：HighLevel,High-1440Level,MainLevel,LowLevelProfile规定了可以使用哪些语法因素，以及如何使用这些语法元素；Level规定了这些语法元素的取值范围3.2.4MPEG-2和MPEG-1的区别（Cont’d）2.MPEG-2有“按帧编码”和“按场编码”两种模式MPEG-1只支持逐行扫描；MPEG-2支持逐行扫描和隔行扫描，针对隔行扫描的常规电视图像专门设置了“按帧编码”和“按场编码”两种模式。MPEG-1中，宏块被逐行地分割成像块；MPEG-2中，逐行扫描图像采用逐行分割方式；隔行扫描的帧图像采用逐行分割与隔行分割两种方式。3.2.4MPEG-2和MPEG-1的区别（Cont’d）3.MPEG-2增加了可分级性（1）空间可分级性（2）时间可分级性（3）信噪比可分级性3.3MPEG-4视频编码标准MPEG-4标准主要应用于视像电话(videophone)，视像电子邮件(VideoEmail)和电子新闻(Electronicnews)等，其传输速率要求较低，在4800-64000bps之间，分辨率176144。MPEG-4利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少的数据获得最佳的图象质量。与MPEG-1和MPEG-2相比，MPEG-4的特点是其更适于交互AV服务以及远程监控。MPEG-4是第一个使你由被动变为主动(即有交互性)的动态图象标准。从根源上说，MPEG-4试图将自然物体与人造物体相溶合(视觉效果意义上的)。MPEG-4的设计目标还有更广的适应性和可扩展性。MPEG-4编解码的基本思想是基于图像内容的第二代视频编解码方案，并将基于合成的编码方案也结合在标准中。它根据图像的内容将图像分割成不同的视频对象VO（VideoObject），在编码过程中对前景对象和后景对象采用不同的编码策略，对于人们所关心的前景对象，则尽可能的保持对象的细节及平滑，而对不大关心的后景对象采用大压缩比的编码策略。MPEG-4VOPMPEG-124比较MPEG-1MPEG-2MPEG-4开始成为标准的年份199219951999最大分辨率352x2881920x1152720x576预设分辨率(PAL)352x288720x576720x576预测分辨率(NTSC)352x288640x480640x480最大音频范围48kHz96kHz96kHz最多声道数目288最大传输速率3Mbit/秒80Mbit/秒5至10Mbit/秒常用的传输速率1380kbit/s(352x288)6500kbit/s(720x576)880kbit/s(720x576)帧率(PAL)252525帧率(NTSC)303030主观质量满意很好好至很好编码的硬件要求低高很高解码的硬件要求很低中等高MPEG-4应用举例DivX&XviD数年前，在PC上能用的唯一MPEG-4编码器是由微软开发的，包括MSMPEG4V1、MSMPEG4V2、MSMPEG4V3系列编码不過V1和V2的编码质量并不太好，直到MSMPEG4V3开始，画面质量有了明显的改善不过微软却决定仅将MSMPEG4V3的视频编码核心算法封装在WindowsMedia流媒体技术中，也就是我们熟知的ASF文件中电影骇客很快便有小组,修改了微软的MSMPEG4V3，解除了不能用於AVI文件的限制，并开放了其中一些压缩参数，也就诞生了我们今天所熟悉的MPEG4编码器DivX3.11…DivX4,DivX5历经波折….发展出了XviD现在的XviD更可以说超越了DivX5,以更好的质量,更强的功能挑战新一代的MPEG4应用MPEG-4应用举例MP4：一种可包含大量多媒体的文件容器格式MP4被定义为MPEG4part1系统部份，其可支持所有的多媒体内容(video,audio,subtitle,pictures)、使用者互动MP4内容可延伸至下列形式:.mp4.mp4v,.m4v–原始mpeg-4videostreams.m4a–存储AppleiTunesaudioonly.m4p-AppleforDRMprotectedfiles;.3gp,.3g2–用於3GmobilephonesMP4可包含的多媒体文件视频：MPEG-4(XviD,DivX5,3ivx,ffmpeg/ffvfw,NeroDigital,H.264/AVC),MPEG-2,MPEG-1,...无法使用于MSMPEG-4,MPEG-4DivX3,WM9(WindowsMedia9),RV9(RealVideo9)...音频：MP3,AAC,MP2,MP1,TwinVQ,…无法使用于OGGVorbis,VoxwareMetasound,...图像：JPEG,PNG常见的MPEG-4应用设备VideoiPod音频：AAC、ProtectedAAC（iTunes）、MP3、MP3VBR、Audible、AppleLossless、WAV、AIFF照片：JPEG、BMP、GIF、TIFF、PSD（仅限Mac）和PNG格式视频支持格