电视原理-第8章--数字视音频压缩编码2

1CUC1•信息工程学院2009第八章数字视音频压缩编码电视原理石东新信息工程学院·广播电视工程系CUC2•信息工程学院2009数字电视SDI（4：2：2编码、10比特量化）信号的数码率为：13.5×10＋2×6.75×10＝270Mbps一帧SDTV图像的数据量约为10.8Mb，要记录10分钟的电视节目就需要162Gb的存储器容量；而一帧HDTV图像的数据量为59.4Mb，记录10分钟的节目需要891Gb的存储器容量。第一节数字视频压缩编码概论CUC3•信息工程学院200930Mbps8352×288/50I4:2:0CIF124Mbps8720×576/50I4:2:0SDTV207Mbps10720×576/50I4:2:2SDTV622Mbps81920×1080/50I4:2:0HDTV1037Mbps101920×1080/50I4:2:2HDTV无压缩有效码率量化比特数像素格式色度格式数字视频格式结论：若不降低其数据量和数码率，就无法在普通的存储设备上实现数字电视信号的存储。CUC4•信息工程学院2009一、数字视频压缩机理压缩过程实际上就是去除图像中那些与信息无关或对图像质量影响不大的部分，即冗余部分。1、数据冗余（1）空间冗余在同一幅图像中规则的物体和规则的背景都具有很强的相关性。CUC5•信息工程学院2009（2）时间冗余电视图像序列中相邻的两幅图像之间有较大的相关性。CUC6•信息工程学院20092CUC7•信息工程学院2009t1t1t2t2CUC8•信息工程学院2009(3)结构冗余和知识冗余图像从大面积上看存在着非常强的纹理结构，称之为结构冗余。人类对许多图像的理解是根据某些已知的知识，例如人脸的图像有固定的结构，这些规律性的结构可由先验知识和背景知识得到，称之为知识冗余。CUC9•信息工程学院20092.视觉冗余人眼的视觉效果是图像质量的最直接也是最终的检验标准，对于人眼难以识别的数据或对视觉效果影响甚微的数据，都可认为是多余的数据，可以省去。这些多余部分就是视觉冗余。(1)亮度辨别阈值(2)视觉对不同图像内容的空间分辨力(3)人眼亮色分辨力CUC10•信息工程学院2009二、数据压缩编码方法与性能指标1.压缩编码分类（1）无损压缩编码（可逆压缩编码或信息保持编码）可使接收端解码后的信息量与发送端原信息量完全相同，因此再现的图像也与原图像严格一致，也即压缩后的图像完全可以恢复或无损伤。（2）有损压缩编码(不可逆压缩编码或信息非保持编码)编码过程中会损失一部分信息，因此接收端解码后再现的图像质量会比原图像质量有所降低，即压缩后图像有损伤，不能完全恢复。但如果视觉上能够接受甚至觉察不出质量的降低，则这种压缩就是可行的。=1≥输入数据流码率压缩比输出数据流码率CUC11•信息工程学院2009CUC12•信息工程学院2009在数字电视视频压缩编码中，通常采用混合编码方案,包括：z基于运动估计和补偿的预测编码（DPCM）；z正交变换编码（DCT）；z游程编码；z熵编码等。3CUC13•信息工程学院20092.压缩编码性能指标评价压缩系统的压缩质量（1）图象质量评价通常采用主观评价和客观评价方法评价经过压缩编解码后的视频图像质量.主观评价是观察者对被测视频质量直接打分。客观评价是通过一定的算法模型对视频图像进行评价。（2）压缩编解码的复杂度其中包括算法的运算量、存储量、编码器和解码器的复杂度等等。如果压缩编码的复杂度过高，难以实时处理。（3）压缩解缩后带来的延时量如果延时过大，会造成明显的可察觉到的声音和画面不同步现象，需要声音通道上加入相应的延时器加以调整。CUC14•信息工程学院2009预测编码又称差分脉冲编码调制（DPCM）-----不直接传送图像样值本身，而是对被编码的样值与参考样值间的差值en进行编码、传送。第二节预测编码一、预测编码的基本原理：z相邻样本之间存在较强的相关性。z差值信号的方差更小，具有更小的动态范围。z编码和传输的并不是采样值本身，而是这个采样值的预测值与其实际值之间的差值。CUC15•信息工程学院2009一、预测编码基本原理方案1方案2DPCMwasinventedbyC.ChapinCutleratBellLabsin1950;hispatentincludesboththemethods.CUC16•信息工程学院2009量化量化延迟延迟延迟延迟延迟发收-X0X1X2X0X1-X0X2-X1X0+e0X1-X0+e1X2-X1+e2空X0+e0X1+e0+e1X0+e0X1+e0+e1X2+e0+e1+e2空X0X1方案1（1）方案1CUC17•信息工程学院2009发量化量化延迟延迟延迟延迟延迟收X0X1-(X0+e0)X0X1X0+e0X1-(X0+e0)+e1+-++X0+e0X1+e1X0+e0+-X1+e1X0+e0X0+e0（2）实际的预测编码方法方案2CUC18•信息工程学院2009信源相邻样值间的相关性。帧内相邻像素间空间相关性----空间冗余—帧内预测帧间性时间相关性—时间冗余—帧间预测二、帧内预测帧内预测是基于同一帧内相邻像素存在很强的相关性。压缩图像的空间冗余.几种常用的线性预测方案前值预测一维预测二维预测4CUC19•信息工程学院2009二维预测前值预测一维预测CUC20•信息工程学院2009„预测器的设计预测公式为：图中的D1,D2,…为延迟器++=−−2211''ˆnnnxaxaxCUC21•信息工程学院2009„例子：设计一个线性预测器，其预测公式为：CBAx613121++=∧CUC22•信息工程学院2009利用图像信号在时间轴上的相关性来实现码率压缩，用前一帧图像中的相关像素值来预测当前帧图像的像素值。由于要用到前一帧的像素，所以需要帧存储器来实现预测。三、帧间预测（三维预测）CUC23•信息工程学院2009CUC24•信息工程学院2009„根据参考帧与被编码帧的位置，帧间预测可分为：•前向预测：参考帧位于被编码帧之前•后向预测：参考帧位于被编码帧之后•双向预测：参考帧位于被编码帧的前后两个方向•MPEG标准所采用的预测编码I(Intraframe)帧：帧内编码帧P(Predictive-codedframe)帧：前向预测编码帧B(Bidirectionallypredictive-codedframe)帧：双向预测编码帧5CUC25•信息工程学院2009静止图象前后帧空间位置对应像素完全一样，简单帧间预测对于静止图象画面压缩非常有效。存储器存储第一帧图像数据，其后连续帧可以反复读出。四、运动补偿技术对于活动图像内容，前后帧相应位置像素差值很大，量化后比特数仍然很大，压缩很小。解决办法－－－运动补偿CUC26•信息工程学院2009CUC27•信息工程学院2009在运动补偿技术中主要有两个过程：运动估计（MotionEstimation，ME），运动补偿（MotionCompensation，MC）。如果对运动区域进行预测，首先要估计出物体的运动矢量，这一过程称为运动估计。然后再根据运动矢量找出物体在前一帧的区域位置，用这一区域位置的信号形成当前帧运动物体的预测信号，这叫做运动补偿。CUC28•信息工程学院2009运动估计帧差信号运动补偿帧存量化器反量化运动矢量，去接收端预测帧—1231‘2‘帧间预测框图CUC29•信息工程学院20091.运动估计块匹配法　把图像分成若干子块，设子块图像是由N×N个像素组成的像块，并假设一个像块内的所有像素作一致的平移运动。估值块大小(N×N)的选择应该综合考虑图像细节构成和计算量等因素。实际常采用是基于宏块的估计。CUC30•信息工程学院2009z通常一个宏块由一个16×16像素的亮度阵列和同区域内的Cb、Cr色差阵列共同组成，不同的色度格式包括有不同的宏块结构，其中的数字表示块的编码顺序。6CUC31•信息工程学院2009CUC32•信息工程学院2009z运动预测的位移可以是整象素、1/2甚至1/4像素为基本单位.z运动矢量位移的精度越高，则帧间预测后的残差就越小，压缩比也越高。CUC33•信息工程学院20092.匹配准则最佳匹配块的判决依据（判据）：1.最小均方误差(MSE)2.平均绝对帧差（MAD）∑∑==−++−=NxNynnjyixfyxfNNjiMSE1121)],(),([1),(∑∑=−=++=NynnNxjyixfyxfNNjiMAD111),(-),(1),(CUC34•信息工程学院20093.运动补偿„重建的参考帧存放在帧存储器中，当前帧数据块和参考帧数据块经过运动估值后得到参考帧的匹配块和运动矢量，将当前帧被编码宏块与最佳匹配宏块求差值，得到残差块。因此只需要传诵运动矢量和残差块数据，就可以恢复出当前帧的预测图象。„经过运动补偿后再求残差值，残差数据值将会很小，通过量化可以使传输的数据量大大降低。CUC35•信息工程学院2009前一帧运动补偿效果实例CUC36•信息工程学院2009后一帧7CUC37•信息工程学院2009前后帧之间残差CUC38•信息工程学院2009像素运动轨迹CUC39•信息工程学院2009前一帧后一帧CUC40•信息工程学院2009前后帧之间残差（Residual）(nomotioncompensation)前后帧之间残差（Residual）(16×16blocksize运动补偿)CUC41•信息工程学院2009前后帧之间残差（Residual）(8×8blocksize运动补偿)前后帧之间残差（Residual）(4×4blocksize运动补偿)CUC42•信息工程学院2009亮度缓变区亮度急变区P(en)en在预测编码中，要对预测误差值en进行量化预测误差值en的概率分布呈拉普拉斯分布，集中在零值附近一个较窄的范围内，随着预测误差绝对值的增大，概率迅速下降五、量化器设计8CUC43•信息工程学院2009z预测误差值比较小部分，对应图像平坦区（低频分量），由于人眼对图像的平坦区误差分辨能力比较高，因此需要细量化；z预测误差值较大部分，对应图像突变区（高频分量），由于人眼对图像的突变区误差的分辨能力比较低，因此可以粗量化；z因此在预测编码的量化器设计中，利用预测误差值的概率分布特性和人眼的视觉特性，对图像的平坦缓变区（对应低频分量）的部分进行细量化，对于图像突急变区（对应高频分量）的部分进行粗量化，以尽量减少编码比特数，将量化误差控制到主观视觉可以忍受的范围之内。量化误差是预测编码产生编码失真的主要原因CUC44•信息工程学院2009基本思想:将在通常的空间域描写的图像信号变换到另外的向量空间（变换域）进行描写。然后再根据图像在变换域中系数的特点和人眼的视觉特性进行编码。正交变换的变换矩阵是可逆的，使得解码既保证有解又运算方便，因而变换编码一般是采用正交变换。一般图像数据在空间上具有较强的相关性，变换到变换域后能量往往被集中在少数样值上，通过舍弃一些较小的系数，实现数据压缩的目的。第三节正交变换编码CUC45•信息工程学院2009z预测编码消除相关性的能力有限，变换编码是一种更高效的压缩编码。z一般来说，图像数据在空间上具有较强的相关性，变换到变换域的变换系数的可以实现去相关和能量集中。变换系数的能量往往被集中在少数样值上，再通过量化舍弃一些较小的系数，实现数据压缩的目的。变换的物理意义CUC46•信息工程学院2009CUC47•信息工程学院2009z变换的关键在于去除相关性，即使得变换后的图像数据互相之间都不相关，互相独立。常用的正交变换有：离散傅立叶变换DFT、离散余弦变换DCT、离散正弦变换DST等。去除相关性能力，DCT最高，DST最低。再有，DFT是复数运算，是其最不利之处。由于DCT变换具有较好的去除相关的能力，实现快速算法比较容易，因此，在数字视频压缩中得到了广泛的应用。CUC48•信息工程学院2009变换编码原理框图变换本身并不会产生压缩，实现压缩的是变换后的量化编码。9CUC49•信息工程学院2009一、二维N×N图像块的DCT变换