多媒体通信技术四-修订

第四章视频信息压缩与处理第四章视频信息压缩与处理本章主要内容图像信号的相关特点图像处理方法各种实用编码常见的图像压缩编码标准图像信号的相关特点通常一幅图像中的各像素之间存在一定的相关性。在活动图像中，由于两幅相邻图像之间的时间间隔很短，因此这两幅图像信息中包含大量相关信息。这些就是图像信息中的冗余。图像信号的相关特点多媒体数据压缩的目的就是要去除图像信息中的大量冗余，同时又能保证图像的质量。一般针对不同类型的冗余信息，采取不同的压缩方法。图像信息中存在的冗余分类●[1]空间冗余——规则物体的物理相关性[2]时间冗余——视频与动画画面间的相关性[3]统计冗余——具有空间冗余和时间冗余[6]视觉冗余——视觉、听觉敏感度和非线性感觉[7]知识冗余——凭借经验识别[4]结构冗余——规则纹理、相互重叠的结构表面[5]信息熵冗余——编码冗余，数据与携带的信息10110001110010110001110001011010101010111100010111111010224色28色1.空间冗余空间冗余是在图像数据中经常存在的一种冗余。在任何一幅图像中：均有许多灰度或颜色都相同的邻近像素组成的局部区域，它们之间具有空间上的强相关性，在图像中就表现为空间冗余。1.空间冗余颜色相同的区域对空间冗余的压缩方法就是把这种颜色都相同的邻近像素组成的局部区域当作一个整体，用极少的数据量来表示它，从而节省了存储空间。这种压缩方法叫空间压缩或帧内压缩。时间冗余：视频信号和动画是基于时间轴的一组连续画面。由于活动图像序列中的任意两幅相邻的图像之间的时间间隔很短，因此两幅图像中存在大量的相关信息时间冗余相邻帧包含相同的背景和移动物体，只不过移动物体所在的空间位置略有不同活动图像中的两幅相邻的图像有较大的相关性，这反映为时间冗余。在前一幅图像的基础上，只需改变少量的数据，便可以表示出后一幅图像，达到数据压缩的目的。这种压缩对活动图像往往能得到很高的压缩比，这也称为时间压缩或帧间压缩。3.统计冗余空间冗余和时间冗余是将图像信号看作为随机信号时所反映出的统计特征，因此有时把这两种冗余称为统计冗余。4.信息熵冗余信息熵是针对数据的信息量而言的，它代表从图像信息源中发出的一个符号的平均信息量设某种编码的平均码长单位（符号）的数据量为式中，为分配给第符号的比特数，即二进制位数niniiiiiSpSpSISpXH112)(log)()()()(niiiSlSpL1)()()(iSliS由于实际中很难估算各符号出现的概率，我们一般认为它们是等概率的，所以每个符号比特数相同。这种编码的符号的数据量L为最大。但实际各符号出现的概率并不相同。这样所得的L必然大于实际的信源熵H，由此带来的冗余我们称为信息熵冗余或编码冗余。)()()(21nSlSlSlniiiSlSpL1)()(总结：数据中通常包含很大的冗余，数据的大小与所携带的信息量的关系由下式给出：L=H+RH：信源熵（信息量/符号，代表最小比特数）、L：数据量（平均码长单位，即符号实际的比特数）R：冗余量（即信息冗余量）R=L-H5.结构冗余有些图像从整体上看存在着非常强的纹理结构。下图为草席图像。是一种规则有序排列的图形，我们称它在结构上存在冗余。是一种结构冗余。规则有序排列的图形6.知识冗余有些图像的理解与某些知识有相当大的相关性。比如人脸的图像有固定的结构：嘴的上方有鼻子、鼻子的上方有双眼睛，鼻子位于正脸图像的中线上等等这类规律的结构可由先验知识和背景知识得到，因此这类信息对一般人来说就是冗余信息。这就是知识冗余。7.视觉冗余由于人眼的视觉特性有所限制，人类的视觉系统不能对图像画面的任何变化都能感觉到。举例：人眼视觉系统的一般分辨率为64灰度等级,而一般图像的量化采用的是256的灰度等级。这种差别就是视觉冗余。视频压缩编码方法及其分类图像压缩的基本目标就是减小数据量。至于图像压缩到什么程度而又没有明显的失真,则取决于图像数据的冗余度。所有的这些冗余度都可以被除去而不会引起显著的信息损失。空间冗余和时间冗余是图像信号最常见的冗余。压缩编码分类1.按恢复的图像性质划分按恢复的图像性质,数字图像压缩方法可以分为两种：无损压缩编码有损压缩编码压缩编码分类无损压缩编码：也称为熵编码、可逆编码或无失真编码。当系统采用此方法进行数据压缩时,在接收端所获得的解码与原图像完全相同。无损压缩不能提供较高的压缩比。一般在2:1～5:1。压缩编码分类有损编码：也称为不可逆编码、熵压缩编码或失真编码。由于压缩了熵，会减少信息而不能再恢复。这种压缩编码具有较高的压缩比。最大可达几百比一。压缩编码分类2.按压缩方法的原理划分按压缩原理划分,数字图像压缩方法可以分为以下几种编码:预测编码变换编码标量量化和矢量量化编码信息熵编码子带编码结构编码模型编码图像压缩编码无损压缩有损压缩霍夫曼编码行程编码算术编码L-Z编码预测编码:量化编码:模型编码:混合编码:变换编码:DPCM；运动补偿DCT；子带编码分形编码；知识基编码JPEG；MPEG；H.26X编码采样编码；矢量量化编码图像压缩算法分类压缩编码分类（1）预测编码：其典型的压缩方法有DPCM和ADPCM.它们比较适合于图像数据的压缩。它主要是减少图像数据在空间上和时间上的相关性，从而达到数据压缩的目的，但这是一种有失真的压缩方法。压缩编码分类（2）变换编码：它是将图像时域信号转换到变换域（系数空间、频域）上进行处理。在实际编码中，常常利用图像的统计特性和人眼的视觉特性，只是选择部分变换系数来进行信息传输，因此恢复的图像中将存在一定的失真。常用的正交变换有：离散傅氏变换DFT、离散余弦变换DCT、离散正弦变换DST和K-L变换。压缩编码分类（3）标量量化和矢量量化编码：标量量化指传统的量化，是将具有无限电平的点样值，用有限电平数表示的方法，是一个样点、一个样点地进行量化编码。这里量化器的设计是一个很关键的步骤。压缩编码分类（3）标量量化和矢量量化编码：矢量编码是相对标量量化而提出的。矢量编码中一次可以量化多个样点。矢量量化也是一种有损压缩编码。压缩编码分类（4）信息熵编码：信息熵编码是一种基于图像统计特性的编码方法。是一种无损压缩编码方法。压缩编码分类（4）信息熵编码：它是根据信息熵的原理：用最短的位数表示出现概率大的信息，而出现概率较小的信息则用较长的位数来表示，以此达到压缩数据的目的。常见的熵编码有哈夫曼编码、游程编码和算术编码。压缩编码分类（5）子带编码：在子带编码中，首先将图像数据转换到频域，然后按频率分成若干子带，对每个子带用不同的编码器进行抽样、量化和编码，并将各子带输出数据合成为数据码流，从而获得压缩数据。压缩编码分类（6）结构编码：结构编码也称为第二代编码。编码时首先求出图像中的边界、轮廓、纹理等结构特征参数，然后保存这些参数信息，进行编码。在解码时则根据这些结构和参数信息进行图像合成，从而恢复出原图像。压缩编码分类（7）模型编码：这是一种基于知识的编码。利用人们对自然知识的了解而形成一个规则库，将人脸变化等特征用一系列参数来进行描述。利用参数再加上模型就可以实现人脸的图像编码和解码，达到压缩图像数据的目的。数据压缩技术的性能指标1、压缩比用来定义压缩性能。指压缩过程中输入数据量与输出数据量之比。设原图像的平均码长为Lc,压缩后图像的平均码长为L，则压缩比C为压缩比越大，说明数据压缩的程度越高。LLCC冗余度和编码效率也是衡量信源特性以及编解码设备性能的重要指标，定义如下：冗余度:指冗余量在信息量中占的比例L为平均码字长度H(X)为信源熵。编码效率：指信息量在数据量中占的比例1)(XHLRRLXH11)(数据压缩技术的性能指标2、重现质量：恢复效果要好，要尽可能地恢复原始数据。3、压缩和解压缩速度无损图像压缩编码方法无失真（无损）图像压缩编码就是指图像经过压缩、编码后恢复出的图像与原图像完全一样,没有任何失真。无失真压缩编码---------熵编码。广泛应用于文本数据和特殊应用场合的图像数据（指纹图像、医学图像、卫星图像等）的压缩。无损图像压缩编码方法香农信息论认为,信源中或多或少地含有自然冗余度。这些冗余度既来自于信源本身的相关性,又来自于信源概率分布的不均匀性中。只要找到去除相关性或改变概率分布不均匀性的方法和手段,也就找到了信息熵编码的方法。无损图像压缩编码方法例如：在图像中存在着空间上的相关性对运动图像而言存在着帧与帧之间在时间上的相关性。这些都说明存在着颜色的概率分布的不均匀性。无损图像压缩编码方法信息熵编码所要解决的问题：如何利用信息熵理论（香农信息论）减少数据在传输和存储时的冗余度。香农信息论香农信息论认为：信源所含有的信息熵就是进行无失真编码的理论极限。niniiiiiSpSpSISpXH112)(log)()()()(香农信息论低于此极限的无失真编码方法是找不到的,而只要不低于此极限,那就总能找到某种适宜的编码方法任意的逼近信息熵。熵编码的目的就是要使编码后的图像平均码字长度（比特数）L近可能接近这个信息熵H(x)niniiiiiSpSpSISpXH112)(log)()()()(无损图像压缩编码方法根据：L=H+RH：信源熵（信息量/符号，代表符号的最小比特数）、L：数据量（每个符号实际平均的比特数，也称码字长度）R：冗余量（即信息冗余量）R=L-H无损数据压缩的本质：通过减少冗余量R，减少数据量L，使之接近H。无损图像压缩编码方法无损图像压缩编码方法由于其中并没有考虑人眼的视觉特性,因此其所能达到的压缩比非常有限。常用的无失真图像压缩编码有：哈夫曼编码游程编码（行程编码）算术编码无损图像压缩编码方法在实际应用中,常将游程编码与哈夫曼编码结合起来使用,例如在H.261、JPEG、MPEG等国际标准中正是采用此种编码技术。而在H.263等国际标准中则采用算术编码技术。哈夫曼编码哈夫曼(Huffman)编码方法于1952年问世,迄今为止仍经久不衰,广泛应用于各种数据压缩技术中,且仍不失为熵编码中的最佳编码方法。主要编码思路：对出现频率较大的符号用较短的码来表示，而对于出现频率较小的符号则用较长的码来表示。这样的编码结果所获得的平均码字长度最短。哈夫曼编码哈夫曼编码的码长是变化的，即可变长编码(VLC),而且哈夫曼编码通常被称为最优码。最优的含义是：对于给定的符号集和概率模型，找不到任何其它整数码比哈夫曼编码有更短的码长。整数码：指每个符号所对应的码字的位数都是整数。哈夫曼编码具体编码过程：1、排序：按符号出现的概率从大到小进行排列。2、赋值：对排在最后的两个符号进行赋值，概率大的赋“1”，概率小的赋“0”。或相反。3、合并：将上述最后的两个符号出现的概率相加合成一个概率。哈夫曼编码4、重新排序：将合成后的概率与其它符号概率一起进行重新排序（从大到小）。然后重复步骤2、3的内容，直至概率相加为1为止。5、码字分配：从最后一步开始反向进行码字分配。从而形成一个码字。哈夫曼编码的基本原理例：aaaabbbccdeeeeefffffff432157如果不进行特殊的编码，用字符方式（ASCII码）传送，每个字符8位，需要的数据量为：22*8=176bit哈夫曼编码的基本原理cbafe7/225/224/222/2210f=11e=01a=00b=101c=1001d=1000d1/223/226/2222/2213/229/223/2210101010哈夫曼编码原始符号各符号出现概率组成的二进制码码长La4/22002b3/221013c2/2210014d1/2210004e5/22012f7/22112哈夫曼编码的基本原理aaaabbbccdeeeeefffffff432157按照哈夫曼编码的原理进行编码：a=00b=101c=1001d=1000e=01f=11需要的数据量为4*2+3*3+2*4+1*4+5*2+7*2=53bit比22*8