搜索
多媒体计算机技术鲁宏伟luhw@hust.edu.cn第五讲数字图像处理技术概述数字图像压缩技术数字图像压缩标准视频通信差错恢复技术图像分割技术概述视频压缩技术从预测编码、变换编码到预测/变换混合编码，再到基于内容的编码，所有这些编码方式都是基于一个原理：最大限度地挖掘视频数据的相关性，并进行编码，以降低视频数据的统计相关和视觉冗余，达到最大限度地降低码率的目的，然后根据新的编码原理对码流加入冗余，来抵抗信道噪音。然而建立在IP协议之上的互联网及其他的包交换网络只能提供尽力而为的服务，没有一个完备的服务质量保证机制。在发生阻塞时，各种排队时延和数据包丢失可能导致视频和音频质量的极度下降。概述在网络上进行视频传输必须考虑两个问题：信号处理的问题。对于图像和视频信号的压缩来说，高效的算法是任何一个好的系统设计的核心问题。差错控制和恢复问题。考虑到网络传输过程中的信道干扰、突发错误和拥塞等问题都将不可避免地引起分组丢失，而视频信号对实时性要求非常高，通常不允许对丢失的分组重传，因此系统必须具有错误隐藏和错误复原能力第五讲数字图像处理技术概述数字图像压缩技术数字图像压缩标准视频通信差错恢复技术图像分割技术数字图像压缩技术为了有效防止信号在传输和存储过程中引入噪声导致波形畸变，模拟信号(如话音、音频、图像和视频信号)一般都先进行采样和数字化，然后再进行存储、传输和接受重建，这样才能获得更好的品质。但这些数字化信号的数据量极大，尽管海量存储技术、处理器的速度以及数字通信系统性能迅猛发展，但对数据存储的能力和数据传输带宽的需求仍然超出了现有技术能力所及的范围。为了使通信成为可能并尽可能地降低通信代价，信号的压缩是必需的。视频编码的运动估计方法在图像压缩编码方法中，广泛应用的有以下3种：利用DCT和矢量量化来消除图像帧内空间冗余；利用运动估计来消除帧间时间冗余；利用熵编码来消除编码冗余。由于帧间冗余度远大于帧内冗余度和符号编码冗余度，因此，用来消除帧间时间冗余的运动估计就显得非常重要，它直接影响到图像编解码的效率。缩减时间冗余度视频编码考虑了三种画面：内帧(I)、预测帧(P)和内插帧(B)。这样做的原因一是考虑随机访问视频存储的重要性，二是运动补偿插值可显著降低位速率。视频帧编码及关系I帧的压缩编码算法框图运动补偿原理动图像的帧与帧之间不仅存在基于像素的线性相关性，例如图像背景不变，仅是前景改变，还在宏观上存在着很大的运动相关性，即后一帧图像总是前一帧图像经过平移、缩放、旋转等各种运动得来的，如摄像镜头的晃动。为了充分利用图像序列的运动信息，消除冗余，必须采用运动补偿技术，以提高视频的压缩效率。运动补偿原理运动补偿技术就是在动态序列图像实时编码中运用信息以及像素的位移向量进行图像高效编码的一种方法，它属于时间预测。输入量化编码信道运动估计输出运动估计编码运动补偿原理框图运动补偿原理运动补偿技术通常包括如下过程:从图像中分割出运动目标对运动目标进行估计用位移估计进行补偿预测对预测信息进行编码运动补偿原理在时域内以1/15秒或1/10秒的时间间隔取参考子图，对低分辨率的子图进行编码，采用反映运动的附加校正信息进行插值，可得到全分辨率(帧率1/30秒)的视频信号。这种运动补偿插值技术又称为双向预测运动补偿插补技术运动补偿原理设在K-1帧里中心点为(x1，y1)的运动物体，在第K帧移动到中心点为(x1+dx，y1+dy)的位置，如图所示，其位移向量D=(dx，dy)。若直接求两帧间的差值，由于第K帧运动物体的中心点(x1+dx，y1+dy)与第K-1帧的对应点(背景部分)间相关性极小，所得差值幅度很大；x1,y1x1,y1x1+dx,y1+dy运动物体静止背景第K-1帧第K帧位移向量D运动物体的帧间位移同样第K帧的(x1，y1)点(背景部分)与第K-1帧的对应点(运动物体)之差值幅度亦很大。但若能对运动物体的位移量进行运动补偿，即将第K帧(x1+dx，y1+dy)点的运动物体移回到(x1，y1)点，再与第K-1帧的对应点求差值，则会使相关性增大，差值信号减小，从而提高压缩比。运动估计所谓运动估计就是使用于帧间编码方式时，通过参考图像产生对被压缩图像的估计。运动估计的准确程度对帧间编码的压缩效果非常重要。如果估计做得好，那么被压缩图像与估计图像相减后得到的数据量就很小。运动估计以宏块为单位进行，计算被压缩图像与参考图像的对应位置上的宏块间的位置偏移。这种位置偏移是以运动向量来描述的，一个运动向量代表水平和垂直两个方向上的位移。运动估计运动估计时，P帧和B帧图像所使用的参考帧图像是不同的。P帧图像用前面最近解码的I帧或P帧作参考图像，称为前向预测；而B帧图像使用两帧图像作为预测参考，称为双向预测，其中一个参考帧在显示顺序上先于编码帧(前向预测)，另一帧在显示顺序上晚于编码帧(后向预测)，B帧的参考帧在任何情况下都是I帧或P帧。其主要算法为块匹配法。P帧的压缩编码算法框图B帧的压缩编码算法框图运动估计实际物体的运动是十分复杂的三维运动，既有平动，又有转动，如果再考虑到物体的非刚性和运动中光照的变化，将使运动模型的建立和运动参量的估计十分复杂。在视频图像编码中，由于实时运算的要求，在目前所采用的运动估计算法仅考虑物体运动在视频画面内的平动。在图像编码领域，目前使用的运动估计算法有块匹配法、像素递归法、相位相关法、时空域约束法及块搜索法等多种算法，其中，块匹配法是最常用的一种方法基于小波变换的极低码率视频编码技术极低码率视频通信的主要技术问题是视频编码技术，这种技术主要目的是在满足必要图像质量和硬件成本的条件下降低所需的码率。常用的编码标准，如MPEG-1/MPEG-2和H.261/H.263，目的主要是消除图像数据中的统计冗余。由于没有充分利用人眼的视觉特性，当用于高压缩比系统时，重构图像会出现块状效应、文字效应以及图像模糊等现象。一些新的技术期望能充分利用人眼的视觉特性来减少视频图像的帧内和帧间的冗余信息基于小波变换的极低码率视频编码技术目前极低码率的视频编码方法有很多种，其中基于小波的极低码率编码技术已经得到很好的发展并已在实际应用中发挥重要的作用。已开发的基于小波的视频编码芯片的最高压缩比可达350︰1，甚至更高。基于小波变换的极低码率视频编码技术传统的视频压缩算法通常都是用预测编码来减少帧间冗余度，采用二维的DCT变换减少帧内冗余度，采用熵编码减少统计冗余度。在常规的块匹配运动补偿中，将图像分割成多个不重叠的块，经搜索每个块赋予一个运动矢量。如果从编码效率上看，这是一种低效率的编码方案。因为在对图像进行DCT变换时，要将图像分割成能够准确描述细节的块，而这些块在进行变换时是相互独立的，从而无法利用块间的冗余度。基于小波变换的极低码率视频编码技术针对现有编码标准的缺陷而提出的改进算法是，利用边界子带编码方案和窗口重叠块匹配运动补偿来分别减少空间冗余度和时间冗余度。这种方案只对不同图像的重要区域进行编码。这里所指的重要区域即细节丰富、活动性强的区域，可以通过运动矢量和边界图来确定。窗口重叠块匹配运动补偿与不重叠块匹配运动补偿相比，虽然前者计算量会增大，但搜索得到的运动矢量的精确度会得到明显的提高。第五讲数字图像处理技术概述数字图像压缩技术数字图像压缩标准视频通信差错恢复技术图像分割技术静态图像压缩标准JPEGJPEG2000JPEGJPEG是国际标准化组织(ISO)和国际电报电话咨询委员会(CCITT)关于静止图像编码的联合专家组(JointPhotographicExpertsGroup)名称的缩写。该标准可用于自然景象或任何连续色调图像的数字数据的压缩编码和解码。对于数字化精度为每种彩色分量每个样点4至16比特的数字图像有良好的压缩效果，但不适用于二值图像。JPEG标准综合了多年来图像压缩编码的研究成果，是一种集大成的算法。该标准规定了两种工作方式，即顺序方式和渐进方式；还规定了三种级别的编码算法，即基本系统(Baselinesystem)、扩展系统(Extendedsystem)和无失真系统(Losslesscoding)。顺序方式图像被分割为成行成列的四方小块，编码时由左而右，由上而下地逐行逐列对每个小块进行运算，直到所有小块都被编码为止。每个小块的编码都是一次完成。解码时按编码顺序逐块解码，也是一次完成。渐进方式整个图像首先以一种低于最终质量要求的质量标准(如分辨率或数据精度)进行编码，完成后再以较上次高一级的质量要求再进行一次编码，但仅传送为改善质量所需增加的那部分信息。这种过程可以重复若干次直至达到所需的最终质量要求。每个子过程中的编码则还是顺序方式的。渐进方式的实现方式谱选择法逐次逼近阶梯方式基本系统以离散余弦变换为核心，采用顺序工作方式，适用于一般精度(每种分量每个样点8比特)的图像，有良好的压缩效果，压缩比可调。标准规定，每个JPEG静止图像压缩编解码器都必须具有实现基本系统的功能。基本系统流程基本系统算法通过离散余弦变换减少图像数据的相关性；利用人眼视觉特性对系数进行自适应量化；对每个子块量化后的系数矩阵进行Z形扫描，将系数矩阵变换成符号序列；用哈夫曼变长码对符号进行熵编码。Z形扫描扩展系统将基本系统在若干方面增强并减少一些限制条件后就称为扩展系统。扩展系统可对精度范围4～12bit的图像进行处理，可采用渐进方式，可选用哈夫曼码或算术码对离散余弦变换产生的统计事件进行压缩编码。无失真系统无失真系统采用二维DPCM技术，实现无失真压缩，当然压缩比不可能很高。无失真编码器源图像数据压缩的图像数据预测器熵编码器表说明DPCM预测编码框图JPEG能达到的压缩效果采用JPEG算法所能达到的压缩效果，与被压缩图像的特性有关。对于在开发和测试本算法标准时所用的那些内容是彩色自然景物和人像的测试图片，压缩到0.15比特/像素时，图像可识别；0.25比特/像素时，解码后的图像可评价为“有用(usefulimage)”；约0.75比特/像素时，被认为是“极佳(verygood)”；大约1.5比特/像素时基本上与原图像无法区别。用无失真算法对这些测试图片进行压缩编码，大致可以得到2:1的压缩比。JPEG算法的不同压缩比及其压缩效果实例JPEG2000JPEG2000的核心JPEG2000的优势JPEG2000的应用JPEG2000的核心放弃了JPEG所采用的以离散余弦变换算法为主的区块编码方式，而改用以离散小波变换算法为主的多解析编码方式。JPEG2000还将彩色静态画面采用的JPEG编码方式、2值图像采用的JBIG(JointBinaryImageGroup)编码方式及低压缩率采用JPEGLS统一起来，成为对应各种图像的通用编码方式。JPEG2000的优势高压缩率无损压缩渐进传输感兴趣区域压缩JPEG2000的应用目前，支持JPEG2000的软件已经出现，如LuraWaveSmartCompressFreewareforWindows为ACDSee3.0提供JPEG2000LWF格式的外挂插件，这样只要安置了这个插件就可以观看和制作采用JPEG2000编码的LWF格式文件。在不久的将来，JPEG2000无论是在传统的JPEG市场（如数码相机、扫描仪等）还是在新兴应用领域（如网路传输、无线通讯、医疗影像等）都将大有用武之地。动态图像压缩标准动态图像的分类动态图像的特点运动图象压缩技术的发展MPEG标准概述MPEG-1标准MPEG-2标准动态图像的分类动态图像一般可分为：视频和动画。视频：每一帧图像是实时获取的自然景物的真实图像。和音频一样，在多媒体计算机中使用的是数字视频。数字视频的应用于VCD/DVD、数字电视、远程教学及视频会议等。动画：每一帧图像是由计算机或人工制作的具有真实感的图像。若画面仅为二维透视效果时，则为二维动画；若画面具有空间效果时，则为三维动画；若加上真实的光照效果和质感，则为三维真实感动画。动态图像的特点连续性在时间轴上以帧为运动单位，属于离散型媒体类。动态图像比静态图像表示的范围广、表