多媒体技术教程第四章

第4章视频信息压缩与处理多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity4-1图像的统计特性•由前面的分析可知，一幅图像是由几十万以上的像素构成的。但实际中由于一幅图像的相邻像素之间、相邻行之间以及相邻帧之间都存在着较强的相关性，这样实际有分析价值的图像只占其中的一小部分。•所谓图像统计特性是指其亮度、色度（或色差）值或亮度、色度（或色差）抽样值的随机统计特性。多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity•4.1.1图像的信息量–每当我们看书、听电话、看电视时，都可以获得一系列丰富、有意义的消息，因此我们称一个有次序的符号（如状态、字母、数字或电平等）序列就是消息。–例如某一个图像信息源所发出的符号集合X={S1,S2,…,Sn},Si为中的某一个符号，可见它能够发出n种符号。–根据信息论的基本知识，从图像信息源X发出符号Si的概率为p(Si),而且p(Si)将满足下列条件：–这样符号Si所携带的信息量I(Si)可以用下式表示：1)(0iSpMiiSp11)()(log))(/1(log)(22iiiSpSpSI多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity–上式所定义的信息量也称为自信息量，单位为“bit”，表示在接收者未收到符号Si之前，并不清楚究竟会收到符号集X={S1,S2,…,Sn}中的哪一个符号，即存在不确定性。–另外，接收符号Si之后，表示接收到一个符号所获得的信息量多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity•4.1.2离散信源–如果信息源所发出的符号均取自某一个离散集合，这样的信息源称为离散信源。由信息论的基本理论可知，离散信源X可以用下式描述：–其中–如果从上述信息源X中所发出的各种符号彼此独立无关，即任意两个相继发出的符号Si和Sj,Si符号不会对Sj符号构成影响，或者说Sj符号与其前面出现的符号Si无关，我们称这样的图像信息源为“无记忆”的离散信息源。)()()(nnSpSpSpSSSX2121niiSp11)(多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity–由一个无记忆的离散信息源所发出的任意长度的符号序列S1,S2……Sn的信息量为–从上式可以看出，总信息量等于相继发出的各符号的自信息量之和。–对于实际的图像信息源来说，它所发出的各符号并不是相互独立的，而是具有一定的相关性，即相继发出的符号序列中Si符号的出现与它之前已相继出现的几个符号Si-1，Si-2，……有关，这样的信源就是“有记忆”信息源。)]()()([log),(nnSpSpSpSSSI21221多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity•4.1.3图像的信息熵–对于无记忆的图像信息源而言，我们无法确切地知道信息源在下一时刻发出的符号是符号集X={S1,S2,…,Sn}中的哪一个符号，因此信息源所发出的符号Si本身就是一个随机变量，而其信息量I又是Si的函数。–由此可知，I也是一个随机变量，这样我们就可以求出图像信息源X发出符号集Sn中各符号的信息量的统计平均（即求其数学期望），从而得到符号集Sn中每个符号的平均信息量。–在信息论中称H(X)为图像信息源X的“熵”，其单位为bit/符号。niniiiiiSpSpSISpXH112)(log)()()()(多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity•无记忆信源的概率分布与熵的关系–计算图像的熵的方法有两种：–其一是对图像信息源的概率分布提出数学模型，然而根据该模型进行熵的计算–其二是将图像分割成统计上相互独立的“子像块”，当一幅图像所包含子像块数足够多时，便能具体地测量出每个子像块出现的概率，最后按式（4-5）计算出信息熵。多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity–均匀分布的图像信息源•如果图像信息源的概率分布呈现均匀分布，即各符号出现的概率相等，那么其数学模型可写为：•则由式（4-5）可求出该图像信息源的熵H(x)为•可以证明，当图像信息源中各符号出现的概率相等时，信源的信息熵最大。•数据压缩的方法之一，就是使每个符号所代表的信息量最大。通常通过压缩各信源符号间的冗余度使各信源符号呈现等概率分布来达到各符号所携带的信息量最大常数nSpi1)(nXH2log)(多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity–正态分布的图像信息源•在实际图像中，可根据图像的内容（如人的头肩像、景物等）进行分类。通常用一幅或一组典型的测试图像代替这类图像，然后对典型的测试图像求熵，最后利用熵值来研究该类图像的压缩编码方法。•假设某一测试图像包含N=256×256个像素，每个像素采用8bit编码，可见相当于有256个灰度等级。如果在该幅测试图中有ni个灰度为i的像素，那么灰度为i的像素出现的概率为ni/N，这样便可以利用式（4-5）求出该信息源的熵。)(log)(fneXH22多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity•例4-1已知一幅图像包含256×256像素，其中每像素用8bit表示。如果其中包含红色像素13100个，求该像素出现的概率为多少？•解：%2025625613100Nnpi多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity•信源的相关性与序列熵的关系–对于一个无记忆的离散信源，如果已知输出序列中的相邻两个符号X和Y，其中X,Y分别取自于：niinnspsqspspsssX121211)()()()(mjjmmtqtqtqtqtttY121211)()()()(该序列｛sitj｝的平均信息熵称为联合熵：ijijijrrYXH2log),(多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity–式中rij为符合Si和tj同时发生时的联合概率，因为X和Y彼此独立，故rij=p(Si)q(tj)，因此有：–即：离散无记忆信源所产生的符号序列的熵等于各符号熵之和)()()(YHXHYXH多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity–许多离散信源都是有记忆的，其前一个符号直接对后面所出现的符号构成影响，或者说后面出现的符号由前面几个出现的符号决定。–如相邻2个符号X和Y，此时联合概率rij=p(si)pji=q(tj)pij，其中pji=p(tj/si)，qij=p(si/tj)nimjiijijjisprrPEXYH1122))(/(log][log)/(在给定X的条件下，Y所具有的熵称之为条件熵，即：)/()()/()()(YXHYHXYHXHYXH不难证明:多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity–由上面的分析可以看出，序列熵与其可能达到的最大值之间的差值就是指该信息源中所含有的冗余度。–如果能使信源输出的各符号之间的冗余度越小，那么每个符号所携带的信息量也越大，这样，传送相同的信息量所需要的序列长度也越短，即包含的比特数越少–由此得到另一种数据压缩的方法:去除信源输出各符号间的相关性，其相关性去除越多，则信源特性越趋于无记忆信源的特性。多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity4-2信息压缩方法及其分类–多媒体信息存在数据量大、数据流具有突发性和码速可变性三大特征。–如果一幅图像中代表其亮度、色彩和饱和度的各项分量的带宽分别为4MHz、1.3MHz和0.5MHz，那么根据取样定理的规定，只要当取样频率大于或等于原信号的最高频率的2倍时，才能从取样信号中无失真地恢复原信号。若取等号，并且每个取样值用8bit表示，由此可以计算出一幅图像的数据量：（4+1.3+0.5）×2×8=92.8Mbit/s–显然，数据量非常大，很难直接进行保存，因此必须对图像数据进行压缩以适应传输和存储的要求。多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity4.2.1图像信息中存在的冗余类型•空间冗余•这是图象数据中经常存在的一种冗余。•在同一幅图象中,规则物体和规则背景的表面物理特性具有相关性,人们通常将其视为一个整体，从而达到数据压缩的目的。多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity•时间冗余•这是序列图象和语音数据中所经常包含的冗余。•图象序列中的两幅相邻的图象之间有较大的相关性,这反映为时间冗余。•在语言中,由于人在说话时发音的音频是一连续的渐变过程,而不是一个完全时间上独立的过程,因而存在时间冗余。多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity•信息熵冗余针对数据信息量而言，熵为下限ABCD1/21/41/81/8X=H(X)=1.75bit/字符ABCD00011011ABCD010110111C(X)=2bit/字符C1(X)=1.75bit/字符多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity•结构冗余•有些图象从大域上看存在非常强的纹理结构，我们称它们在结构上存在有冗余，也称文理冗余。•例如布纹图象和草席图象多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity•知识冗余•有许多图象的理解与某些基础知识有相当大的相关性。•例如,人脸的图象有固定的结构。比如说嘴的上方有鼻子,鼻子的上方有眼睛,鼻子位于正脸图象的中线上等等。•这类规律性的结构可由先验知识和背景知识得到,我们称此类冗余为知识冗余。多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity•视觉冗余•人类视觉系统并不是对任何图像的变化都很敏感。•例如,对于图象的编码处理时,由于压缩或量化截断引入了噪声而使图象发生了一些变化,如果这些变化不能为视觉所感知,仍认为图象足够好。•事实上人类视觉系统一般分辨能力约为26灰度等级,而一般图象量化采用28灰度等级,这类冗余我们称为视觉冗余。多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity•听觉冗余•人类听觉系统对不同声音的敏感程度不同，而且受环境的影响，声音之间还存在掩蔽效应。•比如，太高或太低的声音都听不到。在嘈杂的环境下，听不到低的声音。别人的声音可以盖过你的声音。这类冗余我们称为听觉冗余。消除冗余就是数据压缩的途径！！多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity4.2.2图像编码的基本过程图像通信系统模型信源信宿信源编码器信源解码器信道编码器有噪信道信道解码器原始图像无噪信道f(x,y)f’(x,y)数据压缩多媒体通信技术：视频信息压缩与处理信息科学与工程学院宁波大学NingboUniversity•如果忽略噪声的影响，那么数据信息能通过信道实现无误传输(无噪声信道)•如果系统的信源为一个数字信源，那么便可以将一幅光图像f(x,y)转换成具有n个符号的离散随机信号。若该信源是一个恒定信源，则每Ts秒产生一个符号，这样，由信源输出的符号速率为Rs=1/Ts•信源编码器负责完成数据压缩功能，它对每个符号进行映射变换，从中消除图像信息中的各种冗余信息，