网络多媒体技术-复习

网络多媒体技术复习第1章多媒体信息处理基础•位图文件–图像分辨率：分辨率越高，表示组成一幅图的像素就越多，图像文件就越大–像素深度：像素深度越深，表达单个像素的颜色和亮度的位数越多，图像文件就越大•灰度图像:只有明暗不同的像素而没有彩色像素组成的图像。灰度值级数就等于256级，每个像素可以是0～255之间的任何一个值•彩色图像：每个像素的R、G和B值用一个字节来表示•1位：黑白；8位：灰阶；8位：256色；24位：真彩；30/36/48位：全彩•音频数字化实际上就是对模拟信号进行采样、量化和编码•色调反映彩色的类别，例如红、橙、黄、绿、青、蓝、紫等不同颜色。发光物体的色调由光的波长决定，•色饱和度反映彩色光的深浅程度•在RGB模型中，颜色空间里所有的颜色都是由R、G、B(红、绿、蓝)三种光依不同的比例相加而成；相加混色。•在CMY颜色模型中，颜色空间由青（Cyan）、品红（Magenta）和黄（Yellow）这三种基色按不同的比例混合而成，相减混色。•图像采样就是对图像在水平方向和垂直方向上进行等间隔的采样，将二维空间上模拟的连续亮度（即灰度）或彩色信息，转化为一系列有限的离散数值来表示•一幅图像在采样时，行、列的采样点与量化时每个像素量化的级数，既影响数字图像的质量，也影响到该数字图像数据量的大小。假定图像取M×N个采样点，每个像素量化后的灰度二进制位数为Q，一般Q总是取为2的整数幂，即Q=2k,则存储一幅数字图像所需的字节数B为kBMN8第2章图像增强灰度直方图•灰度直方图是灰度级的函数，它表示图像中具有某种灰度级的像素的个数，反映了图像中每种灰度级出现的概率•1.统计原始图像的直方图：其中，是归一化的输入图像灰度级。•2.计算直方图累积分布曲线•3.用累积分布函数作变换函数进行图像灰度变换：根据计算得到的累积分布函数，建立输入图像与输出图像灰度级之间的对应关系，即重新定位累计分布函数（与归一化灰度等级比较，寻找最接近的一个作为原灰度级k变换后的新灰度级）。nnrpkkrkjkjjjrkknnrprTs00)()(直方图均衡化的实现步骤krkskr邻域平均法•模板操作实现了一种邻域运算，即某个像素点的运算结果不仅与本像素灰度有关，而且与其邻域点的值有关。模板操作的数学含义是卷积（或互相关）运算。•邻域平均法是一种局部空间域处理的算法。基本思想：用邻域像素灰度的平均值代替每个像素的灰度值。优点：算法简单，计算速度快。缺点：在降低噪声的同时容易模糊图像边沿和细节处。中值滤波•中值滤波是对一个滑动窗口内的诸像素灰度值排序，用中值代替窗口中心像素的原来灰度值，因此它是一种非线性的图像平滑法。•中值滤波的依据：噪声以孤立点的形式出现，这些点对应的像素数很少，而图像则是由像素数较多、面积较大的块构成。中值滤波的目的就是要把这些孤立的点去除掉。•中值滤波方法：选一个含有奇数点的窗口W，将这个窗口在图像上移动，把该窗口中所含的像素点按灰度值进行升（或降）序排列，取位于中间的灰度值，来代替该点的灰度值。将原图像中所有的像素点都执行上述操作后就得到中值滤波的结果图像。例：有一个序列为{0,3,4,0,7}，当窗口m＝5时试求出采用中值滤波的结果。解：该序列重新排列后为{0,0,3,4,7}则中值滤波的结果M{0,0,3,4,7}=3中值滤波低通滤波器•理想低通滤波器–以D0为半径的圆内所有频率分量无损的通过，圆外的所有频率分量完全衰减。–由于高频成分包含有大量的边缘信息，因此，采用该滤波器在去噪声的同时将会导致边缘信息损失而使图像边模糊。•Butterworth低通滤波器–特性是连续性衰减–在抑制噪声的同时，图像边缘的模糊程度大大减小，没有振铃效应产生•高斯低通滤波器–高斯低通滤波器的傅立叶反变换也是高斯的，这意味着反变换后高斯滤波器将没有振铃现象产生图像锐化•图像变模糊原因：•成像系统聚焦不好或者信道过窄•平均或积分运算使目标物轮廓变模糊，细节轮廓不清楚•目的：加重目标物轮廓，使图像变清楚•单方向的一阶锐化是指对某个特定方向上的边缘信息进行增强。水平方向的一阶锐化1232121262308761278623269000000-3-13-2000-6-13-130011250000001*1+2*2+1*3-1*3-2*0-1*8=-3121000121H垂直方向的一阶锐化1232121262308761278623269000000-7-17400-16-25500-17-22-30000001*1+2*2+1*3-1*3-2*2-1*8=-7101202101H拉普拉斯算子•拉普拉斯算子),(4)1,()1,(),1(),1(),(),(22222jifjifjifjifjifyyxfxyxff可见，数字图像在（i,j）点的拉普拉斯算子，可以由（i,j）点灰度值减去该点邻域平均灰度值来求得。0101-410101111811112H1212421213H0101510104H高通滤波•图像中的边缘或线条等细节部分与图像频谱的高频分量相对应。•采用高通滤波使图像的边缘或线条等细节变得清楚，实现图像的锐化。第3章形态学图像处理数学形态学的基本概念•数学形态学是用集合论方法定量描述集合结构的学科，它包括一组基本的形态学算子（膨胀、腐蚀、开、闭等）及其组合数学形态学的基本概念•二值图像的逻辑运算–对于二值图像而言，习惯上认为取值为1的点对应于景物（前景），而取值为0的点构成背景二值图像的逻辑运算1表示黑色，0表示白色二值形态学的基本运算—膨胀膨胀•膨胀–应用：连接图像中的邻近目标二值形态学的基本运算—腐蚀•腐蚀的应用–去掉小于结构元素的物体–如果两个物体之间有细小的连通，当结构元素足够大时，可以将物体分开•开操作（opening）–先腐蚀，后膨胀–作用•消除细小对象•在细小粘连处分离对象•在不明显改变形状的前提下，平滑对象的边缘二值形态学的基本运算—开操作()ABABB$ABABAB•开操作二值形态学的基本运算—闭操作•闭操作（closing）–先膨胀、后腐蚀–作用•填充对象内细小空洞•连接邻近对象•在不明显改变面积的前提下，平滑对象边缘()ABABB$ABABAB•开操作和闭操作的应用：先开操作再闭操作，构成噪声滤波器第4章图像分割图像分割•计算机处理图像的两个目的–产生更适合人观察和识别的图像–由计算机自动识别和理解图像•图像分割是图像识别和图像理解的基础知识库表示与描述预处理分割低级处理高级处理中级处理识别与解释结果图像获取问题•图像分割的定义–图像分割是把图像分割成互不交叠的有意义区域，以便进一步的分析，分开的区域一般是图像中我们感兴趣的目标•图像分割是基于目标或区域的特征进行的•图像分割算法一般是基于亮度值的不连续性和相似性•图像分割的目的–把图像分解成构成它的部件和对象；–有选择性地定位感兴趣对象在图像中的位置和范围。4.图像分割的方法1)基于边缘的分割方法:先提取区域边界，再确定边界限定的区域。2)区域分割:确定每个像素的归属区域，从而形成一个区域图。3)区域生长:将属性接近的连通像素聚集成区域。4)分裂－合并分割:综合利用前两种方法，既存在图像的划分，又有图像的合并。间断检测•间断检测是基于图像像素灰度值的不连续性进行图像分割–点检测–线检测–边界检测•寻找间断最一般的方法是模板检测11229991iiiRwzwzwzwz间断检测•点检测•线检测-1-1-1222-1-1-1水平模板-1-12-12-12-1-145度模板-12-1-12-1-12-1垂直模板2-1-1-12-1-1-12-45度模板间断检测–边缘是位于两个区域的边界线上的相连像素的集合–边缘可以通过计算局部微分算子来检测•一阶导数：通过梯度来计算•二阶导数：通过拉普拉斯算子来计算第5章数字图像与视频压缩编码•数据压缩的理论基础是信息论。从信息论的角度来看，压缩就是去掉数据中的冗余，即保留不确定的信息，去掉确定的信息（可推知的），也就是用一种更接近信息本质的描述来代替原有冗余的描述。•在一般的图像和视频数据中，主要存在空间冗余，时间冗余，统计冗余，结构冗余，知识冗余以及人眼的视觉冗余无失真编码•熵编码是纯粹基于信号统计特性的一种编码方法，它利用信源概率分布的不均匀性，通过变长编码来减少信源数据冗余，解码后还原的数据与压缩编码前的原始数据完全相同而不引入任何失真游程编码•二值图像是指图像中的像素值只有两种取值，即“0”和“1”，因而在图像中这些符号会连续地出现，我们通常将连“0”这一段称为“0”游程，而连“1”的一段则称为“1”游程，它们的长度分别表示为L(0)和L(1)，往往“0”游程与“1”游程会交替出现，即第一游程为“0”游程。第二游程为“1”游程。第三游程又为“0”游程。下面我们以一个具体的二值序列为例进行说明。•已知一个二值序列00101110001001……，根据游程编码规则，可知其游程序列为21133121……。Huffman编码过程1.把信源符号按概率大小顺序排列，并设法按逆次序分配码字的长度。在分配码字的长度时，首先将出现概率最小的两个符号的概率相加，合成一个概率；第二步把这个合成概率看成是一个新组合符号的概率，重复上述操作，直到最后只剩下两个符号的概率为止。2.完成以上概率相加顺序排列后，再反过来逐步向前进行编码，每一步有两个分支，各赋予一个二进制码，可以对概率大的编码赋予0，概率小的编码赋予1。反之，也可以对概率大的编码赋予1，概率小的编码赋予0。例2：信源的符号的概率严重不对称：A={a,b,c},P(a)=0.95,P(b)=0.02,P(c)=0.03H=0.335bits/symbolHuffman编码：a0b11c10l=1.05bits/symbol冗余（Redundancy）=l-H=0.715bits/sym(213%!)算术编码•基本原理：将被编码的信息表示成0和1之间的间隔。信息越长，则编码表示它的间隔就越小，表示这一间隔所需的二进制位就越多。•算术编码是一种非分组编码，它用一个浮点数值表示整个信源符号序列。算术编码将被编码的信源符号序列表示成实数半开区间［0，1）中的一个数值间隔•算术编码首先假设一个概率模型，然后用这些概率来缩小表示信源集的区间。•在算术编码的初始阶段，可设置两个专用寄存器C和A来存储符号到来之前子区间的状态参数，令寄存器C的值为子区间的起始位置，寄存器A的值为子区间的宽度，该宽度恰好是已输入符号串的概率。再设L和H分别为编码字符的初始编码区间的低端和高端值初始时，C=0，A=1。当新的符号到来时，C←C+A×L，A←A×(H－L)。算术编码的结果落在子区间[C，C+A）之内例：假设信源符号为{00，01，10，11}，这些符号的概率分别为{0.1，0.4，0.2，0.3}。根据这些概率，可把间隔[0，1）分成4个子间隔：[0，0.1），[0.1，0.5），[0.5，0.7）和[0.7，1）。如果二进制消息序列的输入为10001100101101，则（1）首先输入的符号是10，其编码范围是[0.5，0.7)，即L=0.5，H=0.7。因此C=0+1×0.5=0.5，A=1×0.2=0.2。（2）由于消息中第二个符号00的编码范围是[0，0.1），因此C=0.5+0.2×0=0.5，A=0.2×0.1=0.02。（3）第3个符号11的编码范围是[0.7，1]，因此C=0.5+0.02×0.7=0.514，A=0.02×0.3=0.006。依此类推，编码第4个符号00时，C=0.514+0.006×0=0.514，A=0.006×0.1=0.0006，…消息的编码输出可以是最后一个间隔中的任意数。限失真编码•限失真编码方法利用了人类视觉的感知特