多媒体音频部分复习资料2016年

1，媒体，多媒体基本概念及分类。媒体：信息的载体。分类：感知媒体，表示媒体，呈现媒体存储媒体和传输媒体。多媒体：多种形式的感知媒体，计算机处理的数字化的多媒体。分类：视觉媒体，听觉媒体和触觉媒体。2﹑感知媒体分类，图形，图像，视频，动画等视觉媒体之间的关系与区别。感知媒体分类：视觉媒体，听觉媒体，触觉媒体，嗅觉媒体和味觉媒体关系：通过视觉来传递信息，最终都是以图像的形式出现。区别：计算机对他们的表示，处理，显示方法不同。位图图像（图像）使用像素点来描述或映射的图，是指在空间和亮度上已经做离散化了的图像。视频（真实的）动态图像，是一组图像按时间顺序的连续表现。视频的表示与图像序列，时间关系有关。图形是一种抽象化的图像。不描述图像的没一点，而是描述产生这些点的算法。动画是动态图像（计算机产生或人工绘制）。3﹑彩色的三要素？物理意义？色调，饱和度和亮度。色调是指颜色的分类;饱和度是指彩色光所呈现的色彩的深浅程度（或浓度）；亮度是光作用与人眼是所引起的明亮程度的感觉。非彩色属性，彩色图像中的亮度对应黑白图像的灰度。4﹑各种彩色模型是如何描述颜色？适用场合？有哪些优缺点？RGB颜色空间模型（计算机显示）用笛卡尔坐标系中的立方体来形象表示，3个坐标抽的正方向分别是R,G,B三基色，用三维中的一点来表示一种颜色。各基色的取值范围从0-255归一化到0-1。优点：表示颜色方便。缺点：两个相近的颜色的R,G,B值却可能差别很大，不同于日常人们对于颜色区分的理解。CMY/CMYK颜色空间模型（彩色印刷或打印）CMY与RGB互补，即用白色减去RGB颜色空间中的某一颜色值即是CMY颜色空间的值。CMYK是在CMY加入黑色。基于与RGB互补，优缺点应类似。YUV/YIQ颜色模型空间（PAL彩色电视）通常采用三管彩色摄像机或彩色CCD摄像机把得到的彩色图像，经粉色，分别放大校正得到R,G,B，在经过矩阵变换电路得到亮度信号Y和2个色差信号R-Y,B-Y,最后经发送端将两度和2个色差信号分别进行编码，用同样新到发送出去。优点：解决与黑白电视的兼容问题。YCbCr颜色空间模型（数字电视）采用一个亮度信号Y和2个色差信号Cb,Cr来表示。由YUV派生。优点：减少数据存储孔家，节省数据传输带宽，兼容黑白电视。HSI/HSV颜色空间模型（计算机）由RGB派生。从人的视觉系统出发，用H,S,I或V分别代表色调，色饱和度，亮度3中独立的颜色特征。优点：使用借助认得视觉系统来感知色彩特性的图像处理算法，各颜色特征相互独立5﹑图像数字化中采样率如何确定？数字化后数据量如何计算？二维奈奎斯特采样定理，即mmVyU2121x垂直采样间隔水平采样间隔，MBS时间量化位采样率数据量1024102486﹑视频信号数字化有哪几种方式？各有哪些优缺点？复合数字编码（淘汰）缺点：采样频率必须与彩色负载波频率保持一定的整数比例关系，不同彩色电视制式的副载波频率各不相同，难以统一；采样频率和副载波频率间的差拍造成的干扰将落入图像带宽内，影响图像的质量。分量数字编码优点：1）可以使从摄影机输出到发射机输入的所有环节都是数字信号形式，这不仅避免了复合数字编码时因反复编码所引起的质量损伤和器件浪费，而且编码几乎与电视制式无关，大大简化了国际上的节目交换。2）后期制作的实时预处理：常用的静止图像和存储（或记录）图像的慢动作回放必须用数字信号的分离分量来完成。3）对Y,B-Y,R-Y信号分别进行编码，在传输时可采用时分复用方式，不会像复合数字编码那样因频分复用带来亮度，色度见得串扰，可获得高质量图像。4）对分量信号分别进行PCM编码，亮度信号和色度信号的宽带可取得高些或低些，便于制定一套是用于各种图像质量需要的可互相兼容的编码标准。7﹑图像增强中各种灰度变换作用及适用场合？灰度的线性变换（分段线性变化）：突出感兴趣的目标（或灰度区间），相对抑制那些不感兴趣的灰度区间。场合：对比度扩展，削波，阈值化。灰度的非线性变换：1）对数变换：扩展图像的低灰度范围，压缩高灰度范围，使得图像灰度分布均匀。2）指数变换：扩展图像的高灰度范围，压缩低灰度范围，使得图像的灰度分布均匀。场合：灰度的动态范围压缩，傅里叶频谱。直方图修正：1）均衡化：通过映射是图像直方图分布均匀，增加像素灰度值的动态范围，从而达到增强图像对比度的效果。2）规定化：使原图像的直方图编程所要求的特定形状，从而有选择的增强某个灰度值范围内的对比度。8﹑灰度直方图均衡化的作用及算法实现？作用：通过对原始图像中的像素灰度作某种映射变换，使得变换后的图像灰度直方图是均匀分布的直方图，这意味着增加了像素灰度值的动态范围，从而达到增强图像对比度的效果。算法实现：1）计算原图像的归一化灰度级及其分布概率nnrpkkr)(2）根据直方图均衡化公式kjjkjjrkknnrprT00)()(s，求变换函数的各灰度级值3）将所得的变换函数的个灰度级值转化成标准的灰度级值，即按靠近原则近似得到与原图像灰度级相同的标准灰度级中。此时获得的即是均衡化后的新图像中存在的灰度级值，其对应的像素个数不为零；对于那些在变幻过程中“被丢失了的”灰度级，将其像素个数设为零。4）求新图像的个灰度级S’的像素数目。在前一步计算结果中，如果存在灰度级S’，则根据其与之相关的rrkkdxxprTs0和Sk的对应关系，确定该灰度级S’的像素数目。5）用Sk代替S’,并进而求新图像中个灰度级的分布概率nmspkks。9﹑常用图像平滑滤波器有哪些？（线性和非线性）及适用场合？领域平均法（线性），中值滤波（非线性）适用于空间域；频率域低通滤波器（理想，巴特沃兹Butterworth,高斯和梯形）适用于频率域。10﹑各种常用频率低通滤波器有哪些？各有什么特点？理想低通滤波器：随截止频率的不同，会发生不同程度的“振铃”现象，使得经滤波器后的图像更模糊。截止频率越低，滤出噪声越彻底，但高频分量损失也越严重，图像越模糊。巴特沃兹低通滤波器：高频和低频过度比较平滑，所以不会产生“振铃”现象。高斯低通滤波器：不产生“振铃”现象。同上。梯形低通滤波器：滤波后图像有一些模糊，也会产生一定“振铃”现象。11﹑常用锐化算子有哪些？如何实现？(模板按照梯度运算算子计算)梯度运算算子：1）水平垂直差分法：),()1,(),(,1,jifjifjifjifjifG2）罗伯兹梯度差分法：),1()1,(),(),1()],([jifjifjifjifjifG索贝尔算子：101202101xG，121000121yG拉普拉斯算子：111181111,01014101021HH,111181111,010141010,121242121543HHH合成；拉普拉斯模板：111191111,01015101076HH12﹑常用频率高通滤波器有哪些？各有什么特点？理想高通滤波器：由于从0到1的突变，也存在振铃现象。巴特沃兹高通滤波器：高，低频率见过度比较平滑，无振铃现象。高斯高通滤波器：无振铃现象，滤波后对于细小的物体和细线条比较清晰。梯度高通滤波器：滤波后图像有一定模糊，也有一定振铃现象。13﹑同态滤波器的作用？原理？作用：抑制低频，提高高频，达到减弱照度分量，增强反射分量总而达到使图像清晰。原理：F(x,y)g(x,y)先对待增强的图像取对数（分离频率），然后进行fourier变换，在频率与中进行合适的滤波，然后通过反傅里叶变换及指数变换得到增强的图像。14﹑各种二值形态学运算的实现及作用？以及形态学滤波器的算法实现？腐蚀：}x{AxBBA作用：缩小图像和消除图像中比结构元素小的成分。膨胀：}{BxxBA作用：扩张作用，较好填充物体内部空洞以及连接间距小雨结构元素的相邻目标区域。开运算：BBABA)(作用：断开比结构元素小的狭窄细长的连接带和平滑图像边缘。闭运算：BBABA)(作用：填充对象内细小的空洞，连接临近对象，平滑对象边缘。形态学滤波：去噪滤波器前景噪声（闭运算）背景噪声（开运算）BBBBABBABBBBABBA}]){[()(}]){[()(15﹑常用边缘检测算法及优缺点？一阶导数：1）Roberts算子：算法简单。2）Prewitt算法：算法简单，检测速度快，但对噪声敏感。3）Sobel算子：算法简单，减小对噪声的敏感性。二阶导数：1）Laplacian算子：对图像中的噪声相当敏感，常产生双像素宽的边缘，而且不能提供边缘方向的信息。2）LoG算子：滤除了图像的噪声，边缘的延展导致边缘检测器只考虑那些具有局部梯度最大值的点为边缘点。Canny算子：抑制噪声，较完整的检测出边缘，算子复杂，运算速度慢。无法消除局部噪声干扰，丢失灰度值变换缓慢的局部边缘。16﹑Huffman﹑算术编码及算法实现？（考计算上课时说过）Huffman算术编码：依据符号出现的概率大小来构造平均长度最短的码子的编码方法。LnDFTH(u,v)1)(DFTExp1）将待编码的N个信源按出现的概率由大到小进行排列，给排在最后的两个符号哥赋一个二进制码元。2）把最后的两个符号的概率相加，求出的和作为一个新符号的概率，重复1）方法，与排在前面的N-2个符号重新排序，重复步骤1）。3）重复步骤2），直到只剩下两个概率值。4）分配字码。字码的分配从最后一步开始反向进行。算术编码：利用信源概率分布特性的编码方式。1）初始化：编码器将“当前区间”[low,high）设置为[0,1）。2）对每一个信源符号，分配一个编码子区间[symbol_low,symbol_high)，其长度与信源符号出现的概率成正比。当输入符号序列时，编码器在“当前区间”内按照每个信源符号的初始编码子区间的划分，以一定的比例在细分，选择对应于当前输入符号的子区间，并使它成为新的“当前区间”[low,high)。3）重复2），最后输出的当前区间[low,high)的左端点值low就是该给定符号序列的算术编码。17﹑DPCM算法原理及其运用？这一系统是对实际像素值与其估计的差值进行量化和编码，然后在输出。图中Nx为Nt时刻的亮度采样值。预测器根据之前的采样值进行预测，得到预测值Nx。误差：NNNxxe。量化器对误差值进行量化得到'Ne，编码器对'Ne进行编码输出。接收端解码时的预测过程与发送端相同，所用预测器也相同。接收端回复输出信号'Nx和发送端输入信号Nx的误差是：''')(NNNNNNNeeexxxxx运用：帧内预测编码18﹑DCT图像编码原理？首先将输入图像分解为8×8大小的数据块，然后用正向二维DCT把每个块转变成64个DCT系数值，其中1个数值是直流(DC)系数，即8×8空域图像子块的平均值，其余的63个是交流(AC)系数，接下来对DCT系数进行量化，最后将变换得到的量化的DCT系数进行熵编码。在解码过程中，形成压缩后的图像格式，先对已编码的量子化的DCT系数进行解码，然后求逆量化并把DCT系数转化为8×8样本像块(使用二维DCT反变换)，最后将操作完成后的块组合成一个单一的图像。这样就完成了图像的解压过程。19﹑JPEG标准基本内容和框图？基本内容：1）两种基本压缩编码算法，一种是采用以DCT为基础的有失真压缩算法，一种是采用以DPCM预测编码技术为基础的无失真压缩算法；2）压缩编码与颜色空间无关；3）支持两种图像建立模式：顺序和渐进模式4）编码模式：基于DCT的顺序编码，基于DCT的渐进编码，无损编码和分级编码模式基本编码系统框图8*8块原图像数据压缩的图像数据重建图像数据压缩的图像数据20﹑JPEG2000与JPEG的异同点