2016多媒体复习

整理文档很辛苦,赏杯茶钱您下走!

免费阅读已结束,点击下载阅读编辑剩下 ...

阅读已结束,您可以下载文档离线阅读编辑

资源描述

1.为什么进行数据压缩,理论依据是什么?简单说明声音信号能够进行压缩编码的原因?多媒体信息数据量巨大,要实现远距离传送,需要占用很宽的带宽,以一幅彩色静态图像(RGB)为例,一幅彩色静态图像的数据量为:512*512*3*8bit以PAL制25帧/秒为例,视频每秒钟的数据量:512*512*3*8*25=180MbpsISA总线150KB/s-150*8=1.2Mbps差不多要压缩近200倍.压缩可以缩小文件内存,这样可以方便传递.压缩编码的理论基础是——信息论(1)声音信号与模拟的电信号之间可以相互转换:过麦克风(MIC)使声音信号变成电信号;通过扬声器使电信号还原成声音信号;(2)自然音源而得的音频信号经过一定的变化和处理,变成二进制数据后能送到计算机进行编辑和存贮。(3)声音含有丰富的频率分量,而人的耳朵只能感知20Hz~20000Hz信号,而且对某些频率分量不敏感,存在信息冗余;其次人类可以感知的声音信号是带限信号,有采样定理可知,满足一定条件则可以将数字信号还原成模拟信号,再次被感知。2.预测编码的基本思想是什么?并简要描述线性预测编码(LPC)的过程。(有)利用空间中相邻数据的相关性来预测未来点的数据。差分脉冲编码调制和自适应差分脉冲编码调制。建立一个数学模型利用以往的样本数据对新样本值进行预测将预测值与实际值相减对其差值进行编码,这时差值很少,可以减少编码码位。3.结合人耳的听觉特性,简述语音子带编码的原理及实现方法。1.子带编码首先将输入信号分割成几个不同的频带分量,然后再分别进行编码,这类编码方式称为频域编码。2.把语音信号分成若干子带进行编码主要有两个优点:(1).如果对不同的子带合理分配比特数,可以控制各子带的量化电平数目,以及相应的重建信号的量化误差方差值,以获得更好的主观听音质量。(2).各子带的量化噪声相互独立,被束缚在自己的子带内,不影响其它子带的量化噪声。实现方法:•输入的话音信号被分成好几个频带(即子带);•变换到每个子带中的话音信号都进行独立编码,例如使用ADPCM编码器编码;•在接收端,每个子带中的信号单独解码之后重新组合,然后产生重构话音信号。4、结合发声模型,简述声码器(vocoder)工作原理及实现方法。人讲话时,气流经过喉头形成声源信号,然后激励由口、鼻腔构成的声道,产生话音信号。声码器发信端的分析器首先对话音信号进行分析,提取主要话音参数:①声源特性,如声带“振动-不振动”(浊-清音)、声带振动时的基本频率(基频□□);②声道传输声源信号的特性。这些话音参数变化很慢,它们所占的总频带比话音本身的频带窄得多,因而对这些参数采样编码时总数码率只有几千甚至几百比特/秒,只有直接由话音信号采样编码的数码率的十几分之一,可以通过一个普通电话信道来传输。收信端的合成器利用这些参数来合成话音。4.量化误差所造成图像质量下降的主要原因有斜率过载、颗粒噪声、边缘忙乱和伪轮廓,简单描述其出现的基本原因?斜率过载发生在图像灰度急剧变化的边界,正是由于此处灰度变化太大,即使使用最大的量化值,仍无法反映期间的变化,因此使图像轮廓变得模糊。颗粒噪声出现在图像灰度变化很小的区域,这时最小的量化间隔仍不足以反映其缓慢的变化过程,因此可能会在两个最小量化电平之间出现来回振荡的局面,造成解码后所恢复的图像中其灰度平坦区域出现颗粒状的细斑。边缘忙乱是指在变化不太快的边缘出现闪烁不定的现象。这是由于原始图像中存在噪声,它造成不同图像帧之间在同一像素位置产生的量化噪声不同,从而引起缓慢变化的边缘出现这种不确定的现象。伪轮廓发生在图像亮度缓慢变化的区域,此时预测误差较小,但实际系统中所采用量化间隔过大,则会在图像亮度缓慢增加或减小的区域,出现这种伪轮廓的现象。6.简述图像预测编码的原理,并针对图像信息中存在的时间冗余和空间冗余信息,描述对应的实现方法。预测编码是根据某一模型利用过去的样值对当前样值进行预测,然后将当前样值的实际值与预测值相减得到一个误差值,只对这一预测误差值进行编码。(原理)7、理想的运动补偿预测的步骤是什么?运动估值与运动补偿如何减少视频数据冗余?8、DCT的累进操作方式编码,基于DCT的分层操作方式编码1.对DCT系数进行多次扫描,分批编码。图像通过累进由粗至细。●频谱选择法:按频带分批编码。一次扫描,只对64个DCT系数中某些频带的系数进行编码,传递,在随后的扫描中,对其他频带的系数编码、传递,直到全部系数处理完毕为止。●按位逼近法:按位分段编码。沿着DCT量化系数有效位方向分段累进编码。第一次扫描只取最高有效位的n位编码、传递,然后对其余位进行编码、传递。2.(1)将原图像分辨率降低;(2)按对降低分辨率的图像进行编码;(3)对低分辨率的编码图像解码插值重建,升高分辨率;(4)将分辨率升高的图像作为原图像的预测值,取其差值进行编码;(5)重复(3)(4),直到达到完整的分辨率。适于用低分辨率设备处理高分辨率图像。9、简述JPEG压缩原理分块->颜色空间转换->零偏置转换->DCT变换->量化->符号编码JPEG压缩分四个步骤实现:一、颜色模式转换及采样:RGB色彩系统是我们最常用的表示颜色的方式。JPEG采用的是YCbCr色彩系统。想要用JPEG基本压缩法处理全彩色图像,得先把RGB颜色模式图像数据,转换为YCbCr颜色模式的数据。Y代表亮度,Cb和Cr则代表色度、饱和度。通过下列计算公式可完成数据转换。Y=0.2990R+0.5870G+0.1140BCb=-0.1687R-0.3313G+0.5000B+128Cr=0.5000R-0.4187G-0.0813B+128人类的眼晴对低频的数据比对高频的数据具有更高的敏感度,事实上,人类的眼睛对亮度的改变也比对色彩的改变要敏感得多,也就是说Y成份的数据是比较重要的。既然Cb成份和Cr成份的数据比较相对不重要,就可以只取部分数据来处理。以增加压缩的比例。JPEG通常有两种采样方式:YUV411和YUV422,它们所代表的意义是Y、Cb和Cr三个成份的数据取样比例。二、DCT变换:DCT变换的全称是离散余弦变换(DiscreteCosineTransform),是指将一组光强数据转换成频率数据,以便得知强度变化的情形。若对高频的数据做些修饰,再转回原来形式的数据时,显然与原始数据有些差异,但是人类的眼睛却是不容易辨认出来。压缩时,将原始图像数据分成8*8数据单元矩阵。JPEG将整个亮度矩阵与色度Cb矩阵,饱和度Cr矩阵,视为一个基本单元称作MCU。每个MCU所包含的矩阵数量不得超过10个。例如,行和列采样的比例皆为4:2:2,则每个MCU将包含四个亮度矩阵,一个色度矩阵及一个饱和度矩阵。当图像数据分成一个8*8矩阵后,还必须将每个数值减去128,然后一一代入DCT变换公式中,即可达到DCT变换的目的。图像数据值必须减去128,是因为DCT变换公式所接受的数字范围是在-128到+127之间。三、量化:图像数据转换为频率系数后,还得接受一项量化程序,才能进入编码阶段。量化阶段需要两个8*8矩阵数据,一个是专门处理亮度的频率系数,另一个则是针对色度的频率系数,将频率系数除以量化矩阵的值,取得与商数最近的整数,即完成量化。当频率系数经过量化后,将频率系数由浮点数转变为整数,这才便于执行最后的编码。不过,经过量化阶段后,所有数据只保留整数近似值,也就再度损失了一些数据内容。四、编码:1、编码Huffman编码无专利权问题,成为JPEG最常用的编码方式,Huffman编码通常是以完整的MCU来进行的。编码时,每个矩阵数据的DC值与63个AC值,将分别使用不同的Huffman编码表,而亮度与色度也需要不同的Huffman编码表,所以一共需要四个编码表,才能顺利地完成JPEG编码工作。DC编码DC是彩采用差值脉冲编码调制的差值编码法,也就是在同一个图像分量中取得每个DC值与前一个DC值的差值来编码。DC采用差值脉冲编码的主要原因是由于在连续色调的图像中,其差值多半比原值小,对差值进行编码所需的位数,会比对原值进行编码所需的位数少许多。例如差值为5,它的二进制表示值为101,如果差值为-5,则先改为正整数5,再将其二进制转换成1的补数即可。所谓1的补数,就是将每个Bit若值为0,便改成1;Bit为1,则变成0。差值5应保留的位数为3,下表即列出差值所应保留的Bit数与差值内容的对照。在差值前端另外加入一些差值的霍夫曼码值,例如亮度差值为5(101)的位数为3,则霍夫曼码值应该是100,两者连接在一起即为100101。下列两份表格分别是亮度和色度DC差值的编码表。根据这两份表格内容,即可为DC差值加上霍夫曼码值,完成DC的编码工作;2、AC编码方式与DC略有不同,在AC编码之前,首先得将63个AC值按Zig-zag排序,即按照下图箭头所指示的顺序串联起来。63个AC值排列好的,将AC系数转换成中间符号,中间符号表示为RRRR/SSSS,RRRR是指第非零的AC之前,其值为0的AC个数,SSSS是指AC值所需的位数,AC系数的范围与SSSS的对应关系与DC差值Bits数与差值内容对照表相似。如果连续为0的AC个数大于15,则用15/0来表示连续的16个0,15/0称为ZRL(ZeroRumLength),而(0/0)称为EOB(EnelofBlock)用来表示其后所剩余的AC系数皆等于0,以中间符号值作为索引值,从相应的AC编码表中找出适当的霍夫曼码值,再与AC值相连即可。例如某一组亮度的中间符为5/3,AC值为4,首先以5/3为索引值,从亮度AC的Huffman编码表中找到1111111110011110霍夫曼码值,于是加上原来100(4)即是用来取[5,4]的Huffman编码1111111110011110100,[5,4]表示AC值为4的前面有5个零。由于亮度AC,色度AC霍夫曼编码表比较长,在此省略去,有兴趣者可参阅相关书籍。实现上述四个步骤,即完成一幅图像的JPEG压缩。10、简述变化编码和预测编码的区别,以图像DCT变换为例,描述变化编码的工作原理。11、简述通信网上的三大交换技术原理,并描述分组交换对多媒体业务的影响。1、电路交换历史悠久,在PSTN上广泛采用;基本特点:为通话双方固定分配一条具有固定带宽的通信电路,可以保证为用户提供足够的带宽,保证QOS(低时延、低失真等);带宽利用率低,在数据通信中优为严重;基于电路交换的通信网称为电路交换网SCN(SwitchCircuitNetwork);2、分组交换(1)产生背景数据通信的要求;具有很强的突发性;突发性的定量为峰值比特率与平均比特率之比;(一般为20~50);数据的准确性要求高,延时要求不高;产生了分组交换的基本思想不固定独占电路根据用户和网络的情况,动态分配带宽;将数据按选定的路径逐个接点前传,数据在个接点可以暂存;根据用户和网络的情况,动态分配带宽;将数据按选定的路径逐个接点前传,数据在个接点可以暂存;(2)分组交换技术的要素采用长度受限、结构统一的分组作为数据传输的基本单位,包括一些用于检错、排队和选路的信息和数据;采用存储转发机制。这是分组交换与电路交换的最大不同;(3)分组交换的发展早期的计算机网络,是分组交换技术的最早应用;最著名的分组网标准是X.25;(4)分组交换应用于多媒体通信不是那么简单存储转发机制带来的通信延时,这对于实时性较高的多媒体通信是必须克服的问题;由于网络的负荷的变化和传输路由的不同,不同的数据分组会产生不同的延时,称为时延抖动。时延过大时,会使一些分组数据丢失;3、报文交换源于电报通信,最早提出了存储转发的概念;其传输单元为整个报文,由于报文的差异比较大,长报文可能导致很大的延时,且缓冲区分配困难,因此应用范围较小;12、网络的时延和时延抖动对多媒体业务有什么影响?如何应对?答:延时的影响:延时直接会影响到用户的满意度时应用要求延时保持在某个特定的限度之内,否则会影响业务质量;通信过程中的各个过程都可能会引入延时,主要的延时源包括:Source-

1 / 9
下载文档,编辑使用

©2015-2020 m.777doc.com 三七文档.

备案号:鲁ICP备2024069028号-1 客服联系 QQ:2149211541

×
保存成功