计算机网络9 多媒体通信

9.1多媒体基础9.2多媒体数据压缩9.3多媒体通信9.4小结2020/2/81多媒体的定义多媒体的特征2020/2/82多媒体指信息表示媒体的多样性,常见的多媒体有文字、图形、图像、声音、音乐、视频、动画等多种形式多媒体技术是利用计算机技术把多种信息进行综合处理,使之建立逻辑连接,集成为一个完整的系统2020/2/83多样性集成性交互性实时性2020/2/84信息论基础无损数据压缩视频压缩2020/2/852020/2/86事件的信息由事件的不确定性的某种程度来度量.若事件本身为确定事件,则该事件所含的信息量为零确定性小的事件比确定性大的事件应该含有更大的信息量.事件的不确定性越高,事件所含有的信息量就越多如果两个事件集同时存在,且两个事件集互相独立,它们提供的联合信息等于两个独立事件的信息总合2020/2/871948年,Shannon发表了《通信的数学理论》,第一次用概率对信息作了定量的描述和分析事件的概率是事件不确定性的自然度量,彼此独立的两个事件和,其联合概率满足,以事件概率为基础的信息函数熵是信息量的度量方法,它表示某一事件发生的可能性就越小,信息量就越大)1)(0)((pp)()()(ppp)(log)(pI2信息函数的定义显然满足信息的公理性质:2020/2/88)()()()(log)(log),()()()()(0)(1)(222121IIpppIIIppIp对于离散无记忆信源信源符号发生的概率为,则信源A的信息熵:熵的单位为bit/字符其中表示包含在中的信息量,也即是编码所需要的位数.如一幅256级灰度的图像,如果每一个像素点灰度的概率为1/256,编码每一个像素点就需要位2020/2/89ZmAm},,...,,{21i)(ipmiiiimiippIpAH121)(log)()()()()(Iii825612log)(iI2020/2/810霍夫曼(Huffman)编码根据字符出现的频率决定其对应的比特数行程(Run-Length)编码分析比特串,寻找连续的0或1相对编码(RelativeEncoding)考虑一个帧与前一个相邻帧的差异2020/2/811符号频率A25%B15%C10%D20%E30%E(0.30)A(0.25)D(0.20)B(0.15)C(0.10)010.250.550.45P1P2P3P4霍夫曼树001110符号编码A01B110C111D10E00字符的霍夫曼编码字符出现的频率2020/2/812每个符号的编码长度只能为整数,无法达到熵极限输入符号受限于可实现的码表尺寸译码复杂需要事先知道输入符号集的概率分布没有错误保护功能2020/2/813使用一种简单而显而易见的方法分析比特串,寻找连续的0或1.它不发送所有的比特,而只发送有多少个连续的0或1假定一幅灰度图像,第n行的像素值为00000000111888…88811110000000050个8用RLE编码方法得到的代码为:80315084180压缩比为73:11=7:12020/2/814576286635665765632378468564885513986557655299689515762866356658656333784685648855139765586552996895157628663566575563247846856488551298655665529968951000000000000010000-100000000000001000001000000000000000000000001000010000000000000000-1000100000000000第一帧第三帧第二帧被传送的帧是第一、第二帧的差值编码被传送的帧是第二、第三帧的差值编码2020/2/815CompressionisneededtosendvideoovertheInternet视频数据的压缩时为了解决:节省磁盘存储空间节省网络传输带宽分辨率640*480的彩色图像,一秒钟的数据量为:640*480*24*30=221.12M播放时,需要221Mbps的通信带宽存储时,1张CD可存640M,则仅可存2.89秒的数据2020/2/816数据冗余–客观空间冗余时间冗余视觉冗余–主观如果忽略一些视觉不太明显的微小差异,可以进行所谓的”有损”压缩JPEG(联合图像专家组)是ISO、ITU和IEC共同合作的结果.其压缩标准,即著名的JPEG压缩算法(JPEGCompression),用于压缩灰度图像和照相级别的彩色图像JPEG与以往的压缩技术有一个重要的区别以前的方法属于无损压缩(LosslessCompression).即,解压缩算法能够恢复嵌在压缩代码中的所有信息JPEG是有损耗的(Lossy):解压缩后获得的图像可能与原始图像不同2020/2/8172020/2/8182020/2/819JPEG把一幅图像划分成一系列的方块,每个方块包含8*8个像素如果图像只包含灰度,那么每个像素用一个8比特的数字表示.因此可以把每个方块表示成一个8行8列的二维数组.数组的元素是0~255的8比特整数如果图像是彩色的,那么每个像素可以用24比特、相当于3个8位比特的组合来表示.因此,可以用3个8行8列的二维数组表示这个8*8的像素方块DCT是一个用一个8行8列的二维数组产生另一个同样包含8行8列二维数组的函数2020/2/820若P表示像素值的数组,则离散余弦变换定义一个新的数组T其逆变换其中T[0,0]的值称为DC系数(DCCoefficient),它与数组P的平均值相关.T的其他值称为AC系数(ACCoefficient),i和j的值越大,像素值乘上的余弦函数周率越大))(cos())(cos(),()()(),(16121612417070jyixyxPjCiCjiTxy70701612161241ijjyixjTjCiCyxP))(cos())(cos()(,)()(),(其它,,,)(),(1021jijCiC2020/2/821AC系数本质上是像素变化的一种尺度.因此,精细的图像要比色彩变化很少的图像难压缩假设所有P的值都是一样的,即一幅只包含一种颜色没有任何变化的图像,则AC系数全部为0如果像素值作为其位置的函数变化越快,越不均匀,则AC系数对应越大的数值2020/2/822图像变化较小203040506070809030405060708090100405060708090100110506070809010011012060708090100110120130708090100110120130140809010011012013014015090100110120130140150160720-1820-190-60-1-182000000000000000-19000000000000000-6000000000000000-10000000P数组T数组DCT图像变化较大10015050100100150200120200101102020012030120102001303020020150501001090190120200101001020020012090190202001501202020015070101002003015010101201901012012050100101901012083515-17595-5669-3846-60-361114-60-71110-32-9130105-3781-172459-327-123028-27-4850-71-24-56-40-3667-189-23-18454-66152-6135213-37-5315-80-185-6232-1452-93-210-48-7680DCT2020/2/823量化提供了一种忽略一幅图像中不易察觉的细小差别的方法.它通过将每个T值除以某个数然后取最近的整数来定义另一个二维数组(称之为Q)量化的结果会丢失部分信息而不完全可逆1520-480-80-7000000000-480380-302000000000-80-30130-1000000000-7020-107000000000150-50-10-1000000000-5040000000000000-1000100000000000-1000001000000000每个元素除以10取整T数组Q数组2020/2/824事实上,将T值除以同一个常数并不实用,而且经常会导致过多的丢失真正想做的是尽可能多地保留数组中左上位置的信息,因为它们表示低的空间频率；右下位置的值对应精细的部分,它们的改变不会引起太多的注意因此,通常的方法是定义一个称为U的量化数组,其左上部分的值较小,而右下部分的值较大.然后我们对Q如下定义Round是一个取最近整数的函数7,...1,0,7,...,1,0)),,(/),((),(jijiUjiTroundjiQ2020/2/8251520-480-80-7000000000-480380-302000000000-80-30130-1000000000-7020-1070000000001520-100-10-1000000000-10040000000000000-1000100000000000-1000000000000000T数组Q数组13579111315357911131517579111315171979111315171921911131517192123111315171921232513151719212325271517192123252729U数组2020/2/8262020/2/8272020/2/828MPEG(移动图像专家组)和JPEG一样,它是ISO、IEC和ITU共同合作的结果MPEG-1被设计用于CD-ROM上的视频和早期的直接广播卫星系统MPEG-2用于要求更高的应用,比如多媒体娱乐和HDTVMPEG-4标准1999发布,用于低带宽信道的视频会议MPEG-3原本是打算用于高清晰电视(HDTV),但HDTV后来被加入MPEG-2标准2020/2/8292020/2/830由于视频实际上是一系列的静止图像,所以设想MPEG使用JPEG或者它的一种变形对每幅图像进行压缩似乎是合乎情理的但对于绝大多数应用来说,仅仅用JPEG压缩每幅静止图像并不能提供充分的压缩:传输量太大了,特别是别人也要访问视频、必须共享信道的时候使MPEG切实可行的是连续帧中的额外冗余(时间冗余,TemporalRedundancy)无论视频上看到如何激烈的动作,两幅连续帧之间的差别总是很小的这种技术发送一个基本帧,然后比较后续帧的区别进行编码,压缩后加以传送.接收端能够根据第一个基本帧和接收到的差值重建所有的帧2020/2/831MPEG标识了三种不同类型的帧I帧(IntrapictureFrame):自包含的帧,一幅JPEG编码的图像P帧(PredicatedFrame):通过计算当前帧与前一个帧的差别来进行编码B帧(BidirectionalFrame):类似于P帧,但它被插入在前一个帧和后续帧之间两个问题不同的帧类型出现在一个帧序列中是怎样的形式怎样从其他帧重建P帧和B帧?2020/2/83221BI43PB65BB7PI帧周期出现的目的:保证用户可以随时加入多播；消除错误的传播.它被插入在前后两个帧的匹配块之间插入(Interpolation)是一种根据已有的两个值测定另一个值的方法2020/2/833ttctftpYpYcYfP:pastC:currentF