搜索
课程要点：1.绪论a)多媒体信息的主要特点？决定数字视频、音频数据量的主要参数？特点:多媒体数据的海量性,集成性;多媒体通信的实时性、交互性和同步性。视频数据量参数：帧率、帧大小和像素深度。音频：采样速率、分辨率。b)影响多媒体通信的网络性能指标主要有哪些？吞吐量：是指网络传输二进制信息的速率。延时：端到端时延定义为一组数据在信源终端上准备好数据发生的时刻，到信宿端接受到这组数据的时刻之间的时间差。延时抖动：网络延时的变化，最大时延和最小时延之差来度量。出错率：误码率，包错误率、包丢失率。c)多媒体压缩标准H.261、H.262/MPEG-2、H.263、H.263+、H.263++、H.264/AVC、MPEG-1、MPEG-4。2.多媒体信息处理技术a)有损压缩和无损压缩无损编码：保留数据中完整的信息，数据压缩的理论极限是信息熵，Huffman编码，算术编码，行程编码。有损编码：在压缩过程中减少数据中的数据量，会产生失真，但压缩比高。预测编码，变换编码。b)变长编码的特点适用于事件出现概率不同的场合，用不同长度的码字进行编码，节省存储空间。c)预测编码的特点利用相邻数据的相关性用一个数据预测另一个数据，用实际值与预测值求差，对差值编码。3.视频压缩编码技术a)视频图像压缩的基本过程及特点DCT变换：有助于提高熵编码压缩效果。量化：有损变换过程，采用量化表量化，没有指定缺省的量化表，牺牲图像质量获取高压缩比。Zigzag变换：按频率渐高特点排列，使交流变换系数出现更多的0。游程编码：熵编码：b)视频编码中的帧的类型I帧：用于帧内编码P帧：用于帧间前向预测编码B帧：用于帧间双向预测编码c)帧间编码的运行估计和运动补偿运动补偿：把目标帧分成N*N的宏块，运动补偿在宏块上完成，通过运动估计找到运动矢量，运动矢量代表与目标帧最相似的前帧或者后帧的宏块的位置。运动估计：在原始块周围的一定区域内进行搜索，找到与参考帧差值最小的宏块，计算其运动矢量。d)基于对象编码的特点可以在场景中组合对象；对象可以有不同的属性；可以对目标对象单独编码；支持从低比特率到高质量的各种应用。4.多媒体信息传输的流控技术a)多媒体通信的业务类型；存储式流媒体，实时流媒体，实时交互式流媒体。b)视频业务中CBR和VBR业务的特点及其对网络的适应性？CBR：每一帧具有相同的比特数，帧与帧之间质量不同。VBR：每帧具有不同的比特数，如有需要可保证帧与帧之间质量相同。CBR和VBR编码的选择主要取决于信道特性，CBR电话网络，数字电视；VBR因特网，无线网。c)缓冲技术的特点及简单的缓冲设计？特点：优点：减少时延抖动，为重传来实现纠错提供一定的保证，通过交织技术提高容错特性，平滑流量波动。缺点：出现溢出。设计：视频编码后，可以得到一组对于解码器有效的(R,B,F)，并把它们发送给解码器。解码器根据这些参数可以决定，它是否可以解码这一比特流以及所需的回放延时为多少。R：峰值传输比特率；B：缓冲大小；F：初始解码缓冲器容量。d)速率控制的主要方法恒定速率编码；调整编码参数的速率控制；可变量化步长的速率控制；ROI编码的速率控制；分级信息丢弃的速率控制；降低分辨率的速率控制；多层编码的速率控制。e)分层伸缩编码的特点特点：在一个媒体服务中提供可选的速率应用；可用速率的非连续性；在编码时就要确定支持的速率；区别对待有效利用资源；不适用于分组网络。5.多媒体信息传输的差错控制技术a)多媒体信息传输的差错控制技术有哪些，其特点如何重传：只重传丢失的包；容易适应信道变化；但对于没有反馈信道的应用不适用。前向纠错：利用增加的冗余实现对错误的恢复，直接进行纠错，降低压缩效率，造成时延。错误掩盖：在解码器端使用，不会降低系统有效性。容错视频编码：可以实现对错误的适应，在错误存在的情况下解码降低影响。b)掩错技术的主要实现方法空间内插，时间内插，基于运动补偿的时间内插。c)容错技术主要针对哪些数据的错误，实现的方法如何数据错误：解码器不知道比特对应什么参数；失去比特流的同步。方法：加入重新同步标记；可逆变长编码；数据分割。