多媒体技术-数字视频

计算机科学与技术学院1《多媒体技术》计算机科学与技术学院2第七章数字视频视频信息的数字化视频卡MPEG标准计算机科学与技术学院37.1模拟视频和数字视频数字视频是指以数字化方式记录的连续变化的图像信息。例如VCD电影、DVD电影模拟视频模拟视频是指在时间和幅度上(空间)都是连续的信号。比如：电视机、录像机等均采用模拟视频。数字视频计算机科学与技术学院47.2视频数字化模拟视频采样方式的复杂性是空间的函数也是时间的函数隔行扫描方式计算机科学与技术学院5模拟视频数字化过程一般采用分量数字化方式1)先把复合视频信号中的亮度和色度分离，得到YUV或YIQ分量2)然后用三个模/数转换器对三个分量分别进行数字化3)最后再转换成RGB空间。计算机科学与技术学院6采样格式根据电视信号的特征，亮度信号的带宽是色度信号带宽的两倍数字化时可采用幅色采样法，即对信号的色差分量的采样率低于对亮度分量的采样率用Y：U：V来表示YUV三分量的采样比例，则数字视频的采样格式分别有4：1：1、4：2：2和4：4：4三种。分量采样时采到的是隔行样本点，要把隔行样本组合成逐行样本，然后进行样本点的量化，YUV到RGB色彩空间的转换等等，最后才能得到数字视频数据。计算机科学与技术学院7数字视频标准CCIR601标准——广播级质量的数字电视编码标准目的：在PAL、NTSC和SECAM电视制式之间确定共同的数字化参数该标准对采样频率、采样结构、色彩空间转换等都作了严格的规定。计算机科学与技术学院82、分辨率与帧率1、采样频率为fs＝13.5MHz3、不同的采样格式下的数字视频数据量：计算机科学与技术学院9在视频信息的处理及应用过程中压缩和解压缩技术十分必要。视频压缩包括对视频信息本身的压缩以及伴随在视频信息中的音频信息的压缩。目前的标准：MPEGI、MPEGII、MPEG47.3视频文件的压缩计算机科学与技术学院107.4视频卡及其分类基于PC机的一种多媒体视频信号处理平台可以汇集的信息源有：视频源音频源激光视盘机录像机摄像机……计算机科学与技术学院11视频卡工作过程：信源数字化硬件压缩存储传输解压缩计算机科学与技术学院12作用将视频信号连续转换成计算机存储的数字视频信号，保存在计算机中或显示在屏幕上。视频采集卡计算机科学与技术学院13视频信号采集模块音频信号采集模块总线接口模块将模拟视频信号转换成数字视频信号，并送到计算机中音频信息采集过程中完成对声音的预处理和模数转换。实现对视频、音频信息采集的控制，并将采样、量化后的数字信息存储到计算机内部视频采集卡计算机科学与技术学院14图形加速卡对二维或三维图形数据进行硬件加速处理计算机科学与技术学院15视频解压卡用于视频重放，可以十分快速地将压缩保存的数字视频信号解压缩并在显示器上播放出来。计算机科学与技术学院16电视卡电视转换卡将标准的电视信号(NTSC、PAL等)转换成VGA信号在计算机显示。计算机科学与技术学院17将计算机VGA信号转换成标准电视信号在电视上播放或进行录像。TV编码器计算机科学与技术学院18③即使是运动的部分，也多为简单的平移。7.5视频的压缩－－MPEG标准帧与帧之间的时间相关性：①动态图像以每秒24或25帧播放，在如此短的时间内，画面常不会有大的变化。②在画面中变化的只是运动的部分，静止的部分往往占有较大的面积。计算机科学与技术学院19动态图像压缩的基本思路用差异帧代替原来的帧，以揭示帧间的相关性，这是动态图像压缩的基本出发点。帧与帧之间存在相关性，因此可以将相邻的画面相减。例如将第1帧记作A，第2帧记作B，定义Bˊ=B-A。两帧相减是将后一帧画面B中的每一个点的像素值减去前一帧画面A中相应点的像素值，其结果称为差异帧。计算机科学与技术学院20②由于差异帧的压缩是有损的。上述方式在压缩和解压缩时将发生误差的积累，积累到一定程度，会造成很大的失真。差异帧也带来了新的问题①如果只保留第1帧，其他帧采用差异帧。那么后面的每一帧都需要从前一帧计算出来，恢复时也必须一帧帧顺序进行。这样就无法从想跳到的某一点进行播放，很不方便。一旦某一帧数据出了问题，后面的帧更无法恢复。计算机科学与技术学院21关于后两点，可以采取运动补偿的方法加以解决。通过计算两个画面中运动对象的运动矢量，跟踪画面中的运动部分进行预测，并通过画面移动去“迎合”后续帧的方式来产生差异帧的方法，叫做“运动补偿”。③图像整体运动也是动态图像经常采用的表现手法，若干次简单的相减，差异帧就不能很好地揭示相邻帧之间的相关性，也不可能得到高的压缩比。差异帧只能揭示活动图像中静止部分的相关性。对差异帧比对原来的帧更难压缩。计算机科学与技术学院22MPEG标准MotionPictureExpertsGroupMPEG-IMPEG-IIMPEG-IVMPEG-VIIMPEG-21计算机科学与技术学院23MPEG-Ｉ标准（ISO/IEC11172-Ⅱ）的目标传输速率1.5Mbps视频信号电视质量亮度信号的分辨率360×240色度信号的分辨率180×120每秒30帧计算机科学与技术学院24MPEG-Ｉ标准的内容MPEG系统（ISO/IEC11172-1）MPEG视频（ISO/IEC11172-2）MPEG音频（ISO/IEC11172-3）测试验证（ISO/IEC11172-4）MPEG涉及的问题是视频压缩、音频压缩及多种压缩数据流的复合和同步问题。计算机科学与技术学院25MPEG对视频和音频压缩的方法、压缩后数据的储存和传输的格式等方面均作了详细的规定。例如：在视频压缩方面，采用运动补偿来减少帧序列间的时间冗余信息；用离散余弦变换(DCT)技术来减少帧序列间的空间冗余信息；为解决高压缩比和随机播放的要求，还采用了预测和插补等帧间技术。计算机科学与技术学院26时间冗余量的减少为了减少时间冗余量，MPEG将1/30秒时间间隔的帧序列电视图像，以三种类型的图像格式表示：※内码帧（I）※预测帧（P）※插补帧（B）另有第四种类型帧是D帧，它是一种专用帧格式，仅仅用于实现快速查询中。计算机科学与技术学院27※I帧，又称内码帧，是完整的独立编码的图像，是不能由其他帧构造的帧，必须存储或传输。※P帧，也称为预测帧，通过对它之前的I帧进行预测，对预测误差作有条件的存储和传输。※B帧，又称为双向帧或插补帧，是根据其前后的I帧或者P帧的信息进行插值编码而获得。该过程有时也称为双向插值。计算机科学与技术学院28运动补偿运动补偿预测法运动补偿插补法画面上的运动部分在帧与帧之间必然有连续性，预测法根据这一特性，将当前的图像画面看作是前面某时刻图像的位移，位移的幅度和方向在图像画面的各处可有不同。用插补的方法进行运动的补偿，可以大幅度地压缩运动图像的信息。计算机科学与技术学院29MPEG的位流分层结构有效性是MPEG压缩算法需要对附加信息，如位移域、量化器步长、预测器或插值类型等，提供有效的管理。MPEG视频图像数据流是一个分层结构。目的是把位流中逻辑上独立的实体分开，防止语意模糊，并减轻解码过程的负担。对分层的要求是支持通用性、灵活性和有效性。通用性的含义是使MPEG标准的语法规定可满足不同的应用要求；灵活性可通过视频序列头上所定义的许多参数来说明；计算机科学与技术学院30MPEG视频位流分层结构共包括6层：图像序列层图像组层图像层宏块片层宏块层块层随机存取单元：上下文随机存取单元：视频编码基本编码单元重同步单元运动补偿单元DCT单元计算机科学与技术学院31每一个层的开始有一个头，作为说明参数。在图像序列层的头中，装有视频序列参数，如图像宽度、图像高度、像素长宽比、桢率、位率、缓冲区尺寸等。每一层支持一个确定的函数，或是一个信号处理函数（DCT，运动补偿），或是一个逻辑函数（同步，随机存取点）等。计算机科学与技术学院32计算机科学与技术学院33MPEG-II系统支持的基本功能：解码时多压缩流的同步；将多个压缩流交织成单个的数据流；解码时缓冲器初始化；缓冲区管理和时间识别。MPEG-II标准包括MPEG系统、MPEG视频、MPEG音频和一致性四大部分内容。MPEG-II标准的系统功能是将一个或更多的音频、视频或其他的基本数据流合成单个或多个数据流，以适应于存储和传送。计算机科学与技术学院34MPEG-Ⅱ视频视频分量的位速率范围大约为2到15Mbps与MPEG-Ⅰ视频体系向下兼容力求满足数字存储媒体、可视电话、数字电视、高清晰度电视（HDTV）、通信网络等领域的应用。分辨率低（352×288）中（720×480）次高（1440×1080）高（1920×1080）计算机科学与技术学院35高速压缩基于内容交互基于内容分级扩展具有基于内容方式表示的视频数据MPEG-IV标准MPEG-Ⅳ是以内容为中心的描述方法，对信息元的描述更加符合人的心理，不仅可以获得比现有标准更为优越的性能，还提供了各种新的功能。特点计算机科学与技术学院36③复合。将各个VO的码流复合成一个符合MPEG-4标准的位流。基于内容的视频编码过程①VO的形成。先从原始视频流中分割出VO。②编码。对各VO分别独立编码，即对不同VO的运动信息、形状信息和纹理信息这三类信息分别编码，分配不同的码字。在编码和复合阶段可以加入用户的交互控制或由智能化算法进行控制。计算机科学与技术学院377.6视频文件格式一种MPEG多媒体格式用于压缩和储存音频和视频分辨率为352x240象素帧速率为每秒25帧(PAL)可提供与录像带同等质量的视频。MPEG1计算机科学与技术学院38MPEG2一种MPEG多媒体格式用于压缩、储存音频及视频供广播质量的应用程序使用定义了支持添加封闭式字幕和各种语言通道功能的协议。计算机科学与技术学院39AVIAudio/VideoInterleave（音频/视频交错）,在AVI文件中，运动图像和伴音数据是以交织的方式存储，并独立于硬件设备。读取视频数据流时能更有效地从存储媒介得到连续的信息。一种用于Windows系统的Microsoft多媒体视频格式。计算机科学与技术学院40AVI格式主要参数视频参数视窗尺寸(Videosize)帧率(Framespersecond)音频参数WAV文件参数视频与伴音的交织参数同步控制（Synchronization）压缩参数计算机科学与技术学院41AVI格式的特点提供无硬件视频回放功能实现同步控制和实时播放可以高效地播放存储在硬盘和光盘上的AVI文件提供了开放的AVI数字视频文件结构：AVI文件可以再编辑计算机科学与技术学院42AVI的压缩算法没有统一标准Microsoft公司推出AVI文件格式时，同时推出了一种压缩算法由于AVI的开放性，其它公司的压缩算法也可加入其中。实现方法把该算法的驱动加入到Windows系统中计算机科学与技术学院43计算机科学与技术学院44DIVX—MPEG4使用MPEG4压缩算法可以实现高压缩比。文件扩展名——AVI计算机科学与技术学院45对计算机配置的要求CPU主频300MHz以上64兆的内存8兆显存的显卡播放软件WindowsMediaPlayerMPEG4编码器DIVX5.0.5IDVX字幕支持软件VobSub计算机科学与技术学院46MOVMoviedigitalvideotechnologyApple公司推出的一种视频格式相应的视频应用软件为QuickTime。可以采用不压缩或压缩的方式压缩算法包括Cinepak、IntelIndeoVideoR3.2和Video编码。计算机科学与技术学院47RealVideoRealNetworks公司流媒体(StreamingVideo)文件格式文件扩展名RA、RAM、RMVBRealNetworks编码RealProducerRealProducerPlus/Pro增强功能，需付费购买基本功能，可免费下载在用56KM