第五章--数字视频处理技术

第五章数字视频处理技术任课老师：厉青本章重点：视频概述视频的获取利用Premiere进行视频创作视频效果与输出视频处理综合实例视频应用图像与视频信号处理无所不在视频应用基于内容的图像检索基于内容的图像检索基于形状检索基于颜色检索基于骨架检索视频检索视频跟踪视频跟踪应用人机交互视频驱动的表情动画视频跟踪应用自动行驶车辆夜间车辆跟踪目标的检测与识别视觉处理系统应用图像与视频拼接普通相机视场：50×350人眼视场：200×1350全景拼接（PanoramicMosaic）：360×1800图像与视频拼接一维旋转情况二维旋转情况图像与视频拼接配准拼接存在相机抖动的拼接运动视频分析系统运动视频分析系统运动视频分析系统图像与视频安全视频卡的种类及其功能视频卡主要以视频芯片为核心，提供视频加速、播放和捕捉等功能。视频卡的种类繁多，没有统一的分类标准。按其功能可分为以下几类：1.视频转换卡视频转换卡可以将视频图像(NTSC制、PAL制、SECAM制)的模拟信号经过A/D(模/数)转换成数字化的混合视频信号，然后依次经过解码、颜色空间变换形成RGB数字信号，RGB数字信号经过视频转换卡的一系列操作处理后，将保存在计算机硬盘中，或被显示在VGA显示器上。电视卡是一种特殊的视频转换卡，它是能够接收全频道、全制式彩色电视节目的视频信号的转换卡。因此，在多媒体计算机上插入电视卡，便可以将一台普通的计算机变为一台彩色电视机。视频卡的种类及其功能2.视频采集卡视频采集卡的主要功能是从活动的视频图像中实时或非实时地捕捉静态的或短时间动态图像，并能将其存储于硬盘中，以便进行后期编辑。但要注意，该类视频卡只能用于捕捉外界的图像，而不能对图像进行处理。它可以实现将摄像机、录像机中的模拟视频信号采集到计算机内，也可以通过摄像机将现场的图像实时输入计算机。3.视频压缩卡视频压缩卡的主要功能是将静止和动态的图像按照国际压缩(JPEG/MPEG)标准进行压缩和还原。视频卡的种类及其功能4.动态视频捕捉/播放卡该类卡的主要功能是实现动态视频、声音的同时捕获，并对其进行压缩、存储和播放等，它是一种功能比较全面的视频卡。此外，还有MPEG影音解压卡、视窗动态视频卡、模拟视频叠加卡和视频输出图形卡等。5.1视频概述视频（Video）是由一幅幅内容连续的图像组成，当连续的图像按照一定的速度快速播放时，由于人眼的视觉暂留现象，就会产生连续的动态画面效果，也就是所谓的视频。按照处理方式的不同，视频分为模拟视频和数字视频。视频的定义人类接受的信息70%来自视觉,其中活动图像是信息量最丰富、直观、生动、具体的一种承载信息的媒体。视频（Video）就其本质而言，实际上就是其内容随时间变化的一组动态图像(25或30帧/秒)，所以视频又叫作运动图像或活动图像。从数学角度描述，视频指随时间变化的图像，或称为时变图像。时变图像是一种时-空（颜色）密度模式（spatial-temporalintensitypattern），可以表示为s(x,y,t)，其中(x,y)是空间变量，t是时间变量。5.1视频基础知识视频信号特点：内容随时间而变化伴随有与画面动作同步的声音(伴音)5.1视频基础知识图像与视频区别：状态不同静止的图片称为图像（Image）运动的图像称为视频（Video）信源方式不同图像的输入要靠扫描仪、数字照相机等设备视频的输入只能是电视接收机、摄象机、录象机、影碟机以及可以输出连续图像信号的设备。5.1视频基础知识视频的分类按照处理方式为：模拟视频和数字视频5.1视频基础知识模拟视频（AnalogVideo）模拟视频是一种用于传输图像和声音的并且随时间连续变化的电信号。早期视频的记录、存储和传输都是采用模拟方式，例如：我们在电视上所见到的视频图像是以一种模拟电信号的形式来记录的，并依靠模拟调幅的手段在空间传播，再用盒式磁带录像机将其作为模拟信号存放在磁带上。5.1视频基础知识传统的模拟信号处理设备直接广播卫星（DBS））模拟视频具有以下特点：以模拟电信号的形式来记录依靠模拟调幅的手段在空间传播使用盒式磁带录象机将视频作为模拟信号存放在磁带上传统上，视频都以模拟方式进行存贮和传送，然而模拟视频不适合网络传输，在传输效率方面先天不足，而且图像随时间和频道的衰减较大，不便于分类、检索和编辑。5.1视频基础知识数字视频（DigitalVideo-DV）要使计算机能够对视频进行处理，必须把视频源--即来自与电视机、模拟摄像机、录像机、影碟机等设备的模拟视频信号，转换成计算机要求的数字视频形式并存放在磁盘上，这个过程称为视频的数字化过程（采样、量化和编码）。5.1视频基础知识数字视频简介数字视频克服模拟视频了的局限性，这是因为数字视频可以大大降低视频的传输和存贮费用、增加交互性（数字视频可通过光纤等介质高速随机读取）及带来精确再现真实情景的稳定图像。如今，数字视频的应用已经非常广泛，并带来一个全新的应用局面。首先，包括直接广播卫星（DBS）、有线电视、数字电视在内的各种通信应用均需要采用数字视频。其次，近年出现的一些消费产品，如VCD和DVD，数字式便携摄像机，都是以MPEG视频压缩为基础的。5.1视频基础知识数字化视频的主要优点适合于网络应用再现性好便于计算机编辑处理5.1视频基础知识数字化视频的主要优点适合于网络应用在网络环境中，视频信息可以很方便地实现资源的共享，通过网络线、光纤，数字信号可以很方便地从资源中心传到办公室和家中。视频数字信号可以长距离传输而不会产生任何不良影响，而模拟信号在传输过程中会有信号损失。5.1视频基础知识数字化视频的主要优点再现性好模拟信号由于是连续变化的，所以不管复制时采用的精确度多高，失真总是不可避免的，经过多次复制以后，误差就很大。数字视频可以不失真地进行无限次拷贝，其抗干扰能力是模拟图像无法比拟的。它不会因存储、传输和复制而产生图像质量的退化，从而能够准确地再现图像。5.1视频基础知识数字化视频的主要优点便于计算机编辑处理模拟信号只能简单调整亮度、对比度和颜色等，极大地限制了处理手段和应用范围。而数字视频信号可以传送到计算机内进行存储、处理，很容易进行创造性地编辑与合成，并进行动态交互。数字视频的缺陷是处理速度慢，所需的数据存储空间大，从而使数字图像的处理成本增高。通过对数字视频的压缩，这样可以节省大量的存储空间，光盘技术的应用也使得大量视频信息的存储成为可能。5.1视频基础知识视频的应用领域广播电视通信个人娱乐5.1视频基础知识视频的应用领域广播电视地面、卫星电视广播有线电视（CATV:CommunityAntennaTV）数字视频广播(DigitalVideoBroadcast）交互式电视（ITV:InteractiveTV）高清晰度电视（HDTV）5.1视频基础知识视频的应用领域通信可视电话（Videophone）视频会议（Videoconferencing）视频点播（VOD:VideoOnDemand）视频数据库5.1视频基础知识视频的应用领域个人娱乐录象节目VCD（VideoCompactDisk）DVD（DigitalVersatileDisk）电视购物家庭摄象视频游戏5.1视频基础知识5.1.1视频的特点（1）数字视频比较精确，且不容易受到干扰，可以不失真的进行无数次复制，而模拟视频信号每转录一次，就会有一次差积累，产生信号失真（2）数字视频更便于长时间的存放。（3）可以运用多种的编辑工具（对数字视频进行编辑加工。（4）由于数字信号可以采用一定的算法进行压缩，使更多的信息能够在带宽一定的频道内传输。5.1.2视频的格式视频文件可以分为两大类：一类是影音文件，即本地视频，例如常见的VCD；另一类是流式视频文件,即网络视频格式，它是随着Internet的发展而诞生的后起之秀。1.本地视频格式（1）AVI格式。Audio/VideoInterleave（音频/视频隔行扫描）的缩写，是将语音和影像同步组合在一起的文件格式。图像质量好，可以跨多个平台使用。它于1992年被Microsoft公司推出，随Windows3.1一起被人们所认识和熟知。所谓“音频视频交错”，就是可以将视频和音频交织在一起进行同步播放。这种视频格式的优点是图像质量好，可以跨多个平台使用，但是其缺点是体积过于庞大，而且更加糟糕的是压缩标准不统一，因此经常会遇到高版本Windows媒体播放器播放不了采用早期编码编辑的AVI格式视频，而低版本Windows媒体播放器又播放不了采用最新编码编辑的AVI格式视频。其实解决的方法也非常简单，我们将在后面的视频转换、视频修复部分中给出解决的方案。（2）MPEG格式。MPEG的英文全称是MovingPicturesExpertsGroup，运动图像专家组格式。家里常看的VCD、SVCD、DVD就是这种格式。MPEG文件格式是运动图像压缩算法的国际标准，它采用了有损压缩方法从而减少运动图像中的冗余信息。MPEG的压缩方法说的更加深入一点就是保留相邻两幅画面绝大多数相同的部分，而把后续图像中和前面图像有冗余的部分去除，从而达到压缩的目的。目前MPEG格式有三个压缩标准，分别是MPEG-1、MPEG-2、和MPEG-4，另外，MPEG-7与MPEG-21仍处在研发阶段。表5-1三种MPEG视频压缩格式的比较类型MPEG-1MPEG-2（DVD）MPEG-4画面尺寸PAL：352×288NTSC：320×240PAL：720×576NTSC：720×480可调带宽1～1.5Mbps4～8Mbps可调应用VCDDVD网络视频常见后缀MPGMPGDivX（.AVI）WMVASFRMVBMOV目标CD-ROM上的交互视频数字电视交互式、多媒体、低码率视频时间1992年1994年1998年压缩情况一部120分钟长的电影压缩为1.2GB左右的大小一部120分钟长的电影压缩为4-8GB的大小保存接近于DVD画质的小体积视频文件（3）DivX格式。DivX是由MPEG-4衍生出的另一种视频编码（压缩）标准，也即我们通常所说的DVDrip格式，它采用了MPEG4的压缩算法同时又综合了MPEG-4与MP3各方面的技术，说白了就是使用DivX压缩技术对DVD盘片的视频图像进行高质量压缩，同时用MP3或AC3对音频进行压缩，然后再将视频与音频合成并加上相应的外挂字幕文件而形成的视频格式。其画质直逼DVD并且体积只有DVD的数分之一。（4）DAT格式。DAT格式的文件普遍存在于VCD光盘面中。DAT文件实际上是在MPEG文件头部加上了一些运行参数形成的变体，但大多数视频编辑软件都不直接支持DAT格式，一般需要用DAT2MPG软件来转换。.DV-AVI格式DV的英文全称是DigitalVideoFormat，是由索尼、松下、JVC等多家厂商联合提出的一种家用数字视频格式。目前非常流行的数码摄像机就是使用这种格式记录视频数据的。它可以通过电脑的IEEE1394端口传输视频数据到电脑，也可以将电脑中编辑好的的视频数据回录到数码摄像机中。这种视频格式的文件扩展名一般也是AVI，所以我们习惯地叫它为DV-AVI格式。2.网络视频格式（1）ASF格式:英文全称为AdvancedStreamingFormat，是微软公司前期的流媒体格式，采用MPEG-4压缩算法。（2）WMV格式:英文全称为WindowsMediaVideo，是微软公司推出的采用独立编码方式的视频文件格式。2.网络视频格式（3）RM格式:RealNetworks公司开发的一种流媒体文件格式，是目前主流的网络视频格式。RealNetworks所制定的音频、视频压缩规范称为RealMedia，相应的播放器为RealPlayer。Networks公司所制定的音频视频压缩规范称之为RealMedia，用户可以使用RealPlayer或RealOnePlayer对符合RealMedia技术规范的网络音频