多媒体视频信息处理技术

第5章多媒体视频信息处理视觉是人类感知外部世界的一个最重要的途径。计算机视频技术是把我们带到近于真实世界的最强有力的工具。在多媒体技术中，视频信息的获取及处理无疑占有举足轻重的地位。视频处理技术在目前以至将来都是多媒体应用的一个核心技术。主要内容基础知识电视信号及其标准视频的数字化过程基于多媒体计算机的视频处理系统视频文件的类型视频数据连续数据产生方式-实时数据－采集-合成数据－创作处理方式-模拟视频-数字视频1、基础知识视频的定义人类接受的信息70%来自视觉,其中活动图像是信息量最丰富、直观、生动、具体的一种承载信息的媒体。视频（Video）就其本质而言，实际上就是其内容随时间变化的一组动态图像(25或30帧/秒)，所以视频又叫作运动图像或活动图像。从数学角度描述，视频指随时间变化的图像，或称为时变图像。时变图像是一种时-空亮度图案（spatial-temporalintensitypattern），可以表示为s(x,y,t)，其中(x,y)是空间变量，t是时间变量。视频信号的特点内容随时间而变化伴随有与画面动作同步的声音(伴音)图像与视频是两个既有联系又有区别的概念：静止的图片称为图像（Image），运动的图像称为视频（Video）。此外，两者的信源方式不同，图像的输入要靠扫描仪、数字照相机等设备；而视频的输入是电视接收机、摄象机、录象机、影碟机以及可以输出连续图像信号的设备。视频的分类模拟视频（AnalogVideo）模拟视频是一种用于传输图像和声音的并且随时间连续变化的电信号。早期视频的记录、存储和传输都是采用模拟方式。模拟视频具有以下特点：以模拟电信号的形式来记录依靠模拟调幅的手段在空间传播使用盒式磁带录象机将视频作为模拟信号存放在磁带上传统的模拟信号处理设备直接广播卫星（DBS））模拟视频的不足：-不适合网络传输，在传输效率方面先天不足；-图像随时间和频道的衰减较大；-不便于分类、检索和编辑。数字视频（DigitalVideo-DV）-视频的数字化过程包括采样、量化和编码。-数字视频克服模拟视频了的局限性，这是因为数字视频可以大大降低视频的传输和存贮费用、增加交互性（数字视频可通过光纤等介质高速随机读取）及精确再现真实情景的稳定图像。-数字视频的应用已经非常广泛，并带来一个全新的应用局面。包括直接广播卫星（DBS）、有线电视、数字电视在内的各种通信应用均需要采用数字视频。近年出现的一些消费产品，如VCD和DVD，数字式便携摄像机，都是以MPEG视频压缩为基础的。数字视频的优点适合于网络应用在网络环境中，视频信息可以很方便地实现资源的共享，通过网络线、光纤，数字信号可以很方便地从资源中心传到办公室和家中。视频数字信号可以长距离传输而不会产生任何不良影响，而模拟信号在传输过程中会有信号损失。再现性好模拟信号由于是连续变化的，所以不管复制时采用的精确度多高，失真总是不可避免的，经过多次复制以后，误差就很大。数字视频可以不失真地进行无限次拷贝，其抗干扰能力是模拟图像无法比拟的。它不会因存储、传输和复制而产生图像质量的退化，从而能够准确地再现图像。便于计算机编辑处理模拟信号只能简单调整亮度、对比度和颜色等，极大地限制了处理手段和应用范围。而数字视频信号可以传送到计算机内进行存储、处理，很容易进行创造性地编辑与合成，并进行动态交互。数字视频的缺陷是处理速度慢，所需的数据存储空间大，从而使数字图像的处理成本增高。通过对数字视频的压缩，这样可以节省大量的存储空间，光盘技术的应用也使得大量视频信息的存储成为可能。视频的应用领域广播电视地面、卫星电视广播有线电视（CATV:CommunityAntennaTV）数字视频广播(DigitalVideoBroadcast）交互式电视（ITV:InteractiveTV）高清晰度电视（HDTV）通信可视电话（Videophone）视频会议（Videoconferencing）视频点播（VOD:VideoOnDemand）视频数据库个人娱乐录象节目VCD（VideoCompactDisk）DVD（DigitalVersatileDisk）电视购物家庭摄象视频游戏主要指标宽高比垂直分辨率－细节水平分辨率－细节信号格式帧频率－运动连续性闪烁2电视信号及其标准彩色电视信号制式-电视信号是视频处理的重要信息源。电视信号的标准也称为电视的制式。-目前各国的电视制式不尽相同，不同制式之间的主要区别在于不同的刷新速度、颜色编码系统和传送频率等。-目前世界上常用的电视制式有中国、欧洲使用的PAL制，美国、日本使用的NTSC制及法国等国所使用的SECAM制。NTSC制NTSC(NationalTelevisionStandardCommitte)是美国国家电视系统委员会在1953年制定的一种兼容的彩色电视制式，在美国、日本和其他国家广为使用。-定义了彩色电视机对所接受的电视信号的解码方式、色彩的处理方式、屏幕的扫描频率。-NTSC制规定水平扫描线有525条，以每秒30帧速率传送。NTSC采用隔行扫描方式，每一帧画面由两次扫描完成，每一次扫描画出一个场需要1/60秒,两个场构成一帧。PAL制PAL(PhaseAlternateLock)是联邦德国1962年制定的一种兼容电视制式。PAL意指“相位逐行交变”，我国和大部分西欧国家都使用这种制式。-PAL制规定水平扫描625行、每秒25帧、隔行扫描、每场需要1/50秒。SECAM制SECAM(SEquentialColorAndMemory)称为顺序传送彩色与存储，是用于法国、俄罗斯及几个东欧国家的彩色电视制式。-基本技术及广播方式与NTSC和PAL有很大的区别。-625行，25Hz不同制式的电视机只能接收和处理其对应制式的电视信号。多制式或全制式的电视机，为处理和转换不同制式的电视信号提供了极大的方便。全制式电视机可在各国各地区使用，而多制式电视机一般为指定范围的国家生产。三种彩色电视制式的主要技术指标TV制式NTSCPALSECAM帧频(Hz)302525行/帧525625625亮度带宽(MHz)4.26.06.0彩色幅载波(MHz)3.584.434.25声音载波(MHz)4.56.56.5高清晰度电视技术高清晰度电视的特点-分辨率纵横像素数是传统的2倍。-纵横比W/H=16/9=1.777-观看距离比传统距离近才能看到细节-采用国际标准的压缩编码算法MPEG-II-采用打包数据结构，图像和声音分成不同分量，数据包的大小随意，传输次序随机。-高可靠性和抗干扰性。几个HDTV系统EuropeanHighDefinitionMultipleAnalogueComponents(HD-MAC):-DefinedinEurekaProjectEU95-Cooperationof35Europeanindustryrepresentatives,television,researchenters-SomecompatibilitytoexistingstandardsJapaneseMultipleSub-NyquistEncoding(MUSE):-NotopentoTVstandards-Verticalresolution:1125lines,Framerate:60Hz-1992:1hour/daybroadcastingusingMUSEstandardUSA-Goal:compatibilitytoNTSC-Verticalresolution:1050lines,Framerate:59.94电视视频信号的扫描方式电视摄像机的作用就是将视频图像转换为电信号。任何时刻，电信号只有1个值（一维）。但视频图像通常是二维的，将二维视频图像转换为一维电信号是通过光栅扫描实现的。扫描方式主要有逐行扫描和隔行扫描两种。-隔行扫描行的集合称为场。因此，一帧由两个场组成。-逐行扫描有以下优点：图像垂直清晰度高，空间处理效果好，有利于电视转换和制式转换，能改善视频压缩效率，等等。其缺点是：数码率高，行扫描频率增高，硬件难度加大。奇数场偶数场一帧目前的电视系统大都采用隔行扫描，因为隔行扫描能节省频带，且硬件实现简单。但逐行扫描能获得更好的图像质量和更高的清晰度，不过是以增加带宽和成本为代价的。YUV与RGB彩色模型YUV模型在PAL彩色电视制式中采用YUV模型来表示彩色图像。其是Y表示亮度，U，V用来表示色差，是构成彩色的两个分量。在NTSC彩色电视制式中使用YIQ模型，其中的Y表示亮度，I，Q是两个彩色分量。YUV表示法的重要性是它的亮度信号(Y)和色度信号(U、V)是相互独立的，也就是Y信号分量构成的黑白灰度图与用U、V信号构成的另外两幅单色图是相互独立的。由于Y、U、V是独立的，所以可以对这些单色图分别进行编码。采用YUV模型的优点之一是亮度信号和色差信号是分离的，使彩色电视系统与黑白电视机亮度信号兼容。PAL彩色电视制式中采用YUV模型来表示彩色图像YUVRGB模型RGB分别代表红（Red）、绿(Green)、蓝（Blue）三种基本颜色。电视机和计算机显示器使用的阴极射线管(CathodeRayTube，CRT)是一个有源物体。CRT使用3个电子枪分别产生红、绿和蓝三种波长的光(RGB三种电子束)，并以各种不同的相对强度轰击CRT的荧光涂层屏幕以产生颜色。组合这三种光波以产生特定颜色称为相加混色，或称为RGB相加模型。相加混色是计算机应用中定义颜色的基本方法。CRT显示器采用RGB彩色模型A-阴极B-导电涂层C-阳极D-荧光屏E-电子束F-荫罩板YUV与RGB彩色空间变换由于所有的显示器都采用RGB值来驱动，这就要求在显示每个像素之前，需要把YUV彩色分量值转换成RGB值。这种转换需要花费一定的计算时间，设计软硬件视频处理系统时要综合考虑。在考虑人的视觉系统和阴极射线管(CRT)的非线性特性之后，RGB和YUV的对应关系可以近似地用下面的方程式表示：Y=0.299R+0.587G+0.114BU=-0.169R-0.331G+0.5BV=0.500R-0.419G-0.081B写成矩阵的形式:BGRVUY081.0419.05.05.0332.0169.0114.0587.0299.0彩色电视的信号类型电视频道传送的电视信号主要包括亮度信号、色度信号、复合同步信号和伴音信号，这些信号或者可通过频率域，或者可通过时间域相互分离出来。电视接收机能够将所接收到的高频电视信号还原成视频信号和低频伴音信号，并能够在其荧光屏上重现图像，在其扬声器上重现伴音。根据不同的信号源，电视接收机的输入、输出信号有三种类型。高频或射频信号为了能够在空中传播电视信号，必须把视频全电视信号调制成高频或射频（RF－RadioFrequency）信号，每个信号占用一个频道，这样才能在空中同时传播多路电视节目而不会导致混乱。PAL制每个频道占用8MHz的带宽；NTSC制每个频道的带宽为6MHz。有线电视CATV（CableTelevision）的工作方式类似，只是它通过电缆而不是通过空中传播电视信号。电视机在接收受到某一频道的高频信号后，要把全电视信号从高频信号中解调出来，才能在屏幕上重现视频图像。复合视频信号为便于电视信号远距传输，必须把三个分量信号以及同步信号复合成一个信号，然后才进行传输。复合视频信号定义为包括亮度和色度的单路模拟信号，也即从全电视信号中分离出伴音后的视频信号，这时的色度信号是间插在亮度信号的高端，在信号重放时很难恢复完全一致的色彩。这种信号一般可通过电缆输入或输出到家用录像机上，其信号带宽较窄，一般只有240线左右的水平分解率。早期的电视机都只有天线输入端口，较新型的电视机才备有复合视频输入和输出端（VideoIn，VideoOut