第6章-视频信号处理

第6章视频信号处理6.1视频的基本概念6.1.1视频信号的分类活动图像序列根据每一帧图像的产生形式可分为影像视频和动画两类。1.影像视频影像视频的特点是信息容量大且信息冗余度高。因此要求采样和传输速度较高，但也可以采用压缩技术来减少存储视频的数据。第6章视频信号处理1)帧速视频的帧速为每秒内包含的图像帧数。根据视频制式帧速有30帧/秒(NTSC)和25帧/秒(PAL，SECAN)两种。2)数据容量分辨率为640×480，256色的一帧图像，其数据容量约为0.3MB，对于NTSC视频制式来说，若要达到30帧每秒(f/s)的活动图像，所需的存储量为9MB/s，这样，一张650MB的光盘只能存放大约播放70s的图像数据，而且光盘数据传输率也必须达到9MB/s才能满足要求。3)视频的质量活动图像的视频的质量取决于采样原始图像的质量和视频压缩数据的倍数。第6章视频信号处理2.动画用计算机实现的动画有造型动画和帧动画两种。帧动画是由一幅幅连续的画面组成的图像或图形序列。造型动画则是对每一个活动的对象分别进行设计，赋予每个对象一些特征(形状、大小、颜色等)，然后用这些对象组成完整的画面。计算机制作动画时，只要做好主动作画面，其余中间画面都可以由计算机内插完成。第6章视频信号处理6.1.2视频处理视频处理是指使用相关的硬件和软件在计算机上对视频信号进行接收、采集、编码、压缩、存储、编辑、显示和回放等多种处理操作。视频处理的结果使一台多媒体计算机可以作为一台电视机来观看电视节目，亦可以使计算机中的VGA显示信号编码为电视信号，在电视机上显示计算机处理数据的结果，另外，也可以通过接收、采集、压缩、编辑等处理将视频信号存储为视频文件，供多媒体计算机系统使用。第6章视频信号处理1.视频采集视频信号的采集是在一定的时间以一定的速度对单帧视频信号或动态连续地对多帧视频信号进行接收，采样后形成数字化数据的处理过程。单幅画面采集时，将输入的视频信息定格，并可将定格后的单幅画面采集到的数据以多种图形文件格式进行存储。对于多幅连续采集，可以对输入的视频信号实时、动态地接收和编码压缩，并以文件形式加以存储。我们在捕获一般连续视频画面时，可以根据视频源的制式采用25～30f/s的采样速度对视频信号进行采样。对于电视、电影等影像视频来说，在对视频信号采集的同时必须采集同步播放的音频数据，并且将视频和音频有机地结合在一起，形成一个统一体，并以动态视频文件AVI格式进行存放。第6章视频信号处理2.编码和压缩数字化视频信号的数据量极大，这对于多媒体系统来说要求海量存储容量和实时传输技术。目前，虽然计算机外存储容量已经达到几个GB数量级，但也只能存放支持几分钟的视频播放量，对于能支持23MB/s～27MB/s数据传输速度(相当于PAL、NTSC制式视频信号传输速率)的计算机也不多，如果不能达到这样的数据传输速度，就会导致大量数据的丢失，从而会影响视频采样和播放的质量。例如，对于PAL制视频信号，会由于在采样过程中不能保持25f/s画面的采样速度而丢帧，那么当存储的视频信息重新播放时，就会导致显示画面的不连贯性，从而出现抖动现象。第6章视频信号处理对视频信号进行编码压缩处理是减少数字化视频数据量的有效措施。在视频采集和数字化进程中，对图画进行实时压缩，而在被存储的视频数据进行回放的过程中，对图画进行解压缩处理，以适应计算机内视频数据的存储和传输的要求。3.编辑与回放1)编辑在对视频信号进行数字化采样后，用户可以对它进行编辑、加工以达到用户的应用要求。例如，用户可以对视频信号进行删除、复制、改变采样频率或改变视频或音频格式等操作，将其改变成用户所需要的显示形式，压缩后存入硬盘。第6章视频信号处理2)回放所谓回放，是指将存储的数字化视频数据通过实时解压缩恢复成原来的视频影像在计算机屏幕上显示重现。由于数字视频数据量庞大，因此视频的回放与屏幕显示的速度和质量密切相关，即与显示卡的质量有关。目前，在多媒体系统中通常用图形加速器代替普通显示卡来播放真彩色图像和数字视频。图像加速器上使用专用电路和芯片来提高显示速度。目前广泛使用的是32位的图形加速器，但64位及128位图形加速器将是未来的发展方向。图形加速器上的视频存储器数量决定显示分辨率和色彩深度，显示每个像素所需的字节数乘以屏幕的分辨率即是所需的视频存储器的大小。例如，256色图像每个像素需要1个字节，64K色图像每个像素需要2个字节，而真彩色图像的每个像素需要3个字节。第6章视频信号处理显示分辨率、颜色深度与视频存储器容量之间的对应关系如表6-1所示。表6-1视频存储器容量与分辨率和颜色深度之间的关系颜色深度视存分辨率容量0.5123640×480150KB300KB600KB900KB800×600234KB469KB938KB1.4MB1024×768384KB768KB1.5MB2.3MB1280×1024640KB1.3MB2.6MB3.8MB第6章视频信号处理从表6-1可以看出，对于真彩色的图像或影像视频的显示，一般需要1～4MB的视频存储容量，因此目前图形加速器上配置1M、2M或4M的视频缓存器，用户可以根据自己的应用需要来进行选择。第6章视频信号处理6.2视频信号的输入与输出6.2.1视频信息源视频信息源的种类繁多，按照其提供的视频信息形式，分为数字视频信息源和模拟视频信息源两类。1.数字视频信息源这类信息源可直接提供数字化视频信号，而且，许多信息源提供的数字化信息是已按某种标准压缩的视频信号。第6章视频信号处理1)光盘存储设备这是一类存储(或记录)视频(也记录音频)信号的媒体，包括只读光盘、一次写多次读光盘及可读/写光盘等，其详细内容已在第3章中介绍过，此处不再赘述。2)数字磁带机磁带机用于记录数字信号已使用多年，但由于在容量、速度、可靠性等方面的限制，影响磁带机的发展。其中还由于它是不能随机存取的，因此要在很长的磁带上寻找某个文件要花不少时间。近年来，由于技术的发展，磁带机在性能上有了很大的发展。作为一种存储数字信息的手段，在某些应用中，尤其是作为后备数据存储器，它将会得到广泛的应用。第6章视频信号处理到1995年底，磁带机每盒磁带的容量可达60GB，足以存放100部电影。如同火柴盒大小的一盒磁带，其容量在4～8GB之间，而且，读/写传送速度、平均故障间隔时间(MTBF)、错误率等指标均令人满意。可见，用它作为海量存储器来备份数字信号是很理想的。3)磁盘存储器目前，10GB硬盘是很常见的，而且，其平均寻道时间在10ms以下，数据传输速率可达到几十MB/s。其他性能，如MTBF在几十万到上百万小时；误码率、体积、重量、功耗等指标也都很好。因此，随着硬盘技术的发展，用硬盘来存取数字视频信号也是一种可选择的方法。第6章视频信号处理现在，已研制出像软磁盘那样的便携式可卸硬盘，但是其容量只有几十到几百MB/s，或GB数量级。随着技术的发展，将来也许可用来存取视频信号。4)扫描仪扫描仪能直接将图像、照片、胶片以及各类图纸、图形、文稿资料等输入到计算机中。扫描仪的主要工作原理是：扫描仪的光源照射到被扫描的图像上，代表图像特征的反射光或透射光经光学系统采集聚焦在电荷耦合器件(CCD)上，而后，CCD器件将这些光信号转换成相应的电信号，此电信号经放大、滤波并经A/D变换，变换成数字信号并输入到计算机。第6章视频信号处理5)数字照相机技术的发展已经改变了人们对照相机的传统认识，全数字化无底片照相机已经广泛使用。全数字化照相机利用彩色液晶显示出取景，可存储几十至一百多张影像。数字照相机有RS-232C或RS-422等接口可与微型计算机相连接，从而可将所得到的照相影像传送到计算机中进行显示和存储。可以想象，将来您的影集可能就是前面所谈到的可写光盘、磁盘或磁带等存储媒体。第6章视频信号处理全数字式液晶取景照相机可作为视频信息源送出图像数据，而且其体积、重量都很小，携带很方便。例如，CASIO的QV-10的重量为0.190kg，尺寸为130mm×40mm×66mm。2.模拟视频信息源除了上面提到的能输出数字化视频信号的设备外，还有一些设备可以提供模拟视频信号。它们主要是电视摄像机、录像机和传真机等。1)电视摄像机各种制式(PAL、NTSC、SECAM等)的电视摄像机种类繁多，常用的有家庭用的价廉的摄像机，也有性能和价格都比较高的专业级和广播级的电视摄像机。第6章视频信号处理高级的摄像机分辨率较高，伴音音频频带也很宽。摄像机可以送出射频(RF)电视信号、视频(Video)电视信号和ENC、R、G、B信号，用户可以根据需要选用。摄像机送出的可以是中国制式的全电视信号。它的每帧电视由奇、偶两场叠加而成，因此，扫描方式是隔行扫描，这是电视信号很重要的特征。2)录像机目前的录像机都可送出模拟视频信号。它的种类繁多，有家用的较低档的录像机，也有专业级及广播级的性能和价格均较高的录像机。第6章视频信号处理录像机可输出射频(RF)电视信号，也可以输出全电视信号。有的录像机只输出一种制式的信号，而有的则可输出三种制式的信号。当录像机播放录像带时，即可获得模拟的视频信号。3)传真机传真机可以利用电话线路传送图像和文字。在发送端，传真机信号经调制解调器(MODEN)加到电话线路上。在接收端，传真信号经解调后可进入计算机进行处理，或者由计算机处理后加到接收端的传真机上输出。传真机信号是经调制解调器的输出信号，亦可以被认为是视频信号，可经计算机处理后，加到电话网或其他网络上进行传送。因此，可以将传真机看作是模拟信息源中的一个设备。第6章视频信号处理6.2.2视频输出设备视频输出设备亦有多种。它们也可以按其输入的信号形式进行分类。1.数字式视频输出设备能接收数字信号的视频设备主要有如下几种：(1)可写入光盘；(2)磁盘；(3)磁带机；(4)数字监视器。第6章视频信号处理监视器有着比家用电视机更高的性能和更多的功能。大多数监视器都具有多种制式(PAL，NTSC，SECAM等)、多种屏幕尺寸和多种信号输入。在多媒体计算机中，经常用VGA、SVGA或其他高水平的显示卡来驱动监视器工作。通常，各种彩色显示卡在计算机驱动程序控制下接收计算机的数字视频信号。显示卡输出监视器所需要的视频信号(例如，R、G、B和同步信号或者是Y、U、V和同步信号)，使显示器显示图像。第6章视频信号处理因此，视频监视器与显示控制卡结合在一起，构成数字视频监视器。计算机显示控制卡(如VGA卡)所输出的视频信号与电视机的视频信号并不一样。表6-2列出了两者的不同。第6章视频信号处理表6-2计算机监视器信号与电视信号显示类型信号行频场频每幅图像行数显示方式VGARGB31.5kHz45～72Hz200～768隔行/逐行PAL复合视频，Y/C，RGB15.625kHz50Hz576隔行TVNTSC复合视频，Y/C，RGB15.73kHz59.94Hz480隔行第6章视频信号处理5)打印机打印机种类繁多，包括热敏、针式、激光、静电、喷墨、热蜡、染料热升华等多种打印机以及各种专用打印机。打印机的主要技术指标有分辨率、速度、颜色、行宽、噪声、功耗、体积、重量等。在我们关心的多媒体技术中，希望利用打印机输出图像。激光打印机具有600dpi或更高的分辨度，而且具有120级灰度，可以获得很好的图像输出；彩色喷墨打印机具有较高的分辨度和高的速度，并能真彩色打印。目前就有分辨度为720dpi、1600万种颜色的真彩打印机，它可以得到逼真的彩色打印照片。因此，激光、喷墨、彩色热蜡和彩色染料热升华等打印机可作为视频图像输出设备。第6章视频信号处理6)绘图机绘图机有平板式、滚筒式、笔式、静电等结构，幅面尺寸也有大有小，是与计算机配套的典型图形输出设备。目前，黑白和彩色绘图机均在迅速发展中。绘图机有多项技术指标，主要是幅面大小、绘图速度、重复精度、体积、重量、耗电等。它作为输出设备，在多媒体领域中使用相对少些。2.模拟视频输出设备第6章视频信号处理1)电视机一般的家用电视机的输入信号均为模拟信号。在多媒体计算机的配置