视频基础知识2主要内容•视觉的时间域响应特性•YUV、YIQ与YCrCb颜色空间•彩色电视制式•彩色电视信号的类型2•电视图像数字化•图像子采样•MPEG简介3视觉的时间域响应特性•让观察者观察按时间重复的亮度脉冲,如果闪烁频率比较低,人眼就有一亮一暗的感觉。如果闪烁频率足够高,人眼看到的则是一个恒定的亮点。闪烁感刚好消失的重复频率叫做临界闪烁频率,经测定为46HZ。•电影播放过程中,每秒投射24幅画面,每幅画面投射过程中用机械挡光阀遮挡一次,这样就得到了48HZ的闪烁频率。•要保持画面中物体运动的连续性,要求每秒钟摄取的画面数约为25帧左右。4YUV、YIQ与YCbCr颜色空间•人眼对彩色细节的分辨能力远比对亮度细节的分辨能力低,通常把RGB空间表示的彩色图像变换到YUV或者YIQ颜色空间。每一种彩色空间都产生一种亮度分量信号和两种色度分量信号,而且亮度信号(Y)和色度信号(U、V)是相互独立的,每一种变换使用的参数都是为了适应某种类型的显示设备。•彩色电视信号中采用YIQ或者YUV空间一是为了兼容黑白电视,二是为了实现压缩。5YUV、YIQ与YCbCr颜色空间•YUV模型用于PAL制式的电视系统,Y表示亮度,UV并非任何单词的缩写。Y=0.299R+0.587G+0.114BU=0.493(B–Y)V=0.877(R–Y)•YUV空间相当于对RGB空间做了一个解相关的线性变化。U和V的比值决定色调,而(U2+V2)1/2代表颜色的饱和度。6YUV、YIQ与YCbCr颜色空间•YIQ模型与YUV模型类似,用于NTSC制式的电视系统。YIQ颜色空间中的I和Q分量相当于将YUV空间中的UV分量做了一个33度的旋转。•YCbCr颜色空间是由YUV颜色空间派生的一种颜色空间,主要用于数字电视系统中。从RGB到YCbCr的转换中,输入、输出都是8位二进制格式。7YUV、YIQ与YCrCb颜色空间8隔行扫描(interlacedscanning)逐行扫描(non-interlacedscanning)电视扫描9彩色电视制式•NTSC制式(NationalTelevisionSystemsCommittee):是1952年美国国家电视标准委员会定义的彩色电视广播标准•PAL制式(Phase-AlternativeLine):德国于1962年制定。解决于NTSC在相位敏感造成的彩色失真的缺点。•SECAM制式:法国制定的顺序传输彩色与存储彩色电视广播标准10彩色电视制式NTSC彩色电视制的主要特性是:(1)525行/帧,30帧/秒(2)高宽比:电视画面的长宽比为4:3(3)隔行扫描,一帧分成2场(field),262.5线/场(4)在每场的开始部分保留20扫描线作为控制信息,因此只有485条线的可视数据。(5)每行63.5微秒,水平回扫时间10微秒(包含5微秒的水平同步脉冲),所以显示时间是53.5微秒(6)颜色模型:YIQ(7)美国、加拿大等大部分西半球国家,及日本、韩国、菲律宾和中国的台湾采用这种制式。11彩色电视制式倒相正交平衡调幅制PAL制式电视信号的特性:(1)625行(扫描线)/帧,25帧/秒(40ms/帧)(2)每场中有25行作为场回扫,所以每帧中只有575行是有效行。(3)高宽比(aspectratio):4:3(4)隔行扫描,2场/帧,312.5行/场(5)颜色模型:YUV(6)西欧、中国和朝鲜等国家采用这种制式。12彩色电视制式顺序传送彩色与存储SECAM的主要特征是:(1)625行(扫描线)/帧,25帧/秒(40ms/帧)(2)每场中有25行作为场回扫,所以每帧中只有575行是有效行。(3)高宽比(aspectratio):4:3(4)隔行扫描,2场/帧,312.5行/场(5)法国、俄罗斯、东欧和中东等65个地区和国家13彩色电视信号的类型•复合电视信号:包含亮度信号、色差信号和所有定时同步信号的单一电视信号。•分离电视信号(S-Video信号):是亮度和色差分离的一种电视信号,它可以(1)减少亮度信号和色差信号之间的交叉干扰。(2)不须要使用梳状滤波器来分离亮度信号和色差信号,这样可提高亮度信号的带宽。•分量电视信号:是指每个基色分量作为独立的电视信号,使用分量电视信号是表示颜色的最好方法,但需要比较宽的带宽和同步信号。14复合C信号与S-Video信号一般的广播电视的亮度信号带宽为6MHz,而国内的PAL制式彩色信号带宽为1.5MHz。复合视频输出是将4.43MHz的色度副载波信号调制视频亮度信号中,在显示输出时进行色度解调,将色度副载波从复合视频信号中滤出来,这样就可能损失亮度信号中的4.43+-0.75MHz的频率,降低了水平清晰度。另外,没有完全滤掉的色度副载波信号可能会干扰亮度通道,而处于4.43MHz边缘的亮度信号则会进入色度解调电路,两者互相干扰,降低了播出质量。采用S端子的亮度和色度分离输出可以提高画面质量,这就是为什么有人将其称为“高清晰度输出”的缘故。15复合C信号波形-PAL16CtoS-VideoY-ground---------------++----+------RCA/compositegroundC-ground---------------+||||75欧Y-------------------------+||+-----+----RCA/compositevideoC------------||-----------+470pF17彩色电视信号的类型18电视图像数字化电视图像数字化常用的方法有两种:1先从复合彩色电视图像中分离出彩色分量,然后数字化。大多数电视信号源都是彩色全电视信号,如来自录象带、激光视盘、摄象机等的电视信号。对这类信号的数字化,通常的做法是首先把模拟的全彩色电视信号分离成YUV,YIQ或RGB彩色空间中的分量信号,然后用三个A/D转换器分别对它们数字化。2首先用一个高速A/D转换器对彩色全电视信号进行数字化,然后在数字域中进行分离,以获得所希望的YCbCr,YUV,YIQ或RGB分量数据。19ITU-RBT.601数字化标准1、采样频率CCIR为NTSC制、PAL制和SECAM制规定了共同的电视图像采样频率。这个采样频率也用于远程图像通信网络中的电视图像信号采样。亮度信号采样频率fs=13.5MHZ色度信号采样频率fc=6.75MHZ或13.5MHZ每行采样点数N=864(PAL),858(NTSC)对于所有制式,每个扫描行的有效样本数均为720。20ITU-RBT.601数字化标准2、数字信号取值范围:亮度信号220级,色度信号225级。3、颜色空间之间的转换公式4、图像子采样格式:4:4:4,4:2:2、4:1:1、4:2:021CIF、QCIF和SQCIFCIF:CommonIntermediateFormatQCIF:QuarterCIFSQCIF:Sub-QuarterCIF22图像子采样•如果对色差信号使用的采样频率比对亮度信号使用的采样频率低,这种采样就称为图像子采样(subsampling)。23图像子采样24MPEG标准MPEG(MotionPictureExpertsGroup---全球影像/声音/系统压缩标准)标准:包括MPEG视频、MPEG音频和MPEG系统(视音频同步)三个部分。MPEG压缩标准是针对运动图像而设计的。基本方法是—--在单位时间内采集并保存第一帧信息,然后就只存储其余帧相对第一帧发生变化的部分,以达到压缩的目的。MPEG压缩标准可实现帧之间的压缩,其平均压缩比可达50:1,压缩率比较高,且又有统一的格式,兼容性好。25MPEG-1•MPEG-1用于传输1.5Mbps数据伟输率的数字存储媒体运动图像及其伴音的编码,经过MPEG-1标准压缩后,视频数据压缩率为1/100—1/200,音频压缩率为1/6.5。MPEG-1提供每秒30帧352×240分辨率的图像,当使用合适的压缩技术时,具有接近家用视频制式(vHS)录像带的质量。MPEG-1允许超过70分钟的高质量的视频和音频存储在一张CD-ROM盘上。vCD采用的就是MPEG-1的标准,该标准是一个面向家庭电视质量级的视频、音频压缩标准。26MPEG-2•MPEG-2主要针对高清晰度电视(HDTv)的需要,传输速率为10Mbps,与MPEG-1兼容,适用于1.5--60Mbps甚至更高的编码范围。MPEG-2有每秒30帧704×480的分辨率,是MPEG-1播放速度的四倍。它适用于高要求的广播和娱乐应用程序,如:DSS卫星广播和DvD,MPEG-2是家用视频制式(vHS)录像带分辨率的两倍。27MPEG-4•MPEG-4标准是超低码率运动图像和语言的压缩标准,用于传输速率低于64Mbps的实时图像传输,它不仅可覆盖低频带,也向高频带发展。较之前两个标准而言,MPEG-4为多媒体数据压缩提供了一个更为广阔的平台。它更多定义的是一种格式、一种架构,而不是具体的算法。它可以将各种各样的多媒体技术充分用进来,包括压缩本身的一些工具、算法,也包括图像合成、语音合成等技术。28视频/图像处理硬件的发展历史•第一代产品(1990年之前):专用图像处理系统。八十年代中期,PC机上开始有图像采集卡。但由于当时主机和总线主频低,磁盘速度、容量有限,因而限制了图像采集卡的发展。这一时期的图像采集卡功能单一,基本上只有图像采集和简单的处理功能。主要用于科学和实验研究。这一代图像系统的突出特点是一定要有一个专用的图像显示器与图像卡相连,用于显示图像,而图形是通过显示卡输出到图形显示器的,因此不便实现图形/图像的同屏显示。这一时期图像处理硬件价格昂贵,性能又不能满足多媒体系统的要求(主要是没有压缩功能),因此不能为多媒体系统所用。29视频/图像处理硬件的发展历史•第二代产品(1991—1995年):图形/图像显示合一的多媒体系统。在理论上,从位图角度看,图形与图像是统一的,完全可以采用同一个显示器;而在多媒体中包含视频媒体也是多媒体系统设计的最初目标。在技术上,推动这一进程的动力有两个:一方面由于各种增强型vGA显示控制器和显示卡的性能提高,使得PC机有了较高显示分辨率,可以直接处理视频信息了;同时,显示存储器容量增加,价格下降,使得高分辨率图形显示卡迅速普及。另一方面是各种可编程的视频控制芯片使视频信号与图形叠加变得非常容易。这些芯片有效地解决了多制式彩色全电视信号的数字式锁相和解码技术,以及视频信号与图形信号的窗口控制,从而使视频信号的输入/输出变得简单,设计和调试变得容易。利用这些芯片推出30视频/图像处理硬件的发展历史的视频卡,实现了vGA图形与视频信号的叠加。另外,这类卡上一般都有声音输入/输出功能,没必要再单独配置声卡了。这一时期是多媒体视频硬件发展最迅速的阶段,图形与图像叠加问题的解决使图像系统真正为多媒体系统所用。各种采集卡、字幕叠加卡、压缩/解压缩卡、电影卡、电视卡层出不穷,迅速普及;各类标准如videoforWindows、MPEG-1、vCD1.1和vCD2.0的出台,使得在PC机上看影音文件甚至电影成为现实;还有通过计算机收看电视节目的电视调谐卡(TvTuner)、将vGA输出信号编码为电视信号的TvCoder等。31视频/图像处理硬件的发展历史•第三代产品(1996年之后):多种功能集成化的多媒体系统。系统集成是现代技术的主要趋势,多媒体本身就是技术集成的产物。近年来,多媒体视频硬件主要在两个领域发展。第一是与网络通信技术结合,由视频采集卡附加网络通信卡构成的多媒体视频会议、S可视电话、视频邮件、多媒体通信终端等。到本世纪末和下世纪初,基于宽带多媒体通信网络的交互式电视(ITv)、点播电视(vOD)以及远程教育系统、远程医疗诊断系统、远程电子图书馆等新技术将付诸实施,通过交互电视的机顶盒(STB)实现网络浏览、电视购物、收看vOD节目等,最终走向电视、电脑与电信的三电合一的目的。第二方面是与影视制作技术结合,构成集压缩/解压缩、合成输出、特技效果为一体的影视