视频处理与宽带通信3

2019/8/15视频获取与表示清华大学自动化系季向阳-2-提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模型五-3-概论把连续的视频信号转化为数字视频信号一般包括两步：采样量化这一讲我们只讨论采样的问题，量化留到以后解决12(,,)csxxt空-时采样12(,,)snnk-4-采样与失真模拟信号数字化奈奎斯特采样定律-5-视频信号的获取大多数TV摄像机是通过在时间和垂直方向进行采样来摄取视频序列的。产生的信号存储在一个一维光栅扫描中不同的采样方案对应不同的采样点阵。在设计数字视频采样系统时，必须回答的两个问题：所需的视频采样率是多少？在给定总的采样率时，哪一种采样点阵最有效？-6-采样率的选择在设计视频采样系统时，无论一维、二维、还是三维，一个必须回答的基本问题时，空间和时间采样的分辨率应该是多少？采样率一般和以下几个因素有关：待采样信号的频率成分在空间和时间截止频率方面的视觉阈值摄取和显示设备的特性可以承受的处理、存储和传输成本-7-基于采样定理，如果采用立方体点阵，每维上的采样率至少应为该方向上最高频率的两倍人眼不能分辨超过一定高的频率的空间和时间变化。所以视觉截止频率，即可以被HVS观察到空间和时间的最高频率，是确定视频采样率的决定因素视觉敏感度依赖于显示器的平均亮度。对于很亮的TV信号，视觉阈值要求帧率大于70Hz，而空间分辨率至少是30cpd。在屏幕高度三倍的正常观测距离上，25cpd的空间频率换算维大约500行/帧（lpf）采样率的选择(续）-8-现在来从采样率的角度来讨论隔行扫描在模拟TV系统被开发出来的时候，视觉截止频率所要求的这些采样率超过了当时的技术水平。为了降低码率进而降低视频摄取、传输和显示的成本，隔行扫描被提出来了，对于给定的总码率（帧率和行率的乘积），它靠牺牲垂直分辨率来提高时间分辨率。采样率的选择(续）-9-在NTSCTV系统中，每秒摄取60个场，但每场只包含所期望行数的一般（240有效行/场）。与采用30fps和480lps的逐行扫描的总码率是相同的隔行扫描和逐行扫描处理静止图象和运动图象的不同点如果景物是静止，通过每一场扫描线的交错，它能够产生与采用60fps和480lps逐行扫描一样的质量对于具有特殊图案（垂直线图案）的高速运动场景，它会导致所谓的“隔行效应”对于运动图片，由于电影院环境亮度很低，降低了视觉敏感性，24fps的帧率（逐行）就可以。尽管原始图象在24fps帧率下摄取的，但在回放时，在投射镜头前放置一个每帧旋转3次的叶片，使得有效回放速率为72fps。抑止可能会被一些敏感的观众感受到的闪烁效应采样率的选择(续）-10-对于计算机显示，需要高得多的空间和时间采样率。例如，SVGA显示的帧率为72fps（逐行），空间分辨率为像素。这是为了适应很近的观察距离（通常为图片高度的一到两倍）和显示资料的高频成分（线图形和文本）。采样率的选择(续）-11-定义实K维空间中的点阵，它可以表示为K个线性独立的基矢量，的整数加权组合的所有可能矢量的集合。即：矩阵称为采样矩阵。KKkv},,2,1{Kk},|{1KkkkkKnvnxxKvvvV,,,21点阵理论-12-举例这两个采样矩阵生成的采样点阵1[1,0]Tv10011V12/102/32V2x1x12v321v2x1x12v11vTv]0,1[21[3/2,1/2]Tv2[3,0]Tv点阵理论-13-空间可由选定的单位晶格及其平移表示成一个花砖面：K()a()b点阵理论-14-平行四边形和沃罗纳晶格定义具有基矢量的一个点阵的基本平行四边形是由相应于基矢量的矢量包围起来的多边形。定义为：定义一个点阵的沃罗纳晶格（Voronoi)是一个点的集合，这个集合中的点符合下面的条件：每个点到原点的距离总是要大于或等于这个点到其它阵点的距离。Kkvk,}10,{)(kkkkKvRxP}),,()0,(|{)(ppxdxdRxK-15-沃罗纳晶格及其向所有阵点的平移形成了对空间的一种分割K2x1x12v321v沃罗纳晶格-16-采样密度单位晶格的容积在视频信号处理中，定义采样密度两个点阵，采样密度分别为]det[V]det[1)(Vd11d3/22d-17-定义给定一个采样矩阵为的点阵，它的反商点阵可定义为具有如下采样矩阵的点阵：或正交，采样密度互为倒数V1)]([][TVUIUVT][][采样密度-18-对于一个固定的采样点阵，为了避免混叠，原始连续信号应该用预滤波器进行带限：原始信号：采样后的信号：反商点阵：)(,0)(,1)(**vfvffHp2x1x12v11v采样密度-19-预滤波信号:预滤波后的采样信号:铺在六边形分割上的原始信号：使用六边形点阵的采样信号：采样密度-20-忽略水平方向，并且把视频信号看做是在时间和垂直方向生成的空间中的二维信号令表示场间隔，而表示行间隔。逐行和隔行扫描的采样点阵tyyt2vt1v2ty2yy2yt2tyt2vt1v2ty2yy2yt2t()a()a()b二维视频采样：逐行和隔行扫描-21-逐行反商阵隔行反商阵yftf2u1u1t1y1y1tyftf2u1u1t1y1y1t()c()d二维视频采样：逐行和隔行扫描-22-采样矩阵和反商矩阵逐行扫描：隔行扫描：11201/20[],[]001/ttyyVU2221/20[],[]01/21/tttyyyVU二维视频采样：逐行和隔行扫描-23-在反商点阵图形中平面第一象限内离原点最近的3个点（实心圆圈）。这几点是最接近原始信号频谱的混叠分量的中心，也是可觉察失真的主要原因画点阵时，改变了空间和时间维的比例，使得等于垂直采样率的空间频率与等于场率的时间频率具有相同的长度理想情况下，通过给定空间和时间截止频率分配相同地长度，将基于视觉敏感度地时间和空间频率等同对待。因为空间和时间采样频率通常是基于各自地截止频率选取的，使不同方向上的采样频率相等一般来说是合适的,1/syyf,1/sttf二维视频采样：逐行和隔行扫描-24-比较两种扫描它们具有相同的采样密度，即沿垂直频率轴，它们在，具有相同的最近的混叠。这意味着在没有运动时，两种采样点阵有相同的分辨率。然而，当景物存在运动时，隔行扫描的垂直分辨率要低于逐行扫描的垂直分辨率沿时间频率轴它们具有不同的最近混叠。对于逐行扫描，第一个混叠出现在处，而隔行扫描出现在处它们具有不同的混合混叠。混合混叠定义为最近的偏离轴的混叠分量。接近混合混叠的频率分量引起行间闪烁和爬行。因为隔行扫描的混合混叠更靠近原点，行间闪烁和爬行在隔行扫描中更容易觉察――这就是所谓的隔行效应1/2t12()()1/2tydd1/yt/1二维视频采样：逐行和隔行扫描-25-提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模型五-26-摄像机模型针孔模型（PinholeModel）－反向投影－同向投影－平行投影CAHV模型摄像机运动-27-针孔模型之一：反向投影特点：－成像物体与成像平面位于摄像机中心两端－成像的位置与成像物体的位置是相反的－成像平面位于焦点之后-28-针孔模型之一：反向投影YXZXYXZCFxyxyx-29-针孔模型之二：同向投影特点－成像物体与成像平面位于摄像机中心同侧－成像的位置与成像物体的位置是相同的－成像平面位于焦点之前-30-针孔模型之二：同向投影YCXXYXxyxyFZx:,,,1camcamcamXYZX空间坐标:,,1XYx图像坐标-31-针孔模型之二：同向投影透视成像关系式：或可见，x和y与Z成反比齐次坐标系表示：ZYFyZXFxZYFyZXFx001011camcamcamcamcamcamcamcamcamXXfXfYYfYfZZfZ-32-针孔模型之二：同向投影当图像平面的坐标原点不在主点上时：由此可以定义摄像机标定矩阵为：001011camcamxcamcamycamcamXXfXfpYYfYfpZZfZ0010xyfpKfp-33-摄像机运动升/降——上吊，下吊左/右——左跟，右跟推/拉——前推，后拉竖扫——上倾，下倾平扫——左摇，右摇旋转——滚缩放——变焦-34-摄像机运动若世界坐标和摄像机坐标架子之间存在欧式变换时：0111camcamcamXXYYRRCZZR33C其中：是一个旋转矩阵表示摄像机中心在世界坐标系中的坐标-35-由此可知从世界坐标系中一点X与像素x之间的对应关系为：通常我们称与相关的参数为摄像机内部参数\内部校准，包含在中的参数称之为外部参数\外部校准000110xyfpRRCxfpXC,RC摄像机运动-36-针孔模型之三：平行投影条件－成像物体距离成像平面很远－成为平行投影（正交投影）－满足关系式YyXx-37-多对一映射—使得基于二维图像估计物体的三维结构和运动具有极大挑战xyxyxXXYZZ针孔模型之三：平行投影-38-针孔模型小结将三维的实体对象转化为二维的平面图形多对一的关系在同一视线（lineofsight）上遇到的第一个点起决定的作用，其他点将被忽视优点：简单缺点：－难以估计实物对象的结构－根据投影图像难以对实物对象进行运动估计没有考虑摄像机轴与图像中心对不准、真实镜头有限孔径的低通滤波作用、曝光失真-39-CAHV模型特点－考虑了摄像机本身的运动－采用四个矢量进行模型的描述－公式)()()(00CPVCPHCPAFyxpTTTC世界坐标系统到摄像机中心的矢量A光轴方向的单位矢量0H投影平面水平方向单位矢量0V投影平面垂直方向单位矢量希望校准摄像机以补偿针孔摄像机模型与真实摄像机之间的几何误差-40-CAHV模型投影示意图透视中心pPFXcZc成像平面x成像平面yC世界坐标系摄像机坐标系视线SoPAVoHoxpFβ-41-说明非固有参数C,A,以及固有参数,和F可以表征实际的摄像机系统能够描述一个偏离摄像机轴的成像平面，也可以描述某些失真可以用摄像机校准算法估计这些参数0H0V-42-提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模型五-43-照明模型入射光如何影响反射光的分布（几何模型和光谱模型）(局部和全局照明模型)几何模型描述入射光的幅度和方向分布适用于环境和点光源描述主要由真实世界的照明变化引起的视频序列时间上的变化漫反射与镜面反射模型之一：不同照明和反射条件下的光强分布－模型及图示－几种简化模型模型之二：物体运动引起的图像函数的变化-44-漫反射与镜面反射反射漫反射（所有方向能量分布相同）镜面反射（镜向上强度最大）★朗伯表面－－钝的，无光泽的表面：木头，水泥墙等★在所有方向上具有相等的能量分布★决定物体表面的颜色★在入射光的镜向上强度最大★不能显示物体的颜色，只能显示入射光的颜色-45-光强分布—能量对于一个物体表面光源的相互作用，涉及三种能量：入射光的通量－指从光源发射出的能量的速率，单位：瓦特（W）入射辐照度E－指物体上每单位面积的入射光通量，单位：辐照度取决于入射光与表面在该点的法线之间夹角反射辐射强度C－指从物体表面反射的光的能量2/mW-46-光强分布—模型反射辐射强度),,,,