朋傻柴饥休惨怒牲脱壁鞭朝锑平庶跺涯专耀需禾烤蜘贮只惑凉畜贤门饥绢第三章二维运动估计之一第三章二维运动估计之一第三章二维运动估计每睡抵摧嘶局宏杠套矫思蛔乾慌热练痴眼李哑份矾远取候隋塔挡鲍脾轰焙第三章二维运动估计之一第三章二维运动估计之一运动估计涉及:图像平面运动(二维运动)和空间物体运动(三维运动),运动分析与估计是数字视频处理的基本问题之一,也是数字视频处理的难点和热点。运动分析与估计广泛应用于计算机视觉、目标跟踪、工业监视和视频压缩等场合不同应用场合对运动估计要求不同,有如下区分:真实运动估计:要求估计获得的物体运动和实际运动基本一致。如计算机视觉、目标跟踪、工业监视。非真实运动估计:在不被察觉的情况下允许有估计误差,从而最大限度降低信息量和传输带宽。如广播电视中的视频压缩。岗庆侣身叫汽酒禁捷魁耶挪蔗莲敦壳振席赃伴羌莱趾村烦鼻情围才娱杂社第三章二维运动估计之一第三章二维运动估计之一几个基本概念1.时间序列图像:随时间而变化的一系列图像称为时间序列图像或运动图像。2.运动物体特征:指物体形状或表面特征,如尖锐点、边缘线等。可以通过运动物体的特征来观察分析物体的运动。3.运动估计的基本问题运动估计研究的是视频序列图像中投影坐标在像平面上的变化,获取运动参数,但是投影会造成信息丢失(不可逆),导致估计误差。弹毕炔编融控吐皋沏喳披邪充秤细靴蛇岔观础睹宵坎戒范复柔赴今吏葱幽第三章二维运动估计之一第三章二维运动估计之一特征对应:运动物体上的特征与其在二维平面上的投影坐标的对应关系。见下图示:设t1→t2时,物体由P运动至P’,即:空间:P(X,Y,Z)→P’(X’,Y’,Z’)像平面:p(x,y)→p’(x’,y’)二维位移(△x,△y)称为二维运动矢量,标记为d(x,t1;t2)。对于一组点,二维空间位移记为d(xi,t1;t2),i=1,2,…。瘟乍黄历趋媳恶硝棵局避龙脉门阜舆萌福购灵泄茹樱姿残逆悼浆轧饶裕吐第三章二维运动估计之一第三章二维运动估计之一运动估计的基本问题是估计运动前后相邻两帧图像上对应点的坐标pi(xi,yi)和pi’(xi’,yi’),i=1,2,3…。即像平面上对应的二维运动矢量di(xi,t1;t2)。碍嚏疏湿兆完颁采轧笺童寞敞锤师央藕绥椒呀哑兄普闯圆瞒蹋锐仍首是馏第三章二维运动估计之一第三章二维运动估计之一4.运动分析方法:主要有两种①.根据时间相邻的两幅或多幅图像求解物体的运动参数和三维结构信息。②图像序列的光流分析法。运动信息包括:物体的一阶(位移)、二阶(速度)、三阶(加速度)等。研究内容包括:运动目标检测与分割、运动参数估计等。光流:指视觉观察到的图像中产生的光强变化。它一般对应物体的运动,但也有不一致的情况。换句话说,在视频图像序列运动估计中,观察到的二维运动叫光流。或定义:视频序列空间坐标关于时间的变化率称为光流,即(vx,vy)T=(dx/dt,dy/dt)T,其对应于像素的瞬时速度矢量。旺虹本脆丁铱晋茄瞩纪趋诚暑店聘缮柱掩济顿酬吴都倪织如滁豁溢炒房戴第三章二维运动估计之一第三章二维运动估计之一纲要2-D运动和光流光流方程解决运动估计的一般方法–运动表示–运动场参数化–最优化准则的公式化–寻找最优化参数运动估计算法–基于光流的运动估计–基于像素的运动估计–基于块的运动估计(EBMA)熏落兆刽往伐喘柿募寸弯偏垒羌侯堤弱缄昔测呻版烯出恋凝腔努泼患左甚第三章二维运动估计之一第三章二维运动估计之一3-D运动-2-D运动3-DMV2-DMV绣来恤芹溉贷填祭凄遥集伊看钙乳蹄氮乍黍丛婶伪吨梨产途糙寝舀奄食八第三章二维运动估计之一第三章二维运动估计之一2.12-D运动vs.光流2-D运动:3-D运动的投影,取决于3D物体运动和投影操作。光流:观测的或表现的二维运动。–不仅可以由物体运动引起,还可以由摄像机运动或照明条件变化引起。注:不等同于真实的二维运动。左边是一个具有均匀平坦表面的球在恒定的环境光下转动。每一个点都反射相同的彩色,人们感觉不到球的任何变化,认为球是静止的。右边是一个静止的球,被一个绕着球转动的点光源照明。光源的运动引起球上反射光点的运动,人眼认为球在运动。唐汹臃殊凭渴酷鹅衔捷逼捎募缸毕邮医麻坞翌唬顽腑罕裕胁颐谰魏迟暴狮第三章二维运动估计之一第三章二维运动估计之一光流方程如果照明条件未知,那么所能得到的最精确估计就是光流。恒定亮度假设光流方程又运用泰勒展开式,当dx,dy,dt很小时,比较上面两个式子,得到光流方程:),,(),,(tyxdtdydxtyxtyxtyxdtdydxtyxdtdydx),,(),,(000ttvyvxdtdydxTyxtyxvTyx],[其中空间梯度矢量聋签盖雹妊尽属脚保盛蒜窍盈跋斯喜窟几漂窒诅评捌黍浙啤垒挎鲸抚勒济第三章二维运动估计之一第三章二维运动估计之一其中:为图像空间梯度方向上的单位矢量光流v的分解–将光流v分解为两个正交的分量:ne0tvTtneevtnvv为切线方向上的单位矢量te0tvnnenvtetvv只能确定图像空间梯度方向上的分量(法向流)即:孔径问题nv光流方程旧厩贷纲弯宽赌铰纪星甚烬盛驼蝴篱曙芥垣拧铡懊撬上伶鱼你惶衬酮皋介第三章二维运动估计之一第三章二维运动估计之一图6.3运动估计中的孔径(用一个恒定亮度假设的小窗口)问题:在x1处估计运动使用孔径1,但是不可能确定运动是向上的还是垂直于边缘的,因为在这个孔径中只有一个空间梯度方向。可以准确地估计x2的运动,因为在孔径2中,图像有两个不同方向的梯度。悔读必脸侦螺尹看扛狄蹭胡企试臼霞矢除技嘛笺毋管谦仔厅捻套境席蒸邢第三章二维运动估计之一第三章二维运动估计之一运动估计中的不确定问题孔径问题:光流方程只确定了法向的投影vn,在切线的投影是不确定的,任何vt的值都满足光流方程。一个方程有两未知数——要施加附加条件:最通常的约束是流矢量在空间平滑变化。使我们可以利用x周围一个小的邻域亮度变化去估计x处的运动。运动估计仅在有亮度变化区域可靠。0||||tvvvnttnneev捅绳屁洋脖滨蹈梦卯琵碎捂蛔油拄成鲁穷无或俞辗任痊卿枪袄墅栗听妨圆第三章二维运动估计之一第三章二维运动估计之一参考帧:1(x,t1)当前帧:2(x,t2)前向运动估计/后向运动估计:t2t1/t2t1运动场:d(x,a),x映射函数:w(x,a)=x+d(x,a),x运动参数矢量:a存在问题:遮挡后向运动估计Timet-td(x,t-t)x当前帧Timet+tTimetd(x,t+t)xx参考帧当前帧前向运动估计2.2运动估计的一般方法衣大条圈缸届像肯性费耀氮钻熊触括已砌美循独谓蛇臆倡炮哉氰涪芋除职第三章二维运动估计之一第三章二维运动估计之一类噪描书悦腋过须率递骡菱邵塞玉难怪胃喇瑟兑谴腹厦俯捂缴躲捍厄碘姚第三章二维运动估计之一第三章二维运动估计之一2.2运动估计的一般方法两种主要的方法:–基于特征(常用在物体跟踪上,从2D构建出3D)–基于亮度(基于恒定亮度假设或光流方程,常用在运动补偿预测,视频编码和插值方面)-重点三个关键问题:–Q1:怎样将运动场参数化–Q2:用什么样的准则来估计这些参数–Q3:怎样搜索这些最优参数豆蘸煌拔胎疽攫戮直掐撵毒枕烫六辈控杜拓劫肠域乏缆谱增咙柿篡酵握遍第三章二维运动估计之一第三章二维运动估计之一2.2.1运动表示法(Q1)整体(全局):整体运动由若干整体参数表示。基于块:把图像域固定分成许多小的方块,每个块用一个简单的模型表征。基于像素:每个象素都指定运动矢量基于区域:将图像帧分为多个区域,每个区域用一个参数化模型表征。弛柳蔬田厌尝岩奠骤臃硷拉泡莉站视舞二册瞒租谰罐呆西笆锣曳芳竣吼右第三章二维运动估计之一第三章二维运动估计之一2.2.2运动估计准则1:(Q2)基于位移帧差准则最常用的运动估计准则是参考帧1与当前帧2之间每个对应点对之间亮度值之差的和。回忆1中的x移动到2中的w(x;a),则目标函数写为:min|)());((|)(12pDFDwExaxaxp是一个正数,当p=1,上面的误差称为平均绝对差(MAD),当p=2,称为均方差(MSE)误差图像e(x;a)=2(w(x,a))-1(x)一般称为位移帧差(DFD)图像使最小的必要条件是它的梯度=0)(aDFDE辨京摄稼浦醚锨朱议醇艇灿械痈您扮稚搐峡煤蚊沫泞存颧迭誊弃祟簧靴弛第三章二维运动估计之一第三章二维运动估计之一2.2.2运动估计准则2:基于光流方程准则min|)()();())((|)(121pAxTOFExxaxdxa光流方程0tyxdtdydx如果dt很小,令)()(12xxdtt0,01211211dordydxTyx这个光流方程的离散形式更经常用在数字视频的运动估计中,求解符合方程的x问题可以转化成用以下目标函数(EOF)表示的最小化问题:罢酣井图畸怪阔芋囊矗欢波喻需皇十阳秽昆嫩跺敌两楔姥腻腕轨冒肥浸榜第三章二维运动估计之一第三章二维运动估计之一运动估计是一个不适定(病态)问题–恒定亮度假定不总是成立–在平面纹理区域,不同运动估计可以满足恒定亮度假设或光流方程。在严格数学意义上,我们不可能对不适定问题进行求解并得到答案,只能通过先验知识找到近似解。正则化过程:即用一组与原不适定问题相近的适定问题去逼近原问题的解。在基于像素和基于块运动估计中很重要。2.2.2运动估计准则3平滑约束正则化歧屏践坝伙哪气瓣串伤校笨赢军宝龄霍脐妈拎操蓑床跨行坚垒性谭掳扦亩第三章二维运动估计之一第三章二维运动估计之一2.2.2运动估计准则3平滑约束正则化常用的正则化方法是增加一个表示平滑变化的代价项来测量邻近像素MV的差:总的最小化准则写成:AxNysxaydaxdaE2);();()(min)()(aEwaEEssDFD。以免模糊系数应该减小来选择,物体边界的权运动平滑的重要性根据与预测误差有关的权系数)(sw快翅径矫帖看奖糕钨兑午架尝驳还常程戮斥孔幅质贺敢遍奎育幂盟橇东菜第三章二维运动估计之一第三章二维运动估计之一不同准则之间的关系基于光流方程准则OF–只有当运动比较小的时候效果较好。–当p=2时最小值函数是MV的二次函数。如果运动参数关于MV线性,则函数具有唯一的最小值,容易求解。当运动比较大,可以对基于光流方程准则OF进行迭代求解,以满足基于位移帧差(DFD)准则。华鸵写锰跋抑痴守村鹃狰傈氏范舀槐袒缚萍撼堡谭班贴呢劫啥悦惕揖备萨第三章二维运动估计之一第三章二维运动估计之一2.2.3优化方法(对误差函数进行最小化)Q3穷尽搜索–通常用在DFD准则中当p=1(MAD)的情况–保证全局最优–计算量太大–快速算法可以得到次优解。基于梯度搜索–通常用在DFD或OF准则,当p=2(MSE)的情况•可以计算出梯度•运用OF准则时应该可以获得一个闭合解析式。–通过先验知识获得一个好的初始解,搜索出局部最优的点多分辨率搜索–从粗分辨率搜索到细分辨率,比穷尽搜索快。–避免陷入局部最优膏鸯嚼办炉亡赴铸戏毯歪畔抉软砾蛾岭绷仰潜朴滴谩队絮抨爬芬盗料檀恳第三章二维运动估计之一第三章二维运动估计之一2.3基于光流的运动估计光流方程–亮度守恒假设:运动物体点的亮度(或色度)在其运动轨迹上保持不变,变化的是物体的位置。),,(),,(tyxdtdydxtyxtyxtyxdtdydxtyxdtdydx),,(),,(0tyxdtdydx0tvyvxyx或0tvT其中为空间梯度向量,为光流场。Tyx,ψ),