使用粒子滤波器实现电子稳像

第１７卷　第５期２００９年５月　　　　　　　　　　　光学精密工程　ＯｐｔｉｃｓａｎｄＰｒｅｃｉｓｉｏｎＥｎｇｉｎｅｅｒｉｎｇ　　　　　　　Ｖｏｌ．１７　Ｎｏ．５　Ｍａｙ２００９　　收稿日期：２００８０６１１；修订日期：２００８０８１５．　　基金项目：军队十一五预研项目（Ｎｏ．４０４０１０２０４）文章编号　１００４９２４Ｘ（２００９）０５１１０５０６使用粒子滤波器实现电子稳像姚　军１，蒋晓瑜１，杜登崇１，汪　熙１，纪红霞２（１．装甲兵工程学院控制工程系北京１０００７２；２．中国人民解放军６１１３５部队北京１０２２１１）摘要：提出用粒子滤波器来实现视频序列的稳像，解决了视频序列的帧间不稳定问题。提出的稳像算法从视频图像中提取角点特征，建立当前帧与参考帧之间的映射关系，然后根据仿射变换模型求取最小二乘解来获得帧间的全局运动参数，最后利用粒子滤波平滑运动参数，实现帧间的实时运动补偿。对包含８０帧场景的视频序列进行了实验，稳像后视频序列的平均峰值信噪比比稳像前提高了２４．８８，同时稳像精度＜１ｐｉｘｅｌ，处理时间＜３０ｍｓ。实验结果表明，本文算法能有效地改善图像质量，在去除高频抖动的同时能较好地保留摄像机的主动运动，稳像效果良好。关　键　词：粒子滤波；角点检测；全局运动估计；电子稳像中图分类号：ＴＮ９４１．１　　文献标识码：Ａ犇犻犵犻狋犪犾犻犿犪犵犲狊狋犪犫犻犾犻狕犪狋犻狅狀犫犪狊犲犱狅狀狆犪狉狋犻犮犾犲犳犻犾狋犲狉ＹＡＯＪｕｎ１，ＪＩＡＮＧＸｉａｏｙｕ１，ＤＵＤｅｎｇｃｈｏｎｇ１，ＷＡＮＧＸｉ１，ＪＩＨｏｎｇｘｉａ２（１．犇犲狆犪狉狋犿犲狀狋狅犳犆狅狀狋狉狅犾犈狀犵犻狀犲犲狉犻狀犵，狋犺犲犃犮犪犱犲犿犻犮狅犳犃狉犿狅狉犲犱犉狅狉犮犲犈狀犵犻狀犲犲狉犻狀犵，犅犲犻犼犻狀犵１０００７２，犆犺犻狀犪；２．犝狀犻狋狅犳６１１３５，狋犺犲犆犺犻狀犲狊犲犘犲狅狆犾犲’狊犔犻犫犲狉犪狋犻狅狀犃狉犿狔，犅犲犻犼犻狀犵１０２２１１，犆犺犻狀犪）犃犫狊狋狉犪犮狋：Ａｄｉｇｉｔａｌｉｍａｇｅｓｔａｂｉｌｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎａｐａｒｔｉｃｌｅｆｉｌｔｅｒｉｓｐｒｅｓｅｎｔｔｏｒｅｍｏｖｅｔｈｅｉｎｔｅｒｆｒａｍｅｖｉｂｒａｔｉｏｎｏｆｖｉｄｅｏｉｍａｇｅｓ．Ｆｉｒｓｔｌｙ，ｔｈｅｃｏｒｎｅｒｓｏｆｖｉｄｅｏｉｍａｇｅｓａｒｅｅｘｔｒａｃｔｅｄｕｓｉｎｇＨａｒｒｉｓｏｐｅｒａｔｏｒｓ，ｔｈｅｎｔｈｅｍａｐｐｉｎｇｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎｔｈｅｃｕｒｒｅｎｔｆｒａｍｅａｎｄｔｈｅｒｅｆｅｒｅｎｃｅｆｒａｍｅｉｓｅｓｔａｂｌｉｓｈｅｄａｎｄｇｌｏｂａｌｍｏｔｉｏｎｖｅｃｔｏｒｓａｒｅｏｂｔａｉｎｅｄｂｙｃｏｍｐｕｔｉｎｇｌｅａｓｔｓｑｕａｒｅｓｏｌｕｔｉｏｎｂａｓｅｄｏｎａｎａｆｆｉｎｅｔｒａｎｓｆｏｒｍａｔｉｏｎｍｏｄｅｌ．Ｆｉｎａｌｌｙ，ｔｈｅｐａｒｔｉｃｌｅｆｉｌｔｅｒｉｎｇｉｓｕｓｅｄｔｏｓｍｏｏｔｈｍｏｔｉｏｎｖｅｃｔｏｒｓｔｏｒｅａｌｉｚｅｔｈｅｍｏｔｉｏｎｃｏｍｐｅｎｓａｔｉｏｎｏｆｖｉｄｅｏｆｒａｍｅｓ．Ｅｘｐｅｒｉｍｅｎｔｓａｒｅｕｎｄｅｒｔａｋｅｎｆｏｒａｖｉｄｅｏｓｅｑｕｅｎｃｅｗｉｔｈ８０ｆｒａｍｅｓ，ｉｔｃｏｕｌｄｂｅｆｏｕｎｄｔｈａｔｔｈｅａｖｅｒａｇｅＰｅａｋＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏ（ＰＳＮＲ）ｏｆｔｈｅｉｍａｇｅｓｅｑｕｅｎｃｅａｆｔｅｒｉｍａｇｅｓｔａｂｉｌｉｚａｔｉｏｎｉｓ２４．８８ｈｉｇｈｅｒｔｈａｎｔｈａｔｏｆｔｈｅｏｒｉｇｉｎａｌｖｉｄｅｏｓｅｑｕｅｎｃｅｗｈｉｌｅｐｒｏｖｉｄｉｎｇｔｈｅｉｍａｇｅｓｔａｂｉｌｉｚａｔｉｏｎａｃｃｕｒａｃｙａｎｄｔｈｅｐｒｏｃｅｓｓｉｎｇｔｉｍｅｌｏｗｔｈａｎ１ｐｉｘｅｌａｎｄ３０ｍｓｒｅｓｐｅｃｔｉｖｅｌｙ．Ｔｈｅｓｅｒｅｓｕｌｔｓｓｈｏｗｔｈｅｐｒｏｐｏｓｅｄｓｔａｂｉｌｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｉｍｐｒｏｖｅｓｉｍａｇｅｑｕａｌｉｔｙｅｆｆｅｃｔｉｖｅｌｙ，ａｎｄｉｔｃａｎｎｏｔｏｎｌｙａｌｌｅｖｉａｔｅｔｈｅｖｉｂｒａｔｉｏｎｂｕｔａｌｓｏｃａｎｐｒｅｓｅｒｖｅｔｈｅｉｎｉｔｉａｔｉｖｅｍｏｔｉｏｎｏｆｔｈｅｃａｍｅｒａ．犓犲狔狑狅狉犱狊：ｐａｒｔｉｃｌｅｆｉｌｔｅｒ；ｃｏｒｎｅｒｄｅｔｅｃｔｉｏｎ；ｇｌｏｂａｌｍｏｔｉｏｎｅｓｔｉｍａｔｉｏｎ；ｄｉｇｉｔａｌｉｍａｇｅｓｔａｂｉｌｉｚａｔｉｏｎ１　引　言　　电子稳像是应用计算机数字图像处理和电子技术的方法来直接对随机运动或抖动的摄像机所获取的动态图像序列进行修改、重排，确定图像序列的帧间偏移并进行补偿，以使动态图像在监视器上能平稳显示的一种视频稳定技术［１］。电子稳像具有稳定精度高、体积小、重量轻、功耗低以及能实时处理等特点，在国外已应用于摄影、航空侦察、跟踪和监视等各种任务中［２５］。电子稳像的关键技术包括图像序列帧间的运动估计和运动补偿。运动估计是通过算法估算出图像序列运动偏移量的过程。运动补偿是利用数字图像处理的方法使图像上的像素按被检测出的运动偏移反方向做相应移动，实现图像的行、列序列重组，从而实现图像序列稳定，使监视器上输出清晰图像的过程。如果运动估计阶段能够准确地估计出帧间运动矢量，并在运动补偿阶段获得适当修正，去掉不希望的随机抖动，保留摄像机的主动运动矢量，稳像的结果将是令人满意的平稳图像。本文采用Ｈａｒｒｉｓ角点检测算法获得参考图像和当前图像中的角点，然后根据仿射模型建立一组方程，利用多个角点坐标作为输入，通过求解矛盾方程组获得最小二乘解，从而得到运动估计矢量，最后采用粒子滤波器对运动估计矢量做低通滤波，得到运动补偿矢量，通过对原始视频序列进行运动补偿，实现实时稳像。２　Ｈａｒｒｉｓ角点检测　　Ｈａｒｒｉｓ角点检测算法主要考虑像素邻域点的灰度变化，将与邻点亮度对比足够大的点定义为角点。与其它角点检测方法比，该算法具有较强的鲁棒性，并且检测质量高，易于工程实现。本文算法采用如下模板，分别将其命名为犜１，犜２和犜３。其中犜１是水平模板，犜２是垂直模板，犜３是均值模板。采用均值模板可以增强算法的抗噪能力。犜１＝－１　０　１－２　０　２－１　０　熿燀燄燅１，犜２＝－１－２－１０００熿燀燄燅１２１，犜３＝１　１　１１　１　１１　１　熿燀燄燅１．算法的具体步骤如下：（１）分别对原图象犳（狓，狔）使用水平模板犜１和垂直模板犜２进行卷积运算，获得水平和垂直方向的差分图像犇狓和犇狔；（２）分别从差分图像犇狓和犇狔中取出对应的差分结果犐狓与犐狔，构建自相关矩阵犆狅狏＝犐２狓犐狓犐狔犐狓犐狔犐２［］狔，对称矩阵中的犐２狓、犐狓犐狔与犐２狔分别作为２４ｂｉｔ位图像素的ＲＧＢ颜色值，构建图像ＣｏｖＩｍｇ；（３）ＣｏｖＩｍｇ与均值模板犜３进行卷积获得均值图像；（４）由均值图像通过公式（１）计算得到特征图像Ｄｓｔ；（５）对特征图像Ｄｓｔ进行阈值化，获得图像角点。（６）根据相邻两帧图像中角点相对位置变化很小的规律，对误匹配的角点进行过滤，获得两帧具有相同角点数量的匹配结果。ＰｉｘＤｓｔ＝｜ＰｉｘＡｖ［０］＋ＰｉｘＡｖ［２］｜槡２－ＰｉｘＡｖ［０］－ＰｉｘＡｖ［２］（）２２＋（ＰｉｘＡｖ［１］）槡２．（１）以下图１与图２就是相邻两帧图像的角点提取结果，图中的白点是放大的角点。图１　第一帧图像的角点Ｆｉｇ．１　Ｃｏｒｎｅｒｓｉｎｔｈｅｆｉｒｓｔｆｒａｍｅ６０１１　　　　　光学　精密工程　　　　　第１７卷　图２　第二帧图像的角点Ｆｉｇ．２　Ｃｏｒｎｅｒｓｉｎｔｈｅｓｅｃｏｎｄｆｒａｍｅ３　运动矢量估计　　获得视频序列相邻两帧图像对应的角点坐标位置后，根据仿射模型公式（２），通过匹配角点坐标，建立参考帧与当前帧的映射关系。　　　　狓犼狔［］犼＝犽犪１犪２犪３犪烄烆烌烎４狓犻狔［］犻＋犫１犫［］２，（２）其中（狓犼，狔犼），（狓犻，狔犻）分别是当前帧和参考帧对应的角点坐标，（犫１，犫２）是二维平移量，犽是变焦系数，描述缩放，犪１　犪２犪３　犪烄烆烌烎４＝　ｃｏｓθｓｉｎθ－ｓｉｎθｃｏｓ烄烆烌烎θ是正交的旋转矩阵，θ描述图像的旋转变换。变焦系数犽通过计算角点所对应的重心位置距离的变化率来获得［６］。在求得变焦系数犽后，方程只有３个未知量，而每一对匹配角点能够建立２个方程，所以只要２对角点就能求出参数（犪１，犪２，犪３，犪４，犫１，犫２）。为加强算法的稳定性，这里采用犖（犖≥２）对角点代入公式（２）中，求解矛盾方程的最小二乘解，从而获得运动估计矢量。４　基于粒子滤波的运动补偿　　在获得运动估计矢量后，采用粒子滤波器进行低通滤波，获得运动补偿矢量，实现实时稳像［７］。粒子滤波器作为滤波工具具有很好的平滑性、收敛性和鲁棒性，能逼近状态的最优估计，且适用于任意非线性非高斯的动态系统［８］。图３是粒子滤波的流程图：粒子滤波的具体实现步骤如下：图３　粒子滤波流程图Ｆｉｇ．３　Ｆｌｏｗｃｈａｒｔｏｆｐａｒｔｉｃｌｅｆｉｌｔｅｒａｌｇｏｒｉｔｈｍ（１）根据精度和速度要求确定粒子的数量，并给每个粒子赋初始状态。这里假定选取粒子数量为犖，每个粒子赋予权值１犖，且每个粒子都具有３个参数犜犻（＝θ犻，Δ犡犻，Δ犢犻），犻＝１，…，犖。粒子的初始值设置如下：θ犻＝θｉｎｉｔ＋犫１ξΔ犡犻＝Δ犡ｉｎｉｔ＋犫２ξΔ犢犻＝Δ犢ｉｎｉｔ＋犫３烅烄烆ξ．　犻＝１，…，犖，（３）其中犫１，犫２，犫３为常数，ξ为［－１，１］内的随机数。（２）确定状态转移方程，对每个粒子进行状态预测。这里假设摄像机有扫描运动，所以取二阶状态方程：犣犜狋＝犃犣犜狋－１＋犅犣犜狋－２＋犆ω狋－１。对粒子犖犻有：θ犻狋＝犃１θ犻狋－１＋犅１θ犻狋－２＋犆１ω狋－１Δ犡犻狋＝犃２Δ犡犻狋－１＋犅２Δ犡犻狋－２＋犆２ω狋－１Δ犢犻狋＝犃３Δ犢犻狋－１＋犅３Δ犢犻狋－２＋犆３ω狋－烅烄烆１犻＝１，…，犖，（４）其中犃１、犃２、犃３、犅１、犅２、犅３、犆１、犆２、犆３为常数，ω狋－１为［－１，１］内的随机数。（３）系统观测过程。对各个粒子传播后进行观测，观察每个粒子所代表的可能状态和真实状态之间的相似程度，接近真实状态的粒子赋予较大的权值，反之权值较小。这里采用绝对差值函数作为衡量工具，定义如下：犃犅犇犉＝（Δ犡－Δ犡′）２＋（Δ犢－Δ犢′）槡２＋犆犳｜θ－θ′｜，（５）其中Δ犡、Δ犢、θ是当前预测值，Δ犡′、Δ犢′、θ′是利用角点匹配解超定方程所获得的估计值。犆犳是一个与视频图像尺寸有关的系数，假设视频图像的长和宽分别为ｉｍｇｌｅｎｔｈ、ｉｍｇｗｉｄｔｈ，犆犳定义为：犆犳＝０．２５×（ｉｍｇｌｅｎｔｈ）２＋（ｉｍｇｗｉｄｔｈ）槡２．（６）根据公式（５）和（６）定义观测概率密度函数为：狆（狕犽｜狓犻犽）＝ｅｘｐ－１２σ２犃犅犇犉｛｝犻　犻＝１，…，犖，（７）其中σ为常数。粒子的权值递推公式定义如下：７０１１第５期　　　　　　　　姚　军，等：使用粒子滤波器实现电子稳像狑犻犽＝狑犻犽－１狆（狕犽｜狓犻犽）．（８）（４）后验概率计算，获得运动估计矢量的滤波结果。运动补偿过程中所期望的运动补偿参数（θｏｐｔ犽，Δ犡ｏｐｔ狋，Δ犢ｏｐｔ狋）可以由各粒子的加权和来表示，即：θｏｐｔ犽＝∑犖犻＝１狑犻犽θ犻犽，Δ犡ｏｐｔ犽＝∑犖犻＝１狑犻犽Δ犡犻犽，Δ犢ｏｐｔ犽＝∑犖犻＝１狑犻犽Δ犢犻犽．（５）粒子重采样过程，即在出现某些粒子权值太小时，从权值大的粒子上衍生出一些粒子来代替它们。具体过程就是：定义一个阈值，当某些粒子的权值达到某个下限后就执行该过程，而该粒子的“后代”粒子的权值重新设置为１犖。重采样过程与前面其它过程无关。５　滤波器参数设置与实验结果　　粒子滤波器的参数设置将直接决定其滤波性能。初始化阶段（θｉｎｉｔ，Δ犡ｉｎｉｔ，Δ犢ｉｎｉｔ）的设置，影响滤波器的跟踪起点，该值越是接近正确的稳像参数，滤波器进入稳定跟踪状态的时间就越短，在没有稳像参数先验信息的情况下，通常将其设为０。常数（犫１，犫２，犫３）决定初始值的变化范围，一般取稳像参数的最大幅值。状态转移阶段（犃１，犃２，犃３），（犅１，犅２，犅３），（犆１，犆２，犆