目标检测、目标跟踪报告

视频监控小组工作报告报告人：蒋老师09.11.17HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab2运动目标分片跟踪报告内容1234马尔可夫随机场分割全局运动估计车辆检测与跟踪5图像超分辨率重建HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab3动态场景的运动检测•视频图像中的目标检测与跟踪，是计算机视觉的基础课题，同时具有广泛的应用价值。•依照目标与摄像头之间的关系：静态场景目标检测相对简单，研究渐趋成熟动态场景相对复杂，成为当前研究领域的热点静态场景帧差的一个例子HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab4视频序列运动检测•对于动态场景，由于目标与摄像头之间存在复杂的相对运动，运动检测富有挑战性。传统的帧差方法已经不再适用，如何能对全局的运动进行估计和补偿，成为问题的关键。第一帧帧差图像HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab5解决思路•要检测动态场景中的运动目标，关键在于对场景的运动进行估计，通过估计出的运动参数补偿其运动，最后使用帧差法得到运动目标。提取特征点特征点匹配最小二乘求运动参数提取特征点前一帧图像后一帧图像运动补偿帧差法运动目标HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab6求解全局运动参数前一帧后一帧求特征点并匹配运动补偿补偿后的帧差图像HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab7实验结果与普通帧差法的比较第50帧第80帧第5帧帧差法特征匹配的方法原序列HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab8基于图像金字塔分解的全局运动估计•采用了3层金字塔进行多分辨率计算,而且在每层迭代计算中,将基于块的外点去除算法与特征点提取算法相结合,这样既加快了算法的速度,又提高了计算结果的准确性。HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab9基本步骤如下：•用高斯图像构造法构造图像金字塔；•对金字塔顶层图像进行全局运动估计，求得运动参数；•将顶层金字塔求得的参数集隐射到金字塔的中间层，并对该层进行全局运动估计，求得相应的运动参数；•将金字塔中间层的参数集映射到金字塔的底层,对该层进行全局运动估计，求得该层的运动参数集,即最终求得的参数集。•利用求得的最终参数集，对图像进行运动补偿，将运动补偿后的图像与前一帧图像进行差值。HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab10下图给出了运动补偿与直接帧差的结果比较图1Coastguard序列图像图2直接帧差和运动补偿后的差值图比较HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab11运动目标分片跟踪报告内容1234马尔可夫随机场分割全局运动估计车辆检测与跟踪5图像超分辨率重建HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab12目标分割的意义与现状•运动目标的准确分割，对于获取目标的特征信息非常重要，直接影响到进一步的运动目标跟踪的处理，传统的运动目标分割的算法主要有背景差分，相邻帧间差分，光流场的方法，这些方法都有各自的缺点和不足，不能满足准确分割运动目标的要求。HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab13•Ohlander等提出了一种多维直方图阈值化分割方法，该方法直方图阈值法不需要先验信息，计算量较小,但缺点是单独基于颜色分割得到的区域可能是不完整的，而且没有利用局部空间信息，分割不准确。HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab14马尔可夫随机场分割•目前基于马尔可夫随机场随机场（MRF）运动目标分割的方法在图像分割领域影响越来越大，该方法与传统方法和阈值法相比，由于基于MRF的运动目标分割方法同时考虑了图像颜色信息和空间关联信息，因此分割效果较好。HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab15•另外，MRF参数选取的好坏会直接影响到分割结果，Smits等研究雷达图像分割时表明，马尔可夫参数如果较大容易形成较长的边缘，较小容易形成微边缘，而固定的马尔可夫参数则使目标的轮廓模糊，对分割出的目标准确判断产生不利影响。HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab16•因此，我们提出一种基于自适应权值的区域马尔可夫随机场的分割方法，结合分水岭预分割算法，并利用形态滤波对分割结果进行修正，较好地解决了分割不准确，目标信息丢失的问题。HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab17基于MRF的运动目标分割•马尔可夫随机场是把一维因果马尔可夫链扩展成二维的结果，Hammersley-Clifford定理指出了MRF和Gibbs分布之间的等价性，每个MRF都可以用一个Gibbs分布来描述，这样就解决了MRF概率难求的问题。HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab18•Gibbs分布可定义成如下公式：()1()()UzwTwpzezwQ图像上每一点的概率分布()(()|)ccCUzVzxxCHFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab19•对于一帧CIF图像，存在一系列的像素点，对于这些点存在一标记场和事先观察场，这样马尔可夫随机场的运动目标分割的问题可以归结为在事先观察场和其它一系列约束条件下，确定运动目标区域和背景区域的二值标记问题。HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab20MRF运动目标分割结果一（a）实验序列1（b）固定阈值二值化（c）高斯模型分割（d）自适应值MRF分割HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab21MRF运动目标分割结果二（a）实验序列2（b）固定阈值二值化（c）高斯模型分割（d）自适应值MRF分割HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab22运动目标分片跟踪报告内容1234马尔可夫随机场分割全局运动估计车辆检测与跟踪5图像超分辨率重建HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab23分片跟踪•为什么引入分片跟踪：在目标跟踪领域，一个重要的难题就是目标的遮挡问题，因为遮挡发生时目标可能部分或全部不可见。模拟人眼跟踪目标的方式，发生遮挡时，人眼会关注目标的可见部分来继续跟踪。受这一思想启发，我们将目标分成多个小片，目标被遮挡时，利用“可见片”来跟踪。HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab24分片跟踪•主要思想：将目标分片，建立目标分片表现模型（模板）。在目标上一帧的位置周围遍历搜索，找到与目标模板相似度最高的候选目标作为跟踪结果。当前帧上一帧目标位置候选目标位置搜索窗口目标分片HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab25分片跟踪其中相似度的度量是通过各片的空间直方图匹配来实现的。确定目标位置后，判断目标中各片的有效性，我们仅利用有效片进行下一帧的跟踪。被遮挡的区域片基本丢失HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab26•模板更新由上可见这种分片方法已经可以很好的解决遮挡问题。但是在跟踪过程中，目标的外观模型可能发生变化（例如目标转身、尺寸变化等等）。那么刚开始为目标建立的模板就不能很好的表示目标，这将影响跟踪效果。HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab27•目标外观变化时片匹配的情况外观缓慢变化时，丢失的片很少HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab28•利用有效片的概念，我们为每个目标建立两种模板，临时模板和参考模板。•临时模板—实时更新的模板，在无遮挡情况下跟踪，可以解决目标外观缓慢变化的问题。•参考模板—能够很好的表示目标的模板，用于遮挡情况下的跟踪。HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab29分片跟踪•多组实验结果：1.可以有效的解决目标遮挡2.在目标表现模型缓慢变化的情况下，实时更新模板3.在背景较为简单的情况下实现目标尺度的更新HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab30分片跟踪•遮挡下的跟踪HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab31分片跟踪•目标表现模型的变化时的跟踪HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab32•目标尺度发生变化HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab33运动目标分片跟踪报告内容1234马尔可夫随机场分割全局运动估计车辆检测与跟踪5图像超分辨率重建HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab34车辆检测与跟踪包括以下两方面内容：•基于码本更新的检测与跟踪方法•基于轮廓匹配的检测与跟踪方法HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab35车辆检测与跟踪概述智能交通系统：(IntelligentTransportSystems,ITS)HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab36车辆检测与跟踪概述影响车辆检测和跟踪的主要因素：（1）车辆自身阴影；（2）车辆间相互遮挡或车辆被背景中物体遮挡；（3）同车型车辆之间具有较大的相似性；（4）光线突变；（5）夜晚和雨、雪等恶烈天气等。主要针对（1）、（2）两种情况开展研究HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab37车辆检测与跟踪概述车辆检测：改进的码本算法解决车辆检测中的阴影问题;车辆跟踪:Kalman预测的方法解决车辆跟踪中的遮挡问题;HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab38基于改进码本的车辆检测方法运动检测方法：•帧间差分方法•光流场方法•背景减法构建较为理想的背景模型HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab39常用背景建模和更新算法混合高斯模型(MixtureofGaussians,MOG)：能处理复杂、非静止的多模态背景，但它不能适应快速的背景变化,对噪声变化比较敏感；基于内核密度估计(kerneldensityestimation,KDE)的非参数背景模型：需要大量内存来存储先前的数据，需要很高的计算开销；基于Bayes决策的方法：在场景比较复杂或前景与背景颜色比较接近时，提取的前景目标很不完整HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab40基于码本模型的运动目标检测方法KimK，ProceedingsofIEEEInternationalConferenceonImageProcessing；2004算法是利用量化和聚类技术来构建背景模型；针对彩色监控视频,对背景中的每一个像素点进行一段时间的采样，采样值聚类成码本的形式，码本就代表了背景模型。运动检测时，对新输入的像素值与其对应码本做比较,如果能找到与其匹配的码字，则认为该像素点为背景点，否则为前景点。HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab41基于码本模型的运动目标检测方法码本方法：计算聚类均值和样本与它的距离,不涉及概率运算,运算速度较快；码本方法能处理高亮和阴影问题，而且训练时允许有前景运动目标。该算法具有较强的鲁棒性，能实现对运动目标较好的检测。HFUT-TIDSPUnitedLabHFUT-TIDSPUnitedLab42基于码本模型的运动目标检测方