基于多特征融合的视频跟踪系统

L/O/G/O基于多特征融合的视频跟踪系统研究与实现项目组成员：贺鹏李超指导教师：孙俊清教授演讲者：贺鹏演讲材料制作：李超主要内容•研究内容及意义•视频跟踪技术的优势•面临的困难•目前的主流方法•项目的方案•解决办法及创新点•我们的优势•进程安排研究内容及意义•目标跟踪技术就是在下一帧图像中找到目标的确切位置并反馈给跟踪系统进行跟踪，为视频序列分析和理解提供重要的基础运动信息和数据。研究内容及意义•在视频监控、机器人导航、视频传输、视频检索、医学图像分析、气象分析等许多领域有着广泛的应用。视频跟踪技术的优势•与传统的雷达系统相比，视频跟踪系统采用摄像机或者其它光学系统等比较廉价的设备，采用被动式工作模式（即工作时不向外辐射无线电波，不易被敌方的电子侦察设备发现），因此具有更高的性价比、一定的隐蔽性和抗电子干扰的能力。“眼见为实”的视频跟踪系统，可以从视频监视器上直接看到运动目标图像，获得关于运动目标更丰富的信息，因此具有很好的直观性和可靠性。面临的困难•就目前来说，一般意义上的视频跟踪技术还远未成熟，要开发出真正可靠、实用的视觉跟踪应用系统还需要开发更为健壮的核心算法。在运动目标通过摄像机的检测区域过程中，运动目标的图像可能发生明显的变化：1.运动目标被其他目标或者背景部分或者完全遮挡2.环境光线亮度的变化3.运动目标的尺度伸缩的变化4.运动目标姿态和形状的变化目前的主流方法•目标跟踪包括两步：目标的特征表示及基于该特征的跟踪•目标的特征表示：颜色，特征点，纹理，边缘，轮廓、直方图等但是单一特征的表示会导致目标跟踪的可信度大大降低。•我们解决方法：将多特征融合•目标跟踪算法(两种主流算法)•均值偏移算法：实时性好，但遮挡情况下容易陷入局部极值，造成误判•粒子滤波算法：抗遮挡和背景干扰，但计算量大，存在退化现象•我们解决的方法：将两种算法巧妙融合项目的方案•综合直方图的目标特征描述：以目标本身及其背景作为研究对象，基于颜色直方图和梯度方向直方图的综合直方图，同时利用SIFT的方向方法来解决HOG特征对目标旋转比较敏感的弱点。多尺度的综合直方图包含了目标颜色、边缘方向、局部轮廓以及类似于SIFT等特征的描述，从而可以很好地在目标尺度伸缩变化、部分遮挡以及形变等情况下对目标进行有效地表达。项目的方案（续）•利用均值偏移法算法将粒子滤波器产生的粒子反复迭代至稳定，将其聚集至所在区域的局部最大值，从而提高粒子的使用效率，大幅度减少对粒子数的需求。进度安排•（1）2010.9-2011.3：完成基本的均值偏移算法和粒子滤波追踪算法，进行多种特征的提取。•（2）2011.3-2011.9：均值偏移与粒子滤波方法的融合与优化。•（3）2011.10-2011.12：跟踪框架算法和多种特征的结合进行跟踪实验。•（4）2012.1-2012.3：综合调试，完善，撰写结题报告，结题。特色与创新点•1)针对视频跟踪中遮挡、尺度变化等问题，提出综合直方图和SIFT合提取目标特征的方法。•2)将均值偏移法算法融合到粒子滤波算法中，提高粒子滤波的算法的运算速度，实时性好.我们的优势•团队成员英语能力较强，可以通过短时间的强化训练获得很高的英语阅读能力，可以从英文文献中获得国际性的理论与实践上的技术性的支持。•团队成员关系亲密，在同一间寝室生活，有助于经常讨论技术性问题，并且团队成员踏实肯干，而且思维活跃，逻辑能力强，数学基础好，是我们在遇到困难的数学问题时也不会手足无措，最终能将问题一一化解。L/O/G/OThankYou!