中央民族大学本科生研究训练计划立项

中央民族大学本科生研究训练计划立项申请书中央民族大学本科生研究训练计划立项申请书基于立体视觉的自动跟随智能购物车的设计与实现DesignandImplementationofIntelligentShoppingCartwithAutomaticTrackingbasedonStereoVisionTechnique团队成员：覃姝缘陈彦晓张隆基学院：信息工程学院专业：电子信息工程中央民族大学本科生研究训练计划立项申请正文2中央民族大学本科生研究训练计划立项申请书基于立体视觉的自动跟随智能购物车的设计与实现目录一、立项依据.....................................31项目研究背景及意义.....................................................32国内外现状.............................................................42.1.视觉平台.........................................................42.2.运动目标检测与跟踪...............................................42.3.双目视觉.........................................................53学术价值及应用价值.....................................................64团队及成员优势.........................................................6二、研究目标、内容、关键问题和主要特色............71研究目标...............................................................72研究内容...............................................................72.1.功能组成.........................................................72.2.工作原理.........................................................83主要特色及创新点......................................................164有待解决的问题........................................................164.1.建立一体化双目视觉平台的系统体系结构............................164.2.双目协调机制研究................................................17三、预期效果与具体成果..........................171自动跟随..............................................................172罗列清单..............................................................173测重..................................................................174识别打折信息..........................................................175记账..................................................................18四、具体安排及进度..............................18五、经费预算....................................19参考文献........................................20附件............................................22中央民族大学本科生研究训练计划立项申请正文3一、立项依据1项目研究背景及意义随着人民生活水平不断提高，为满足广大消费者购物需求，各种连锁超市应运而生，超市购物越来越受到广大消费者青睐。但在购物过程中，特别是在规模大、品种多的大型综合超市中，手推式购物车使顾客感到疲惫，另外，顾客时常找不到所需购买物品的位置、无法及时了解超市商品打折信息，这些浪费了顾客的宝贵时间，扰乱了他们的购物心情，从而一定程度上影响超市营业额。另外，收银台结帐时的排队问题，特别是周六、日或者节假日，收银台处的长龙着实让顾客望而却步。那么，有无一种设备能够减少结账时的冗繁环节，同时能为顾客提供打折信息和自动导航呢？本小组成员在进行了多方面调研（见附件），并与导师深入交流之后，发现将仿生人眼的双目视觉系统应用在超市智能购物车中能够一定程度上有效地解决上述问题。在小组成员共同努力和导师的帮助下，通过认真思考，对基于双目视觉系统的自动跟随智能购物车进行了可行性分析，该车除了能够实现自动跟随购物者外，还能自动识别打折信息，并通过语音和显示屏告知购物者，购物者可查看购物清单和物品金额、同时能够测量所购物品的重量，人性化地提醒购物者注意物品轻重。其简单的结构和低廉的成本将会受到购物者和超市的青睐。双目立体视觉(BinocularStereoVision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像，如图图1.视差图像Fig1.DisparityImage双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系进行描述，把过去的简单二维图像分析推广到了复杂的三维场景，标志着立体视觉技术的诞生。随着研究的深入，研究的范围从边缘、角点等特征的提取，线条、平面、曲面等几何要素的分析，直到对图像明暗、纹理、运动和成像几何等进行分析，并建立起各种数据结构和推理规则。特别是上世纪80年代初，Marr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括，创立了视觉计算理论框架[1]。中央民族大学本科生研究训练计划立项申请正文42国内外现状2.1.视觉平台1997年美国国防部高级研究项目署(DARPA)设立了以卡内基梅隆大学为首，麻省理工学院等高校参与的视觉监控项目VSAM(Visualsurveillanceandmonitoring)[2],该系统能够用于普通民用场景以及战场的实时监控，卡内基梅隆大学在该系统建成之后，建立了一个校园监控系统。PASSWORDS(Parallelandadvancedsurveillancesystemwithoperatorassistanceforrevealingdangeroussituations)[3]系统是一个智能视频图像分析系统,用于实现视频监视以满足不同用户的安全要求。Pfinder(Personfinder)[4]系统用于实现对室内人员行为的实时监视与判定。此外，还有许多用于交通、军事等领域的智能监控平台。如Coifman等人[5]建立了一个基于视频图像处理系统(Videoimageprocessingsystem，VIPS)的交通监控系统，用于交通流量监控以及不同车型的统计。2.2.运动目标检测与跟踪运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。静态背景下运动检测就是摄像机在整个监视过程中不发生移动，只有被监视目标在摄像机视场内运动，这个过程只有目标相对于摄像机的运动；动态背景下运动检测就是摄像机在整个监视过程中发生了移动(如平动、旋转或多自由度运动)，被监视目标在摄像机视场内也发生了运动，这个过程就产生了目标与摄像机之间复杂的相对运动。已有常用算有[6]：相邻帧差法(TemporalDifference)，背景差分法(BackgroundSubtraction)，光流法(OpticalFlow)。目前，许多研究者都针对于运动检测困难中的某些方面(如剔除阴影、排除光照干扰等)提出了自己的解决方案，尽管已经有一些较成熟的方法可以实现目标检测的任务，但是不可否认的是目前仍然没有一种方法可以广泛地应用于各类目标检测的任务中，同时也没有一种方法可以保证有百分之百的检测率。这说明仍有许多如摄像机抖动、背景噪声、目标遮挡、光照变化、特殊场景检测、计算机硬件支持等问题需要解决。视觉跟踪(Visualtracking)问题是计算机视觉领域中的一个重要问题。视觉跟踪[7-14]，就是指对图像序列中的运动目标进行检测，提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度等，以及运动轨迹，从而进行进一步处理与分析，实现对运动目标的行为理解，以完成更高一级的任务。有文献对运动图像分析算法进行了总结[11]，将算法分为两类，一类是基于光流法的分析，另一类是基于特征点的分析。此后在视觉跟踪领域中，又出现了许多新的方法，最新文献将视觉跟踪方法分为四类，分别是基于区域的跟踪、基于特征的跟踪、基于变形模板的跟踪和基于模型的跟踪，这种分类方法概括了目前大多数视觉跟踪算法。视觉跟踪领域仍然面临不少难点问题。从控制的观点来看[15]，视觉跟踪问题所面临的主要难点可以归结为对视觉跟踪算法在三个方面的要求，即对算法的鲁棒性、准确性和快速性要求。此外，视觉跟踪技术所面临的更为一般的难题是：如何从图像序列中实现有效的图像分割和图像对应。图像分割问题目前尚未得到有效解决，而图像对应问题则是与模式识别紧密相连的人工智能难题。可见，实现一个具有鲁棒性、准确性和快速性的视觉跟踪系统还需要许多方面的努力。中央民族大学本科生研究训练计划立项申请正文52.3.双目视觉双目视觉[2-4,16-20]是计算机视觉的一个重要分支，是研究如何利用二维投影图像恢复三维景物世界，即由不同位置的两台或者一台摄像机经过移动或旋转拍摄同一副场景，通过计算空间点的两幅图像中的视差，获得该点的三维坐标值。双目视觉直接模拟人类双眼处理景物的方式，可靠简便，在许多领域均极具应用价值，如机器人导航，三维测量以及虚拟现实等。根据匹配算法使用的约束信息的不同，立体匹配算法总体上分为局域算法和全局算法两种[16]。局域算法利用的是对应点本身以及邻近的局部区域的约束信息，局域算法的优点是效率高，但是它对局部的一些由于遮挡和纹理单一等造成的模糊比较敏感，易造成误匹配。全局算法利用了图像的全局约束信息，对局部图像的模糊不敏感，但是它的计算代价很高。根据匹配基元的不同，局域算法主要分为区域匹配、特征匹配，以及相位匹配3种。为了找到一点在另一幅图像中的对应点，区域匹配法将该点周围的一个小区域(template)同另一幅图像中的一系列小区域(searchregion)进行比较，定为匹配点。通常，区域匹配算法的目的是获取致密的深度图，其适用于满足条件的立体视觉问题：光源可理想化为无穷远处的点光源，场景中的物体表面为完全漫反射，图像对之间的几何畸变和辐射畸变(或不一致的程度)很小。特征匹配是为使匹配过程满足一定抗噪能力且减少歧义性问题而提出。一般地，用于匹配的特征应满足以下特