基于彩色描述子SIFT的三维重建系统

项目编号：吉林大学“大学生创新创业训练计划”创新训练项目申请书项目名称基于彩色描述子SIFT的三维重建系统项目负责人００所在学院、年级、专业软件学院2013级软件工程联系电话电子邮件@qq.com指导教师姓名1职称指导教师姓名2职称填表日期20年月日吉林大学教务处制表填表须知一、本表适用于创新训练项目。本科生个人或团队，在校内导师指导下，自主完成创新性实验方法的设计、设备和材料的准备、实验的实施、数据处理与分析、总结报告撰写等工作。二、申报书请按顺序逐项填写，实事求是，表达明确严谨。空缺项要填“无”。三、申请参加大学生创新训练项目团队的人数为3—5人。四、申请项目，必须聘请教师作为指导老师，并请指导教师在申请书中的指导教师意见栏中签署意见。五、填写时可以改变字体大小等，但要确保表格的样式不变；不得随意涂改；A4纸正反面打印，左侧装订。六、本表由项目负责人报所在学院初审，学院签署初审意见后报送教务处实习与实验教学科（一式3份原件）。七、“项目编号”由教务处填写。八、申报过程有不明事宜，请与教务处实习与实验教学科联系，电话85166413。项目名称基于彩色描述子SIFT的三维重建系统项目起止时间2015年5月至2016年5月负责人姓名学院专业教学号联系电话E-mailQQ各类实验班院工程是□否■项目组成员工程是□否■学院工程4是□否■学院工程1是□否■是□否□指导教师1姓名职务/职称所在单位联系电话E-mail对本课题相关领域研究情况中国系统仿真学会仿真计算机与软件专业委员会委员，作为主要研究人员长期参与智能信息系统与嵌入式技术、计算机图像处理与可视化领域的研究，能够指导学生完成该项目。指导教师2姓名职务/职称所在单位联系电话E-mail对本课题相关领域研究情况项目性质1.小发明、小创作、小设计（）2.开放实验室或实习基地中的创新性实验或新实验开发（）3.基础性研究（）4.应用性研究（√）5.社会调研（）项目选题来源1.自主立题（√）2.教师科研课题的子项目（）项目学科类别计算机科学与技术项目受其他渠道资助情况（填“无”或具体资助来源和经费，包括获奖情况）无一、立项背景和依据（包括研究目的、国内外研究现状分析与评价、研究意义，应附主要参考文献及出处）人类利用眼睛以及大脑来获取视觉并感知外部世界。视觉，不仅是指对光信号的感受，它还包含对视觉信息的获取、传输、处理、存储以及理解等整个过程。计算机及数字信号处理理论出现后，人们开始利用摄像机来获得环境图像并将其转换为数字信号，通过计算机来实现对视觉信息处理的全过程，这样，就形成了一门新兴的学科——计算机视觉[1]，也称机器视觉。计算机视觉涉及到多个学科，对其进行研究需要了解包括计算机、信号处理、模式识别、控制理论、神经网络、数学以及神经生理学等方面的知识。计算机视觉的研究范围也相当广泛，主要包括：目标检测与识别、边缘提取、摄像机定标(CameraCalibration)、特征点提取与匹配以及三维重建等方面。SIFT特征匹配算法由Lowe在1999年首次提出，2004年完善并做出详细的总结和实现方法，是一种基于尺度空间的、对图像缩放、旋转甚至仿射变换依然保持不变性的基于特征的匹配算法。该算法能提取稳定的特征点，并处理两幅图像之间发生平移、旋转、仿射变换、视角变换等情况下的匹配问题，具有很强的鲁棒性，是目前匹配性能最好的，研究最广泛的一种基于特征的配准算法。在SIFT算法被提出后，国内外众多学者做了大量的改进研究，以提高特征匹配速度和匹配性能，尤其在基于灰度信息的SIFT改进算法上做了大量工作。在降维处理方面最著名的是Yanke在2004年提出的PCA-SIFT算法，他将主成分分析技术(PCA)应用于梯度图像，以获取PCA-SIFT特征向量进行图像匹配。该算法能够有效去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构，提高了SIFT特征描述向量的鲁棒性和匹配性能，同时减少了匹配时间[2]。2005年，MikolajczykK为增加描述子的鲁棒性和独特性，提出了GLOH(GradientLocationandOrientationHistogram)算法。该算法将SIFT的4x4的子块改成仿射状的对数-极坐标同心圆，然后生成272维特征向量，并用PCA对特征向量进行降维处理[3]。2005年，Mikolajczyk和Schmid在图像发生仿射变化、尺度变化、旋转变化、模糊、jpeg图像压縮和光照变化等情况下，对PCA-SIFT、SIFT.GLOH、形状上下文、旋转图像、可控滤波器、微分不变性、复数滤波器、矩不变性的描述子进行了对比实验，并对性能进行比较。结果表明，在以上各种变化的情况下，SIFT描述子的性能最好。2006年，Bay在SIFT算法基础上结合积分图像和Haar小波提出了具有尺度不变性和旋转不变性的SURF算法[4]，进一步提高了特征匹配速度和匹配精度，但不具有仿射不变性。2009年李伟沈将KPCA应用于SIFT特征描述子，提出一种KPCA-SIFT算法，克服了PCA-SIFT算法存储空间和复杂度较大的问题[5]。2009年，纪华等人提出一种结合全局信息的SIFT特征匹配算法，解决了图像中存在多个相似区域造成误匹配的问题[6]。2010年，XiangzengLiu等人将KICA应用于SIFT特征描述子，改善了经典SIFT特征描述子的仿射不变性和匹配速度[7]。2011年，刘向增等人针对SAR图像的配准，提出一种利用快速核独立成分分析提取仿射不变SIFT描述子的独立成分构建FKICA-SIFT描述子的方法[8]。颜色是一种重要的图像特征，它通常与图像中所包含的物体或场景有关，并描述了图像中的物体或场景的表面性质。颜色特征与其它的视觉特征相比，对图像的大小、方向、视角的变化不敏感，鲁棒性较强。如果忽略颜色信息，那么一类重要的描述物体特征的方式就丢失了，由此会造成目标识别或分类的错误，因此，引入颜色信息作为一种局部特征是十分有意义的。目前，众多学者开始对各种基于颜色信息的SIFT算法进行总结以及对其性能作评价和对比，并应用在图像识别和分类、目标跟踪、图像检索以及三维重建等方面。三维重建经过几十年的发展，出现了很多种方法。立体视觉作为计算机视觉的一个重要分支和研究热点，它是研究如何模仿人类视觉的立体感知过程的技术。采用立体视觉方法对物体进行三维重建，是指用数码相机(摄像机)作为图像传感器，综合运用图像处理、视觉计算等技术，用计算机程序自动获取物体的三维信息。立体视觉直接模拟了人眼的工作模式，可以在不同工作条件下获得目标的三维信息，计算非常灵活，这是其它计算机视觉方法很难完成的，因此对立体视觉展开研究，从视觉生理以及工程应用的角度两方面都非常有意义，该方法是三维重建的一个重要发展方向。近几年，随着科技的发展，成像设备的硬件制造成本不断下降，数码相机或者数码摄像机已经能够进入寻常百姓家。目前只要在网络上输入任意一个关键词均可搜索到大量关于所搜索内容的数字图片。利用基于图像的三维建模技术，我们可以直接根据这些图片恢复物体的三维几何结构，而且可以从图片中抽取三维点所对应的颜色值，从而构建出非常逼真的三维模型，给人以强烈的视觉震撼[9][10]。由于基于图像的三维重建需要的设备比较简单，因此它的研究成果将具有重大的应用前景，具备很大的应用价值。三维重建的用途相当广泛，它可以用于机器人导航、视觉监控、建筑制造等众多行业。同时在计算机虚拟现实、文物数字化、基于图像的绘制、影视特技等领域也有广泛的应用。目前，在军事、航天等领域同样可以见到基于图像的三维重建技术的身影。在军事上，我们可以利用机载相机拍摄的地面目标的一系列图像来获得要侦察或者打击目标的三维信息，为指挥员提供全方位的信息以便实现精确打击。在应用于航空、航天遥感时，可以对目标进行侦察与识别，尤其是目前我国正在大力进行探月工程研究，利用三维重建技术可以利用探测车自身携带的图像设备直接获得月球表面的三维环境信息。图像中都包含有大量的信息，这些信息是以图像点的方式存在，但是并不是所有的图像点都对三维重建过程产生帮助。只有那些比较特殊的图像点，它们跟其周围的图像点之间存在着明显差别，这些点被称作特征点(featurepoint)。如果我们能够在两幅图像中分别获得这些特征点的二维坐标，就能够利用它们进行三维重建。对特征点的检测与提取需要利用自动检测技术。[11]对拍摄的两幅图像的要求是要有足够的重叠区域以保证能够检测到足够多的匹配点。而能否提取并匹配到稳定准确的特征点是三维重建能否成功的关键。就目前存在的特征点检测算法来说，SIFT是一种比较有效且应用广泛特征提取算法。在研究基于颜色信息的SIFT描述子基础上，可以设计出具有更高复原度的三维重建系统。参考文献[1]马颂德,张正友.计算机视觉——计算理论与算法基础[M].北京:科学出版社,1998.[2]KeYan,SukthankarR.PCA-SIFT:Amoredistinctiverepresentationforlocalimagedescriptors[C].ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.WashingtonDC,USA:IEEEComputerSociety,2004:506-513.[3]MikolajczykK,SchmidC.Aperformanceevaluationoflocaldescriptors[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2005,27(10):1615-1630.[4]BayH,TuytelaarsT,GoolL.SRUF:SpeededupRobustFeatures[C].Proceedingsofthe9thEuropeanConferenceonComputerVision.Graz:IEEEComputerSociety,2006:404-417.[5]李伟沈,振废.基于KPCA-SIFT描述符的配准[j].信号处理,2009,25(4):644-648.[6]纪华,吴元昊,孙宏海,王延杰.结合全局信息的SIFT特征匹配算法[J].光学精密工程,2009,17(2):439-445.[7]LiuXZ,TianZh,LengChC.RemotesensingimageregistrationbasedonKICA-SIFTdescriptors[C].ProceedingsoftheSeventhInternationalConferenceonFuzzySystemsandKnowledgeDiscovery.Yantai,Shandong:IEEE,2010:278-282.[8]刘向增,田铮,史振广,陈占寿.基于FK1CA-S1FT特征的合成孔径图像多尺度配准[J].光学精密工程,2010,19(9):2186-2195.[9]汤伯超.基于SIFT算法的图像特征描述方法研究[D].广东工业大学,2012.[10]彭科举.基于序列图像的三维重建算法研究[D].国防科学技术大学,2012.[11]赵璐璐,耿国华,周明全,等.一种用于三维重建的彩色Sift准稠密匹配算法[J].计算机应用研究,2012,29(9):3543-3546.二、项目研究内容（项目主要研究内容；拟解决的关键问题、重点和难点）(1)通过增加色彩信息对SIFT算法进行改进。SIFT算法是一种基于尺度空间的，对图像缩放、旋转甚至仿射变换依然保持不变性的特征匹配算法。但经典SIFT算法的特征描述子由灰度图像生成，忽略了颜色信息，造成图像的匹配性能下降。目前，出现了多种针对彩色图像SIFT算法，如HSV-SIFT,OpponentSIFT,W-SIFT和RGB-SIFT等。这些彩色图像SIFT算法都是通过分别计算三个通道的128维特征向量，然后合成一个3*128维的特征向量，