北理工贾云德《计算机视觉》第一章-概论

ComputerVisionDepartmentofComputerScience@BIT计算机视觉ComputerVision北京理工大学计算机科学与工程系ComputerVisionDepartmentofComputerScience@BIT主讲：贾云得教授[e-mail]68940955助教：刘堂丽博士生[e-mail]68914849-810课代表：李善清[e-mail]68914849-808刘万春教授电话：68912051ComputerVisionDepartmentofComputerScience@BIT课程教材：参考教材：贾云得《机器视觉》科学出版社，2000课程网页：@BITMoreReadings1.JamesJ.Gibson,“TheEcologicalApproachtoVisualPerception”,LawrenceErlbaumAssociates,Inc.1986.2.DavidMarr,“AComputationalInvestigationintoHumanRepresentationandProcessingofVisualInformation”,FreemanCo.1982,中译本，视觉计算理论，姚国正等翻译，科学出版社，1988。3.B.K.P.Horn,“RobotVision,”TheMITPress,McGraw-HillBookCo,1986.ComputerVisionDepartmentofComputerScience@BIT课程考核方式：1.书面作业和课堂测验30分;2.上机作业30分;3.期末考试40分.规则：1.按时交作业（特殊情况须事先说明），过时不侯。2.课堂测验包括测验学过的内容，也包括预习过内容。3.上机作业要求能现场演示。ComputerVisionDepartmentofComputerScience@BIT第一章概论Chapter1IntroductionComputerVisionDepartmentofComputerScience@BIT1.引言•智能机器:能模拟人类的功能，能感知外部世界并有效地解决人所能解决问题．•感知系统：人类感知外部世界主要是通过视觉、触觉、听觉和嗅觉等感觉器官，其中约80%的信息是由视觉获取的．因此,对于智能机器来说，赋予机器以人类视觉功能对发展智能机器是及其重要的，也由此形成了一门新的学科—计算机视觉(也称计算机视觉或图像分析与理解等)．计算机视觉的发展不仅将大大推动智能系统的发展，也将拓宽计算机与各种智能机器的研究范围和应用领域．•计算机视觉：研究用计算机来模拟生物外显或宏观视觉功能的科学和技术．计算机视觉系统的首要目标是用图像创建或恢复现实世界模型，然后认知现实世界．ComputerVisionDepartmentofComputerScience@BIT2.计算机视觉发展•20世纪50年代归入模式识别----主要集中在二维图像分析和识别上，如，光学字符识别，工件表面、显微图片和航空图片的分析和解释等．•60年代MIT的Roberts通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述．Roberts的研究工作开创了以理解三维场景为目的的三维计算机视觉的研究．Roberts对积木世界的创造性研究给人们以极大的启发，许多人相信，一旦由白色积木玩具组成的三维世界可以被理解，则可以推广到理解更复杂的三维场景．•70年代，已经出现了一些视觉应用系统．70年代中期，麻省理工学院(MIT)人工智能(AI)实验室正式开设“计算机视觉”(MachineVision)课程，由B．K．P．Horn教授讲授．ComputerVisionDepartmentofComputerScience@BITMITAI实验室吸引了国际上许多知名学者参与计算机视觉的理论、算法、系统设计的研究，DavidMarr教授就是其中的一位．他于1973年应邀在MITAI实验室领导一个以博士生为主体的研究小组，1977年提出了不同于＂积木世界＂分析方法的计算视觉理论(computationalvision)，该理论在80年代成为计算机视觉研究领域中的一个十分重要的理论框架．ComputerVisionDepartmentofComputerScience@BIT研究热潮是从20世纪80年代开始的，到了80年代中期，计算机视觉获得了蓬勃发展，新概念、新方法、新理论不断涌现，比如，基于感知特征群的物体识别理论框架，主动视觉理论框架，视觉集成理论框架等．Marr的计算理论ComputerVisionDepartmentofComputerScience@BIT许多会议论文集都反应了该领域的最新进展，比如：Int.Conf.onComputerVisionandPatternRecognition(CVPR);Int.Conf.onComputerVision(ICCV);Int.Conf.onPatternRecognition(ICPR);EuropeanConf.onComputerVision(ECCV);AsianConf.onComputerVision(ACCV);．还有许多学术期刊也包含了这一领域的最新研究成果,如：IEEETrans.onPatternAnalysisandMachineIntelligence(PAMI);Int.JonComputerVision(IJCV);ImageandVisionComputing;PatternRecognitionLetter;PatternRecognition;IEEET[e-mail]的视觉计算理论Marr的视觉计算理论[Marr1982]立足于计算机科学，系统地概括了心理生理学、神经生理学等方面取得的所有重要成果，是视觉研究中迄今为止最为完善的视觉理论．Marr建立的视觉计算理论，使计算机视觉研究有了一个比较明确的体系，并大大推动了计算机视觉研究的发展．人们普遍认为，计算机视觉这门学科的形成与Marr的视觉理论有着密切的关系．Marr的视觉理论中的哲学意义和方法论.信息处理三个层次ComputerVisionDepartmentofComputerScience@BIT3.1信息处理三个层次表1-1计算理论表示和算法硬件实现计算的目的是什么？如何实现这个计算理论？在物理上如何实现为什么这一计算是合适的？输入、输出的表示是什么？这些表示和算法？执行计算的策略是什么？表示与表示之间的变换是什么？人脑不同于计算机是因为前者信息是并行加工的，后者是串行加工的，这种观点是错误的。ComputerVisionDepartmentofComputerScience@BIT3.2视觉表示框架第一阶段(也称为早期阶段)是将输入的原始图像进行处理，抽取图像中诸如角点、边缘、纹理、线条、边界等基本特征，这些特征的集合称为基元图(primitivesketch)；第二阶段(中期阶段)是指在以观测者为中心的坐标系中，由输入图像和基元图恢复场景可见部分的深度、法线方向、轮廓等，这些信息的包含了深度信息，但不是真正的物体三维表示，因此，称为二维半图(2．5dimensionalsketch)；第三阶段(后期阶段)是在以物体为中心的坐标系中，由输入图像、基元图、二维半图来恢复、表示和识别三维物体。ComputerVisionDepartmentofComputerScience@BIT3.3Marr视觉理论的不足Marr理论是计算机视觉研究领域的划时代成就，但该理论不是十分完善的，许多方面还有争议．比如:视觉处理框架基本上是自下而上，没有反馈;没有足够地重视知识的应用．Marr理论给了我们研究计算机视觉许多珍贵的哲学思想和研究方法，同时也给计算机视觉研究领域创造了许多研究起点。视觉系统ComputerVisionDepartmentofComputerScience@BIT计算机视觉应用系统照明成像装置计算机视觉场景图象描述应用反馈ComputerVisionDepartmentofComputerScience@BIT4.计算机视觉的应用•零件识别与定位（工业生产线）•产品检验（纺织工业棉花质量检验）•移动机器人导航（星球机器人）•遥感图像分析（植被分析）•医学图像分析（骨骼定位）•安全鉴别、监视与跟踪（门禁系统）•国防系统（目标自动识别ATR与目标跟踪）•其它（动画、体育、考古）ComputerVisionDepartmentofComputerScience@BITSojourner火星车前部图，中部的两个小突出是两个黑白CCD摄像机ComputerVisionDepartmentofComputerScience@BITComputerVisionDepartmentofComputerScience@BITMobileRobotTestbed勇气号火星车Rocky7火星车ComputerVisionDepartmentofComputerScience@BITRocky7视觉系统获取的立体图象对(a)深度图象(b)障碍物探测示意图Rocky7视觉系统对场景的深度恢复ComputerVisionDepartmentofComputerScience@BITCMU月球探测实验车Nomad漫游者ComputerVisionDepartmentofComputerScience@BIT月球探测实验车Nomad漫游者ComputerVisionDepartmentofComputerScience@BIT足球机器人昆虫机器人足球机器人ComputerVisionDepartmentofComputerScience@BIT日本Honda仿人机器人ComputerVisionDepartmentofComputerScience@BIT具有立体视觉的机器人ComputerVisionDepartmentofComputerScience@BIT人头部跟踪演示ComputerVisionDepartmentofComputerScience@BIT全像图像鱼眼图像ComputerVisionDepartmentofComputerScience@BITComputerVisionDepartmentofComputerScience@BITMITMediaLab，与虚拟生物交互演示ComputerVisionDepartmentofComputerScience@BIT虚拟现实中的媒体计算问题ComputerVisionDepartmentofComputerScience@BIT人机交互中的媒体计算问题（Onemorevideo）ComputerVisionDepartmentofComputerScience@BIT基于恢复图象序列的五角大楼三维重建ComputerVisionDepartmentofComputerScience@BIT基于图象序列的三维人脸恢复ComputerVisionDepartmentofComputerScience@BIT物体建模与识别三维重建三维重建原始图像对ComputerVisionDepartmentofComputerScience@BIT5.计算机视觉研究的五大研究内容一、输入设备(inputdevice)包括成像设备和数字化设备．成象设备是指通过光学摄像机或红外、激光、超声、X射线对周围场景或物体进行探测成象，得到关于场景或物体的二维或三维数字化图像．