计算机视觉computervision

中国科学技术大学自动化系主讲：曹洋[e-mail]办公室：科技楼西楼303使用教材：RichardSzeliski，ComputerVision:AlgorithmsandApplications，Springer，2010参考教材：DavidA.Forsyth,JeanPonce著，计算机视觉（一种现代方法），电子工业出版社2004。课程主页：课程教材：待定课程设置课程设置：计算机视觉视觉基础底层处理中层处理高层处理视觉基础理论：神经生理学、认知科学；色度学、光学；射影几何、矩阵理论。图像处理：空域图像处理；频域图像处理；图像特征提取。图像分割；相机标定；深度估计；运动估计。三维重建；目标识别。Week1(2.27，3.2)绪论(5lectures)视觉基本特性I生物特性Week2（3.6，3.9）视觉基本特性II物理特性(5lectures)视觉基本特性III几何特性Week3（3.13，3.16）图像处理基础I空域处理(5lectures)图像处理基础II频域处理Week4（3.20，3.23）特征提取I点特征(5lectures)特征提取II边缘及线特征Week5（3.27，3.30）图像分割I主动轮廓线(5lectures)图像分割IIMeanshiftWeek6（4.3，4.8）图像对准(5lectures)摄像机标定Week7（4.10，4.13）单幅图像深度估计I(5lectures)单幅图像深度估计IIWeek8（4.17，4.20）运动估计深度I(5lectures)运动估计深度II4.17(3lectures)图像分割I主动轮廓线4.19(2lectures)图像分割IIMeanshift4.24(3lectures)图像对准4.26(2lectures)摄像机标定5.1(3lectures)劳动节放假5.3(2lectures)运动估计I5.8(3lectures)运动估计II5.10(2lectures)稠密运动估计光流3.20(3lectures)引言3.22(2lectures)视觉基本特性I生物特性3.27(3lectures)视觉基本特性II物理特性3.29(2lectures)视觉基本特性III几何特性4.3(3lectures)图像处理基础I空域处理4.5(2lectures)图像处理基础II频域处理4.10(3lectures)特征提取I点特征4.12(2lectures)特征提取II边缘及线特征Week9（4.24，4.27）立体视觉深度估计(5lectures)测距成像系统Week10（5.1，5.4）劳动节放假(5lectures)三维重建IWeek11（5.8，5.11）三维重建II(5lectures)目标识别IWeek12（5.15，5.18）目标识别II(5lectures)布置作业考核方式阅读报告：两人一组，从30篇计算机视觉的经典文献中挑选一篇阅读，并提交一份阅读报告及PPT。项目报告：2-4人一组，从五个候选项目中任选一个，实现并提交项目报告以及源代码。视觉计算机智能机器：能够模拟人类的功能，感知外部世界并有效解决人所能解决问题的系统。在人类的感知器官中，视觉获取的信息量最大，大约80%，因此对于发展智能机器而言，赋予机器以人类视觉功能是十分重要的。计算机视觉：研究用计算机来模拟生物外显或宏观视觉功能的技术学科。计算机视觉的任务是用图像创建或恢复现实世界模型，然后认知现实世界。具体来说，让计算机具有对周围世界的空间物体进行传感、抽象、判断的能力，从而达到识别、理解的目的。分为三个阶段◦特征提取和区域分割基于轮廓,纹理,颜色…◦建模与模式表达基于各种物体的抽象化模型◦描述和理解基于景物的结构知识底层处理中层处理高层处理知识少多输入设备(inputdevice)的研制,包括成像设备和数字化设备．成象设备是指通过光学摄像机或红外、激光、超声、X射线对周围场景或物体进行探测成象，得到关于场景或物体的二维或三维数字化图像．对输入的原始图像进行预处理．这一过程借用了大量的图像处理技术和算法，如图像滤波、图像增强、边缘检测等，以便从图像中抽取诸如角点、边缘、线条、边界以及色彩等关于场景的基本特征；这一过程还包含了各种图像变换（如校正）、图像纹理检测、图像运动检测等．恢复场景的深度、表面法线方向、轮廓等有关场景的2.5维信息,并在此基础上恢复物体的完整三维图，建立物体三维描述.根据机器预先存贮的模型知识以及形状、色彩等特征,对于图像中各种物体进行识别,确定它们用于哪一类物体.建立各个图像中物体的拓扑关系图,给出图像所反映景物的结构描述.体系结构（systemarchitecture）,涉及一系列相关的课题,并行结构、分层结构、信息流结构、拓扑结构以及从设计到实现的途径．图像多义性：三维场景被投影为二维图像，深度和不可见部分的信息被丢失，因而会出现不同形状的三维物体投影在图像平面上产生相同图像的问题．另外，在不同角度获取同一物体的图像会有很大的差异．环境因素影响：场景中的诸多因素，包括照明、物体形状、表面颜色、摄像机以及空间关系变化都会对成像有影响.知识导引：同样的图像在不同的知识导引下，将会产生不同的识别结果．大量数据：灰度图像，彩色图像，深度图像的信息量十分巨大，巨大的数据量需要很大的存贮空间，同时不易实现快速处理．上世纪50年代，从统计模式识别开始，主要集中在二维图像分析与识别，主要应用包括字符识别、工件表面检测等等。上世纪60年代，拓展到三维结构，对物体的形状，物体的空间关系进行描述。通过对积木世界的研究，引出了边缘、角点等特征提取，图像明暗、纹理、运动以及成像几何等研究工作。上世纪70年代，Marr计算视觉理论，建立一个十分重要的理论框架。(a)linelabeling(Nalwa1993),(b)pictorialstructures(FischlerandElschlager1973)(c)articulatedbodymodel(Marr1982)(d)intrinsicimagesBarrowandTenenbaum1981)(e)stereocorrespondence(Marr1982(f)opticalflow(NagelandEnkelmann1986)(a)pyramidblending(BurtandAdelson1983)(b)shapefromshading(FreemanandAdelson1991)(c)edgedetection(FreemanandAdelson1991)(d)physicallybasedmodels(TerzopoulosandWitkin1988)(e)regularizationbasedsurfacereconstruction(Terzopoulos1988)(f)rangedataacquisitionandmerging(Banno,Masuda,Oishietal.2008Marr视觉计算理论——三种层次计算理论，主要解决视觉系统的计算目的和策略是什么？输入输出是什么？用什么策略根据系统的输入求出输出？该层次的任务就是研究如何建立输入输出之间的约束和关系。表示和算法，解决输入输出信息如何来表示？如何实现计算理论所对应的功能的算法？以及如何由一种表示转换成另一种表示？硬件实现，就是具体的计算装置和一些细节配置(a)factorization-basedstructurefrommotion(TomasiandKanade1992),(b)densestereomatching(Boykov,Veksler,andZabih2001),(c)multi-viewreconstruction(SeitzandDyer1999)(d)facetracking(Matthews,Xiao,andBaker2007),(e)imagesegmentation(Belongie,Fowlkes,Chungetal.2002)(f)facerecognition(TurkandPentland1991a).(a)imagestitching:mergingdifferentviews(SzeliskiandShum1997)(b)exposurebracketing:mergingdifferentexposures;(c)morphing:blendingbetweentwophotographs(Gomes,Darsa,Costaetal.1999(d)turningacollectionofphotographsintoa3Dmodel(Sinha,Steedly,Szeliskietal.2008)图像处理：图像处理通常是把一幅图像变换成另外一幅图像，也就是说，图像处理系统的输入是图像，输出仍然是图像，信息恢复任务则留给人来完成计算机图形学：通过几何基元，如线、圆和自由曲面，来生成图像，它在可视化（Visualization）和虚拟现实(VirtualReality）中起着很重要的作用．计算机视觉正好是解决相反的问题，即从图像中估计几何基元和其它特征．因此，计算机图形学属于图像综合，计算机视觉属于图像分析．模式识别：模式一般指一类事物区别于其它事物所具有的共同特征。人工智能（AI）：涉及到智能系统的设计和智能计算的研究．在经过图像处理和图像特征提取过程后，接下来要用人工智能方法对场景特征进行表示，并分析和理解场景．人工智能有三个过程：感知、认知和行动．．神经生理学与认知科学：将人类视觉作为主要的研究对象．计算机视觉中已有的许多方法与人类视觉极为相似．许多计算机视觉研究者对研究人类视觉计算模型比研究计算机视觉系统更感兴趣，希望计算机视觉更加自然化，更加接近生物视觉零件识别与定位产品检验移动机器人导航遥感图像分析医学图像分析安全鉴别、监视与跟踪国防系统（目标自动识别ATR与目标跟踪）其它（体育、考古、动画）Sojourner火星车前部图，中部的两个小突出是两个黑白CCD摄像机勇气号火星车Rocky7火星车CMU月球探测实验车Nomad漫游者