计算机视觉基础复习

第一章PPTP11什么是计算机视觉采用计算机实现人类视觉功能，让计算机理解图像和视频。P12计算机视觉与图像处理的区别数字图像处理图像/视频-图像/视频（图像变换、图像滤波、图像复原、图像压缩、…）计算机视觉图像/视频-模型（二维基素图-2.5维要素图-三维模型表征）P14-20计算机视觉中存在哪些难点和挑战挑战：外观、大小和形状；复杂姿态/运动；复杂和不可预测的行为；噪声和遮挡；外观变化；上下文间依赖性；视点变化P23-28图像中存在哪些计算机视觉线索深度线索：直线透视；空间透视远近顺序线索：遮挡形状线索：纹理梯度形状和光照线索：阴影位置和光照线索：投影P30-46计算机视觉有哪些典型应用OCR（光学字符识别）、智能交通、人脸检测、表情识别、多视点三维重建、基于视觉的生物识别、辅助驾驶、无人驾驶汽车、基于视觉的人机交互、智能机器人、工业机器人P48CCD/CMOS传感器的成像原理：光电转换P49-54采样与量化影响图像的哪些属性采样影响图像空间分辨率；量化影响图像幅度分辨率（灰度）P61图像坐标系左上角为坐标原点P75-78像素距离与邻域关系习题1.2P19计算机视觉要达到的目的有哪些？答：计算机通过图像和视频对客观世界的感知、识别和理解；对场景进行解释和描述；根据对场景的解释和描述制定行为规划。第三章PPTP11薄透镜成像模型P17-21射影几何中哪些物理信息丢失和保留了？丢失信息：长度、角度保留信息：直线特性、交比不变性P22-24灭点和灭线的概念场景中的平行线投影到图像平面后，会聚于“灭点”灭线：灭点的集合P46-49像机成像过程中包含了哪些内参和外参？P51像机标定的目的，思路和基本方法目的：确定像机的内参和外参。思路：通过一组已知世界坐标的图像特征点，建立超定方程求解。方法：最小二乘求解超定方程，寻找最优估计。P63径向畸变和切向畸变的概念033310310001100101xpyTXufuYzvfvZRT0习题第四章PPTP4-7图像平移、尺度、旋转和级联变换用矩阵乘实现级联变换如图像依次进行平移、尺度和旋转变换，有P14最近邻插值P16-18双线性插值P20-31图像灰度映射灰度映射原理基于图像像素的点操作映射函数灰度映射的关键是根据增强要求设计映射函数灰度映射：图像二值化、图像反色、动态范围压缩、对比度增强P31-32直方图的概念和意义，用已学过的数学原理进行解释P40直方图均衡计算表4.3.1L为灰度级数（本例为8）-------------------------原始图灰度级01234567原始直方图0.020.050.090.120.140.20.220.16累积直方图gf0.020.070.160.280.420.620.841.0四舍五入取整00123467注：int((L-1)*gf+0.5)确定映射关系0,1-02-13-24-35-46-67-7新直方图0.070.090.120.140.200.220.16直方图均衡过程示例111uuuvvvRSTAP52-66模板滤波的概念和理解概念：利用像素本身以及其邻域像素的灰度关系进行图像增强的方法。理解：1.滤波取自信号处理中的概念；2.滤波是在图像空间通过邻域操作完成的；3.邻域操作通常借助模板运算来实现P69中值滤波概念和基本步骤概念：选择局部窗口中亮度的中间值代替窗口中心像素步骤：◦将模板中心与图像中某像素位置重合◦读取模板下各对应像素的灰度值◦将这些灰度值从小到大排成一列◦找出这些灰度值里排在中间的一个◦将这个中间值赋给对应模板中心位置像素◦遍历图像中所有像素P71中值滤波与均值滤波的比较中值滤波和线性滤波的区别：1、中值滤波可有效消除突变，线性滤波总是响应所有的变化2、中值滤波具有部分不连续保持特性，线性滤波会产生平滑过渡的效果中值滤波和均值滤波的区别：中值滤波器比均值滤波器更适合去除加性椒盐噪声习题4.3P75设用三角形代替下图中的四边形，建立与下式相对应的校正几何形变的空间变换式。解:以顶点为对应点，一个对应点可列出2个公式，因此三角形的三个顶点可列出6个公式，最多求解6个几何形变参数，因此空间变换式为：习题4.11P76将M幅图像相加求平均可以获得消除噪声的效果，用一个n×n的模板进行平滑滤波也可获得消除噪声的效果,试比较两种方法的消噪效果M幅图像相加求平均时间轴上的平均容易产生运动模糊(重影)n×n模板的平滑滤波空间上的平均容易产生空间模糊(边缘模糊)习题4.12P76讨论用于空间滤波的平滑滤波和锐化滤波的相同点、不同点以及联系相同点：都能减弱或消除频域空间中的某些分量，而不影响或较少影响其它分量，从而达到增强效果。不同点：平滑滤波减弱或消除高频分量，增强低频分量，平滑图像中的细节信息。锐化滤波减弱或消除低频分量，增强高频分量，锐化图像中细节信息。联系：两者效果相反，互为补充；从原始图像中减去平滑滤波结果可得到锐化滤波效果；而原始图像中减去锐化滤波结果可得到平滑滤波效果。第五章PPTP4为什么要边缘检测和边缘的成因为什么要边缘检测：提取信息，识别目标恢复几何和视点边缘的成因：曲面法线不连续、深度不连续、表面颜色不连续、亮度不连续P10-21用已学过的数学原理解释边缘检测的原理一阶导数极值点对应的是边缘位置，极值的正或负表示边缘处是由暗变亮还是由亮变暗。二阶导数过零点来检测图像中边缘的存在。123456xkxkykykxkykP15有哪些一阶导数算子？试写出其模板形式Roberts梯度算子Prewitt梯度算子（平均差分）Sobel算子（加权平均差分）各向同性Sobel算子：将模板中的权值2改为√2，以使水平、垂直和对角边缘的梯度值相同。P21有哪些二阶导数算子？二阶导数算子会对噪声敏感，试解释原因拉普拉斯算子、马尔算子对噪声敏感原因：二阶导数在边缘处出现零交叉，即边缘点两边导数取异号，据此来检测边缘点。但很容易被噪声覆盖。P28Canny算子的最优检测准则最优边缘检测的含义是：◦好的检测--算法能标识图像中的实际边缘，避免噪声和虚假边缘干扰。◦好的定位--标识出的边缘与实际图像中的实际边缘尽可能接近。◦最小响应--对图像中的每个真实边缘点只有一个像素响应。P41什么是角点？角点有什么特性？可重复性／可再现性同一角点应能在不同图像中检测出，不受几何和亮度等变化的影响显著性每个角点都是独特的局部性特征描述的是图像中的一个局部小区域P43SUSAN角点检测的基本原理◦采用圆形模板◦统计模板中与模板核具有相同值的像素个数◦USAN面积随模板在图像中的位置变化◦利用USAN面积变化可检测边缘或角点。◦USAN面积在图像角点处具有最小值，故称为SUSAN。P51Hough变换的基本思想（投票）以及为什么要进行Hough变换基本思想：通常用在边缘检测或特征点检测后。每个边缘点根据其可能的几何特征，投影到参数空间，通过投票方式确定参数值。即票数最多的参数获胜。为什么要进行Hough变换：视觉场景中许多目标都可通过直线、圆弧等规则几何特征来表述。Hough变换是获取规则几何特征的常用方法。P55Hough变换中参数空间的概念，试写出直线检测以及圆检测的参数空间采用(ρ,θ)表示图像空间中任意直线。图像空间中一条直线在参数空间(ρ,θ)中为一个点。参数空间(ρ,θ)也称为Hough空间P68Hough变换的优点对边缘不连续具有较好的容忍性对噪声干扰具有较好的鲁棒性对目标遮挡具有较好的抗干扰性习题第六章PPTP2目标分割的概念、目的、意义概念：将图像划分成若干具有特征一致性且互不重叠的图像区域的过程。目的：有选择性地定位感兴趣对象在图像中的位置和范围。意义：1.区域对于图像理解和识别非常重要，往往表征场景中的目标，或部分目标。2.一幅图像可以包含多个目标，每个目标包含多个区域，每个区域对应目标的不同部分。3.图像分割是将图像划分为一组有意义的区域。P14图像分割有哪些方法？基于哪些特征基于边缘的分割方法：◦先提取区域边界，再确定边界限定的区域；基于区域的分割方法：◦确定每个像素的归属区域，从而完成分割图像分割方法分类：a）自动分割算法–聚类方法–基于边缘的方法–区域融合和区域增长–混合优化方法b）交互式图像分割算法–“Snake”或“主动轮廓法”–“魔棒”或“魔笔”图像分割通常基于亮度、颜色、纹理、深度或运动。P27图搜索有哪些策略，以及各自特点广度优先搜索特点：完备、可获得最优解，效率低深度优先搜索特点：难以获得最优解、效率高、不易跳出无限深分支P40试用直方图的概念解释直方图分割的思想基本思想：根据图像数据的特征将图像空间划分为互不重叠的区域，从而达到分割的目的。P45最优阈值的分割思想P52最大类间方差(OTSU)的分割思想寻找使得类间方差最大的阈值习题6.10P115习题6.11P115一幅图像背景部分均值为20，方差为400，在背景上分布着一些互不重叠的均值为200，方差为400的小目标。设所有目标合起来约占图像总面积的30%，提出一个基于取阈值的分割算法将这些目标分割出。根据最优阈值计算公式，并假设背景和目标的概率密度函数为高斯模型，且背景和目标的方差相等：第九章PPTP3-9图像中包含了哪些深度线索？阴影纹理遮挡运动模糊等。P26-27平行光轴立体视觉系统的感知深度的原理和基本公式P32-3575-83立体视觉系统中有哪些约束立体匹配的约束：◦极线约束：匹配点必须在极线上◦相似性约束：左、右图像的匹配点应具有相似的亮度或颜色。即，假定目标表面符合朗伯漫反射表面。◦视差范围约束：仅在视差搜索内搜索。21ln2202004000.3ln11021082200200.7objbgkobjbgz◦唯一性约束：一幅图像中的一个像素，在另一幅图像中最多只有一个对应点像素。◦顺序约束：若参考图中A点在B点的左边，则另一幅图像中A点匹配点也在B点匹配点的左边。◦平滑性约束：除了遮挡或视差本身不连续区域外，小邻域范围内视差值变化量应很小或相似。换言之视差曲面应是分段连续的。◦互对应约束：又称左右一致性，若以左图为基准图，左图上一像素点pl的搜索到右图上对应点像素为pr；那么若以右图为基准图，像素pr的对应点也应该是左图上的像素点pl。该约束常用于遮挡区的检测。P41立体视觉标定校正的目的校正的目的：◦输入图像通过透视变换使得外极线水平，且共线。◦畸变校正，使得成像过程符合小孔成像模型。P52立体匹配的概念及分类立体匹配的过程：为左图像的每个像素点(xl,yl)，在右图像中搜索对应点。根据立体匹配过程中涉及的像素范围，可分为：局部立体匹配通常以基于局部窗口的立体匹配方法为主。匹配基元：局部窗口全局立体匹配匹配过程中，求解一行或整幅图像中所有像素的相似测度和最大/最小。匹配基元：像素根据立体匹配过程中采用的匹配基元，可分为：致密匹配搜索每个像素的对应点，构建致密视差图匹配基元为像素稀疏匹配仅为特征搜索对应点，构建稀疏的视差图.匹配基元为特征。P58有哪些局部立体匹配方法和优缺点方法：对应性测度、相似性测度、距离测度、相关系数测度、非参数化测度优点：◦容易实现，只需要考虑局部窗口区域◦对纹理丰富的区域具有较好匹配性能◦速度快，只需考虑有限像素◦易于硬件实现，易于流水线实现缺点：◦视差不连续、遮挡或边缘区域无法正确估计视差◦对重复性纹理、无/弱纹理区域无法准确估计视差P84全局立体匹配的思想和优缺点思想：基于动态规划的立体匹配方法基于动态规划的匹配算法并不是孤立地寻找每个像素点的匹配值。优化整条扫描线，使得该扫描线上所有像素的匹配代价和最小，并满足顺序和平滑约束。不同扫描线独