数字摄影测量复习

第一章绪论1.摄影测量三个发展阶段模拟、解析、数字2.数字摄影测量定义与研究内容定义：基于数字影像与摄影测量的基本原理，应用计算机技术、数字影像处理、影像匹配、模式识别等多学科的理论与方法，提取所摄对象用数字方式表达的几何与物理信息的摄影测量学的分支科学。内容：数字影像的获取与处理数字影像匹配DEM自动生成与内插地物识别数字摄影测量系统3.数字摄影测量的作业过程及主要产品主要产品：数字空中三角测量的加密成果DEM数字线画图DLGDRG数字正射影像图DOM数字可量测影像DMI三维景观图各种信息系统所需的基础地理空间数据4.数字摄影测量和其他学科的关系与数字图像处理的关系与模式识别的关系与计算机视觉或机器视觉的关系5.数字摄影测量的应用各种比例尺的地形图和专题图数字摄影测量系统与3S的集成数字摄影测量系统与CAD数字摄影测量系统与计算机视觉数字摄影测量系统在军事中的应用变化检测与地图更新数字摄影测量系统、可视化与虚拟现实6.数字摄影测量有待研究的主要问题辐射信息数据量处理速度与精度数字影像匹配数字影像解释与理解数字摄影测量自动化数字摄影测量与3S的进一步集成新型传感器带来的新机遇与挑战第二章数字影像获取与重采样1.数字影像数字影像可描述为一个二维的灰度矩阵，每个矩阵元素的行列序号代表它在像片上的位置，元素的值是它的灰度。2.数字影像采样采样：对实际连续函数模型离散化的量测过程采样定理：当采样间隔能使在函数g(x)中存在的最高频率中每周期取有两个样本时，则根据采样数据可以完全恢复原函数g(x)3.影像重采样重采样：当欲知不位于矩阵（采样）点上的原始函数g(x,y)的数值时就需进行内插，此时称为重采样（resampling）最邻近像元法：直接取与P(x,y)点位置最近像元N的灰度值作为采样值1双三次卷积法：卷积核可以利用三次样条函数16双线性插值法：卷积核是一个三角形函数41)最邻近像元法最简单，计算速度快且能不破坏原始影像的灰度信息。但其几何精度较差。2)双三次卷积法较费时。3)双线性插值法较宜第三章影像特征提取与定位算法1.点特征提取算子点特征主要指明显点（圆点、角点）提取点特征的算子称为兴趣算子1)Moravec算子：在四个主要方向上，选择具有最大―最小灰度方差的点作为特征点，较简单2)Forstner算：Robert’s梯度和灰度协方差矩阵，寻找具有尽可能小而接近圆的误差椭圆的点作为特征点，较复杂，但给出的特征点的类型且精度也较高。3)Harris算子：Harris算子是Moravec算子的改进只用到灰度的一阶差分及滤波，操作简单稳定，对图像旋转、灰度变化、噪声影响和视点变换不敏感但对尺度很敏感，不具有尺度不变性2.线特征提取算子“边缘”影像局部区域特征不相同的区域间的分界线“线”是具有很小宽度的其中间区域具有相同的影像特征的边缘对1)高斯-拉普拉斯算子LOG算子为卷积核，对原灰度函数进行卷积运算后,提取零交叉点为边缘2)Hough变换对于影像空间直线上任一点(x，y）变换将其映射到参数空间的一条正弦曲线上3.定位算子1)Forstner定位算子最佳窗口选择：最佳窗口由Forstner特征提取算子确定最佳窗口内加权重心化2)高精度角点与直线定位算子原始的Roberts梯度方向代替直线方向存在不容忽视的模型误差，Hough变换等使用梯度方向的方法不可能达到很高的精度。该平差模型不采用梯度的方向，而是采用梯度的模为观测值。第四章数字影像解析基础1.摄影测量基本概念及原理1)相对定向直接解当不知道倾斜摄影中倾角的近似值以及不知道影像的内方位元素时采用直接解。相对定向直接解的定向点数——8个以上由于立体像对是由在不同摄站对同一物体所摄取的相片构成，如果取左像空间坐标系为相对方位元素的参考坐标系，为确保右像片与左像片构成立体像对，右片的相对方位元素必须满足：2)空间后方交会直接解影像相对于物方坐标方位不确定时采用直接解。迭代法或直接法解出空间距离，计算各摄影光束的方向角，解算6阶方程，然后解算外方位元素。2.同名核线确定与重采样1)确定同名核线的两种方法基于影像几何纠正的核线解折关系水平相片对上同名核线的v坐标值相等基于共面条件的同名核线几何关系同一核线上的点均位于同一核面上2)核线重排列在水平相片上获取核线影像直接在倾斜相片上获取影像第五章影像匹配基础理论与算法1.数字影像匹配的定义在摄影测量与遥感中，匹配可以定义为在不同的数据集合之间建立一种对应关系。如果这些数据集合是影像，就称为影像匹配。影像匹配是在两幅(或多幅)影像之间识别同名元素(点\线),它是计算机视觉及数字摄影测量的核心问题。自动地在由数字立体像对中提取的元素之间建立对应关系的过程，称为数字影像匹配。2.影像相关原理影像相关是利用两个信号的相关函数，评价它们的相似性以确定同名点。相关函数：自相关函数是偶函数、自相关函数在τ=0处取得最大值3.影像相关的谱分析维纳-辛钦定理：随机信号的相关函数与其功率谱是一傅立叶变换对，即相关函数的傅立叶变换即功率谱，而功率谱的逆傅立叶变换即相关函数1)影像的功率谱估计2)相关函数估计当a较小时，S（f）较平缓，高频信息较丰富，此时相关函数R（τ）较陡峭，相关精度高，但由可能的近似位置到正确相关的点间距离（称为拉入范围）较小。这就要通过低通滤波获得较大的拉入范围当a较大时，功率谱S（f）较陡峭，低频信息占优势，因而相关函数R（τ）较平缓，相关精度较差，但拉入范围较大，相关结果出错的概率较小3)金字塔影像的建立从粗到精的相关策略。即先通过低通滤波，进行初相关，找到同名点的粗略位置，然后利用高频信息进行精确相关对于二维影像逐次进行低通滤波，并增大采样间隔，得到一个像元素总数逐渐变小的影像序列，将这些影像叠置起来颇像一座金字塔，因而称之为金字塔影像结构4.数字影像匹配的基本概念1)共轭实体共轭实体是比共轭点更一般的概念，它是目标空间特征的影像，包括点，线，面等2)匹配实体是一种要素，通过比较不同影像上的这些要素来寻找共轭实体。这些要素包括影像的灰度值，从影像上提出的特征，以及其他的符号描述3)是评价匹配实体之间相似性程度的一种定量指标。一般来说，相似性程度由代价函数来度量4)匹配方法匹配方法一般按照匹配实体来命名，如基于灰度的匹配(area-basedmatching或gray-scalebasedmatching)，基于特征的匹配(feature-basedmatching)以及关系匹配(relationalmatching)等。5)匹配策略匹配策略是指求解影像匹配问题的概念或整体方案，它包括匹配环境分析，匹配方法选择，以及匹配质量控制5.数字影像匹配的一般过程1)在一张影像上选取待匹配的目标,选择匹配实体,确定目标区域2)在另一张影像上确定搜索区域,计算相似性测度3)依据相似性测度,确定共轭实体4)进行匹配质量评价6.影像匹配需要解决的主要问题1)匹配实体的选取•灰度值•点特征、边缘、面特征•符号描述2)立体视觉中不确定性问题的处理损失大量信息几何变形遮挡问题灰度畸变3)相似性测度的选择•相关函数、协方差函数、相关系数、差平方和、差绝对值和•由点的圆度、边缘的梯度、方向、长度表示的代价函数4)匹配算法的优化•如何提高影像匹配的速度、精度、可靠性，算法的适应性等•如何进行初值的选取，搜索窗口的确定，约束条件的使用等5)匹配质量的评价可用贝叶斯判别原则解决。7.影像匹配在摄影测量中的应用1、内定向2、相对定向3、数字空三中的转点4、绝对定向5、DEM获取6、影像解译8.数字影像匹配基本算法影像匹配实质上是在两幅（或多幅）影像之间识别同名点1)基于像方的匹配算法同名点的确定是以匹配测度为基础基于灰度的影像匹配是以数字影像局部范围内的灰度值及其分布作为匹配实体，通过计算相似性测度确定共轭实体的影像匹配方法。基于灰度的影像匹配中的共轭实体可以是点，也可以是线段或其他特征。常用的相似性测度：①相关函数测度：矢量Y在X上的投影最大计算简单没考虑几何变形的影响没考虑灰度畸变的影响在没有几何变形和灰度畸变的情况下，也可能产生假配准。②协方差函数测度：矢量Y′在X′上的投影最大计算比较简单没考虑几何变形的影响当两影像的灰度强度平均相差一个常量时，不受影响，但灰度反差拉伸对其有影响。③相关系数测度：等价于矢量X′与Y′的夹角最小计算比较复杂没考虑几何变形的影响不受灰度线性畸变的影响相关系数是灰度线性变换的不变量④差平方和测度：等于N维空间点Y与点X之距离最小计算简单没考虑几何变形的影响没考虑灰度畸变的影响⑤差绝对值和测度：矢量X-Y之分量的绝对值之和最小计算简单没考虑几何变形的影响没考虑灰度畸变的影响影像匹配过程：①在左影像上选一个要匹配的点，称为目标点②以目标点为中心，取一定大小的窗口，称为目标窗口③以影像的重叠范围以及其他的先验知识，确定右影像上同名点可能存在的范围，称为搜索区域④以搜索区域内的每一点为中心，开取同样大小的窗口，称为搜索窗口⑤对于每一个搜索窗口，计算目标窗口与搜索窗口之间的相似性测度--相关系数⑥以相关系数最大值所对应的匹配窗口作为目标窗口的配准窗口，即共轭窗口。同时配准窗口的中心像素就作为目标点的配准点，或共轭点。⑦进行精度评定,如要求达到子像素精度，可采取内插措施由于左右影像采样时的差别,同名像素的中心点一般并不是真正的同名点.真正的同名点可能偏离像素中心点半个像素之内,这就使得匹配产生误差.影像匹配精度影像相关是左影像为目标区与右影像上搜索区内相对应的相同大小的一影像相比较，求得相关系数，代表各窗口中心像素的中央点处的匹配测度。影像匹配（相关）即使在定位到整像素的情况下，其理论精度也可达到大约0.3像素的精度。用相关系数的抛物线拟合提高相关精度2)基于物方的匹配算法影像匹配的目的是提取物体的几何信息，确定其空间位置，VLL能够直接确定物体表面点空间三维坐标的影像匹配方法。第六章最小二乘影像匹配1.概述：定义：一种基于灰度的影像匹配，它同时考虑到局部影像的灰度畸变和几何畸变，是通过迭代使灰度误差的平方和达到极小，从而确定出共轭实体的影像匹配方法。优点是精度高，可达到1/10到1/100个像素缺点是初值要求精度高，迭代时间长。实际应用中，一般将基于灰度的匹配或基于特征的匹配作为粗匹配，而将最小二乘影像匹配作为精匹配。最小二乘影像匹配中可以非常灵活地引入各种已知参数和条件，从而可以进行整体平差。解决“单点”的影像匹配问题，以求其“视差”；也可以直接解求其空间坐标。同时解决“多点”影像匹配或“多片”影像匹配。引入“粗差检测”，从而大大地提高影像匹配的可靠性。2.最小二乘法影像匹配的原理不考虑灰度畸变和几何畸变，按灰度差平方和最小的原则进行影像匹配的数字模型。若在此系统中引入系统变形的参数，按灰度差平方和最小的原则，解求变形参数，就构成了最小二乘影像匹配系统。灵活,可靠和高精度是优点,缺点是，如当初始值不太准时，系统的收敛性等问题有待解决。影像灰度的系统变形有两大类：辐射畸变；几何畸变1)不考虑灰度畸变和几何畸变：灰度差的平方和最小仅仅认为影像灰度只存在偶然误差2)仅考虑辐射的线性畸变的最小二乘匹配：相关系数相关系数最大→信噪比为最大因为没引入几何变形参数，所以匹配结果是以整像素为单位3)仅考虑影像相对移位的一维最小二乘匹配：视差影像匹配的主要目的是确定影像相对移位，传统的算法采用目标区相对于搜索区不断地移动一个整像素，搜索最大相关系数的影像区中心作为同名像点。在最小二乘影像匹配算法中，可引入几何变形参数，直接解算影像移位，这是此算法的特点。最小二乘影像匹配是非线性系统，必须进行迭代。迭代过程收敛的速度取决于初值。3.单点最小二乘法影像匹配基本思想：两个二维影像之间的几何变形，不仅仅存在着相对移位，而且还存在着图形变化。只有充分地考虑影像的几何变形，才能获得最佳的影像匹配。基本步骤：1)几何变形改正2)重采样3)辐射畸变改正4)计算相关