搜索
视觉SLAM十四讲从理论到实践高翔清华大学2016年冬第五讲相机与图像Chapter5:CamerasandImages2第五讲相机与图像•本讲目标•理解理解针孔相机的模型、内参与径向畸变参数。•理解一个空间点是如何投影到相机成像平面的。•掌握OpenCV的图像存储与表达方式。•学会基本的摄像头标定方法。3第五讲相机与图像•上讲回顾•三维世界中刚体运动的描述：旋转矩阵、旋转向量、欧拉角、四元数等。•以及优化：李群与李代数。4我们清楚了运动方程与观测方程中的x观测方程由相机观测模型组成5.1相机模型55.1相机模型•我们在现实生活中看到过大量的照片•照片记录了真实世界在成像平面上的投影•这个过程丢弃了“距离”维度上的信息•普通相机可以用针孔模型很好地近似65.1相机模型•小孔成像模型7原始形式翻转到前面整理之：5.1相机模型•成像平面到像素坐标8代入得5.1相机模型9矩阵形式展开形式左侧是齐次坐标右侧是非齐次坐标中间矩阵称为内参数内参通常在相机生产之后就已固定传统习惯5.1相机模型10改变Z时，投影点仍是同一个5.1相机模型•除内参外，相机坐标系与世界坐标系还相差一个变换：•这里R,t或T称为外参•注：右侧式子隐含了一次非齐次到齐次的变换（见书）•外参是SLAM估计的目标11先把P从世界坐标变到相机坐标系下5.1相机模型•世界——相机——归一化平面——像素125.1相机模型•畸变•针孔前的镜头会引入畸变13广角镜头畸变鱼眼镜头畸变5.1相机模型•主要的畸变类型：径向畸变和切向畸变145.1相机模型•数学模型•畸变可以用归一化坐标的变换来描述15径向畸变：多项式描述切向畸变：多项式描述放在一起：实际当中可灵活保留各项系数5.1相机模型•小结165.1相机模型•双目模型•左右相机中心距离称为基线•左右像素的几何关系：•整理得17d称为视差（disparity），描述同一个点在左右目上成像的距离d最小为1个像素，因此双目能测量的z有最大值：fb虽然距离公式简单，但d不容易计算5.1相机模型•RGB-D相机：物理手段测量深度•ToF或结构光两种主要原理•通常能得到与RGB图对应的深度图185.2图像•相机成像后，生成了图像•图像在计算机中以矩阵形式存储（二维数组）•需要对感光度量化成数值，例如0~255之间的整数（彩色图像还有通道）195.3实践：基本图像处理205.4实践：点云拼接21