双目立体视觉在工业测量领域中的应用1一、机器视觉测量系统简介二、双目立体视觉测量原理三、视觉测量的主要技术四、应用举例2双目立体视觉在工业测量领域中的应用一、机器视觉测量系统简介二、双目立体视觉测量原理三、视觉测量的主要技术四、应用举例3双目立体视觉在工业测量领域中的应用4机器视觉简介高效、非接触测量生物最强大的感知方式生物视觉控制视觉环境明确测量任务机器视觉直接与周围环境进行智能交互难以建立复杂的生物视觉系统5机器视觉产品(图像摄取装置)被检测目标图像处理系统(像素分布、亮度、颜色)数字信号图像信号目标特征图像处理系统(各种算法)判别结果控制设备动作机器视觉测量图像摄取装置:CMOS、CCD摄像机CMOS传感器感光度通常比CCD传感器低10倍。像素(图像元素):构成数码影像的基本单元,通常以像素每英寸PPI(pixelsperinch)为单位来表示影像分辨率的大小。机器视觉测量系统示意图一、机器视觉测量系统简介二、双目立体视觉测量原理三、视觉测量的主要技术四、应用举例6机器视觉在工业测量领域中的应用7双目立体视觉测量原理世界坐标系三维坐标图像坐标系二维坐标(像素坐标系)摄像机坐标系二维坐标标定重建外参数内参数确定待测目标构造特征信息特征信息重建外参数标定:待测目标与相机之间的位置关系内参数标定:相机与图像之间的位置关系提取特征信息光源选取图像处理左右图像特征匹配约束关系双目立体视觉测量原理双目立体视觉测量方法8搭建在线测量硬件平台获取大锻件热态几何特征清晰图像求取摄像机内参数(标定)求取测量现场摄像机外参数几何特征快速提取特征点匹配三维轮廓重建双目立体视觉测量原理-锻件测量输入摄像机内外参数读入图像图像裁剪去除干扰光线光条像素缘提取光条亚像素中心求取光条中心点匹配保存空间点拟合重建曲线求取锻件直径欧式重建9双目立体视觉测量方法-锻件测量一、机器视觉测量系统简介二、双目立体视觉测量原理三、视觉测量的主要技术四、应用举例10机器视觉在工业测量领域中的应用11视觉测量的主要技术摄像机标定是否需要标定参照物所用模型所用的摄像机个数传统摄像机标定技术基于特定的实验条件,如形状尺寸已知的标定物,经过对其进行图像处理,利用一系列数学变换和计算方法,求取摄像机模型的内部参数和外部参数。自标定技术利用多幅图像之间的直线对应关系的摄像机自标定方以及利用灭点和通过弱透视投影或平行透视投影进行摄像机标定等。线性模型标定技术利用经典的小孔成像模型进行线性方程求解,但线性模型不考虑镜头畸变。非线性模型标定技术模型不服从经典的小孔成像模型,考虑了畸变参数,引入了非线性优化。单摄像机标定技术双目立体视觉标定技术多组双目立体视觉标定技术应用最为广泛,但标定精度依赖标定参照物精度,且与算法选择密切相关。方法灵活,但并不很成熟。未知参数太多,很难得到稳定的结果。简单快速,目前已有大量研究成果,未考虑畸变系数,准确性欠佳。考虑了畸变参数,但方法复杂速度慢,对初值和噪声比较敏感,且不能保证参数收敛到全局最优解。对于双目立体视觉标定技术,外参数需要考虑到左右相机之间的关系,多组双目需要考虑到双目之间的关系。12图像处理视觉测量的主要技术数字图像处理是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。视觉测量应用于工业领域中主要涉及的图像处理方式为:图像二值化、图像滤波。图像二值化图像二值化就是将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的黑白效果。RGB图像灰度化处理二值化图像图像滤波滤波前滤波后常用滤波方法:(1)高斯滤波(2)均值滤波(3)中值滤波(4)双边滤波在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制,其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。13视觉测量的主要技术图像处理对比图RGB图像灰度图像二值化过程二值化图像高斯滤波均值滤波中值滤波双边滤波视觉测量的主要技术特征提取中心提取算法复杂度提取速度提取精度方向性抗白噪声抗强漫反射抗反射干扰极值法简单快像素差差差差自适应阈值法简单快像素差差差差灰度重心法简单快像素差差差差方向模板法简单中像素一般一般一般一般曲线拟合法复杂非常慢亚像素差一般一般差Steger算法较复杂慢亚像素好好差好14指数字图像处理中,对于图片轮廓的一个处理。对于边界处,灰度值变化比较剧烈的地方,就定义为边缘。也就是拐点,拐点是指函数发生凹凸性变化的点。常用的边缘提取算子有canny算子、sobel算子等。边缘提取一、机器视觉测量系统简介二、双目立体视觉测量原理三、视觉测量的主要技术四、应用举例15机器视觉在工业测量领域中的应用164台高分辨率工业相机、1台图像工作站、1组激光器阵列等设备组成大型锻件热态几何参数在线分布式测量仪现场实验测量仪组成原理可依据测量环境与对象变化灵活布局能够实现锻件局部快速测量与整体尺寸全局测量系统拓展性强,维护简便仪器特点16相机激光器阵列相机相机相机应用举例-圆柱类热态大型锻件直径测量17应用举例-圆柱类热态大型锻件直径测量①②③④⑤⑥⑦⑧⑨⑩锻件高度测量图不同位置锻件高度重建结果长轴类锻件直径重建结果长轴类锻件现场图片材料:GCr15SiMn温度:始锻1250℃终锻850℃实验结果高度重建结果1322.8mm直径重建结果525.9mm应用实验场地:东北特钢锻造厂实现了大型热态锻件尺寸参数现场测量,测量精度可达0.2%0246810120012501300135014001450锻件高度/mm激光条序号平均值锻件高度18应用举例-圆柱类热态大型锻件直径测量谢谢!欢迎提问!