双目立体视觉

基于双目立体视觉技术的成熟番茄识别与定位主要内容：本文研究了基于双目立体视觉技术的成熟番茄的识别与定位方法。获取了成熟番茄的位置信息，用于指导温室内成熟番茄的自动化采摘作业。该方法利用成熟番茄与背景之间颜色特征的差异进行图像分割来识别成熟番茄;根据图像分割的结果，用形心匹配方法获取番茄中心的位置;然后根据相邻区域像素点灰度的相关性，利用区域匹配方法计算番茄表而各点的深度信息。使用限制候选区域和两次阈值分割的方法减少计算量，提高了计算精度。实验结果表明，工作距离小于550mm时，番茄深度值的误差约为15mm。利用该测量方法可以实现成熟番茄位置信息的获取，测量精度较高。1.系统组成2.相机标定3.目标识别形心匹配4.定位区域匹配5.实验结果分析：双目立体视觉系统主要有两个相同型号的摄像机(TMC7DSP,Pulnix)、两个相同型号的图像采集卡(MatroxMeteorII/Standard)和一台研华IPC-610工控机组成。左右两摄像机的光轴平行且高度相同，触发器控制两个摄像机同时拍摄同一个场景的图像。采集图像的分辨率为640像素*480像素。系统组成木文采用SmallVisionSystem(SVS)立体视觉软件进行摄像机的标定，预先制作了标准的7X9黑白方格图，每个方格的大小为54mmX54mm。校正过程如下:先用立体摄像机拍摄黑白方格图至少5个不同位置的图像，如正放、左右倾斜、上下倾斜等，图像对的数量必须不少于5对;然后读入对应的立体图像并设置焦距(mm)、单位像素的尺寸(mm),图像的分辨率等先验参数;最后该软件会自动检测所有黑白方格的交点，校正图像并计算两摄像机的位置关系等参数。相机标定目标识别彩色图像灰度图像当像素呈现红色时，R值大于G值；当像素呈现绿色时，G值大于R值；当像素呈现介于黄色和红色之间时，R值大于G值，但二者的差值远小于像素呈现红色时二者的差值；根据这个特征，对图像中的每个像素进行了色差处理，以增强背景和目标对象的反差，图像中每一个像素的色差表示为即:BGRC1.06.07.0IRC根据灰度图像的直方图，采取合适的阈值进行图像分割通过计算番茄图像中各像素点的色差值可知，背景的色差值主要集中在0~40之间，而目标对象的色差值主要集中在140~160之间，目标对象与背景之间的色差值存在较大的差异。当阈值T为105时，可以得到较好的分割效果。再通过形态学的方法对分割后的图像进行去噪。图像分割后的图像对如下所示：定位4.1形心匹配4.2区域匹配在形心匹配的基础上结合区域匹配算法进一步确定番茄表而点的位置，能更加准确地获得目标对象的位置信息，提高算法的鲁棒性。ROI:感兴趣的区域本研究中的ROI就是成熟番茄所在的区域，该区域由成熟番茄的最小外接矩形确定，以左右两图中最小外接矩形的长中的最大者作为长，宽中最大者作为宽。图像分割初步深度值形心坐标区域作为匹配基元，把一幅图像中某一点的灰度邻域作为匹配模板，在另一幅图像中搜索具有相同或相似灰度值分布的对应点邻域。采用I3的色彩空间对原始图像进行线性变换。彩色图像灰度值线性变换匹配窗口为了更大程度上减少计算量，提高匹配的精度，两点改进：（1）限定立体图像对的左图中作为匹配模版的点仅是属于番茄表面的点，同时对左图上番茄表而点采用隔点采样的方式以减少计算时间。（2）限定匹配时立体图像对中右图的搜索范围，把右图的搜索范围限定在一个较小的区域内。匹配算法：SSD（像素视差平方和）根据施瓦茨不等式，得知立体匹配过程中，在立体图像对的右图中寻找与左图匹配模板窗口之间的相关量R达到最大值的窗口，且当该窗口的相关量R大于预先设置的阈值时，则将该窗口作为匹配成功的窗口。1),,(0dyxR结果分析：实验是在VisualC++6.0进行编程实现1.形心匹配一次形心匹配算法完成匹配的时间为0.07s区域匹配番茄区域的像素点按x，y坐标分成相应的9个区域，取每个区域中各点的平均深度作为该区域深度的预测值。利用区域匹配方法完成一次目标对象的定位测量所需时间约为0.35s。番茄各区域的实际测量值与预测值之间的差异如下图所示：从图中可以看出，在450mm以内，9个区域的误差均在正负15mm之间，其中在350mm以内时，各区域的误差接近于零，这一误差范围满足果蔬采摘定位精度的要求。谢谢请各位老师批评指正