基于机器视觉的番茄目标提取答辩PPT

基于机器视觉的番茄目标提取研究背景当前，随着新的农业生产模式和新技术的发展与应用，农业机器人已愈来愈成为农业生产的主力军。采摘机器人作为农业机器人的重要类型，具有很大的发展潜力。采摘机器人的应用将会节省大量的人力、物力和时间。目前采摘机器人主要应用于成熟果蔬目标的采摘，研究对象主要有苹果、柑橘、草莓、葡萄、西瓜、黄瓜、番茄/樱桃番茄、茄子、甘蓝、生菜、莴苣、蘑菇等。成熟果蔬的目标提取是农业采摘机器人进行成熟果蔬定位和采摘的基础。目标提取主要依赖于数字图像处理的相关知识。本设计主要利用数字图像处理的方法来实现对成熟番茄目标的提取。利用图像处理的方法提取成熟番茄目标。主要运用图像分割技术。形态学处理完善分割结果3提纲图像预处理1图像分割2提取目标4结果分析5图像预处理，主要为了提取图像在不同颜色空间的各个分量。通过对不同色彩空间各不同分量进行比较，选择出合适色彩空间的通道分量，用来进行下一步的图像分割处理。右图所示为所需要进行目标提取的原始图像，该图像由RGB色彩空间表示。图像预处理1色彩空间在计算机图形中广泛使用红，绿和蓝（RGB）颜色空间。红，绿，蓝是三种主要的相加色（不同的颜色加在一起形成所需的颜色）。由RGB各分量各分量的显示效果可以看出，R、G、B三个分量图像中，目标与背景的对比都不是很明显，不适宜做分割处理，因此，选择其他的色彩空间进行处理是被欧洲电视系统所采用的一种颜色编码方法，是PAL和SECAM模拟彩色电视制式采用的颜色空间。伽马校正后的RGB（用R'G'B'表示）和YUV的转换方程：0.2990.5870.1140.1470.2890.4360.4930.6150.5150.1000.877YRGBURGBBYVRGBRY1.1400.3950.5812.032RYVGYUVBYU的一部分发展起来的，YCbCr由YUV色彩空间缩放和偏移得到。主要应用于彩色图像压缩。RGB色彩空间到YCbCr色彩空间的转换：MATLAB中提供了用于转换的函数rgb2ycbcr'1.164(Y16)1.596(Cr128)'1.164(Y16)0.813(Cr128)0.391(Cb128)'1.164(Y16)2.018(Cb128)RGB  0.2990.5870.114    0.172-0.3390.511128    0.5110.4280.083128YRGBCbRGBCrRGB模型是美国色彩学家孟塞尔(H.A.Munseu)于1915年提出的，它反映了人的视觉系统感知彩色的方式，以色调、饱和度和强度三种基本特征量来感知颜色。RGB到HSI转换方程：其中,BG360,BHG12212arccosRGRBRGRBGB31min(,,)SRGBRGB13IRGB色彩模型是由亮度（L）和有关色彩的a,b三个要素组成。L表示亮度（Luminosity），a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围。MATLAB中提供了转换函数srgb2lab0.490.310.20.1770.8120.0110.010.99XRGBYRGBZGB116(y)165000.9822001.183LfXaffYZbfYf130.008856f(t)7.7870.1380.008856tttt分量直方图通过对各色彩空间各分量的对比，发现，LAB空间a分量的对比较其它空间更为明显。查看其直方图：由直方图可看出，基本上是双峰图，适宜下一步的阈值分割处理。图像分割的目的主要有两个：一是产生更适合人类视觉观察和识别的图像，二是希望计算机能够自动进行识别和理解图像。图像分割是图像处理和分析的基础，接下来的特征提取、目标识别等任务的结果好坏，都取决于图像分割的质量如何。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。图像分割2年代中期，Prewitt提出了直方图双峰法，即如果灰度级直方图呈明显的双峰状，则选取两峰之间的谷底所对应的灰度级作为阈值。Z1ZiZtZjZk暗亮P背景目标图像灰度直方图大津阈值分割大律法（otsu）(最大类间方差法）OTSU算法定义：该算法是在灰度直方图的基础上用最小二乘法原理推导出来的，具有统计意义上的最佳分割阈值。基本思路是：它是按图像的灰度特性,将图像分成背景和目标两部分。背景和目标之间的类间方差越大,说明构成图像的两部分的差别越大,当部分目标被错误的分为背景或部分背景被错误的分为目标都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。MATLAB中提供了大津阈值分割的函数graythresh迭代法迭代法：一种不断利用已知的变量旧值递推出新值的过程。迭代法选取阈值的方法为：初始阈值选取为图像的平均灰度T，然后用T将图像的象素点分作两部分，计算两部分各自的平均灰度，小于T的部分为Ta，大于T的部分为Tb，求Ta和Tb的平均值T1将T1作为新的全局阈值代替T,重复以上过程,如此迭代，直至Tk收敛。Tk设置为0.5。迭代法分割仿真结果可以看出：迭代所得的阈值分割的图像效果良好。但对于其它直方图双峰不明显，或图像目标和背景比例差异悬殊的图像，迭代法则不能得到很好的分割效果。区域分割基本思想是根据图像数据的特征将图像空间划分为不同的区域，然后根据不同区域的不同特征进行图像分割。区域生长法区域生长的基本思想是将具有相似性质的像素集合起来构成区域。进行区域生长分割图像时，先对每个需要分割的区域找一个种子像素作为生长的起点，然后将种子像素周围邻域中与种子像素有相同或相似性质的像素合并到种子像素所在的区域中。算法实现：（1）如何选择一个或一组能正确代表所需区域的种子像素；（2）如何确定在生长过程中能将相邻像素包括进来的准则；（3）如何确定生长终止的条件和规则。其中：f为输入图像，S为种子，T为阈值；g为分割后的图像；NR为连通区域的数目；SI为一幅包含有种子点的图像；TI是包含在经过连通前通过阈值测试的像素。,,,,,gNRSITIregiongrowfST由分割结果可以看出，区域生长法分割的结果存在过分割的现象分水岭是地理学中的一个名词。将两个水域分开的山岭。分水岭变换的概念用于灰度图像处理，解决图像分割的问题。分水岭分割地形图：(1)低洼：地形表面上总会有一些局部最小值点。落在这些点的雨水不会流向它处。(2)集水盆地：在一些点上，降落的雨水会沿着地形表面往低处流，最终流向同一个低洼，这些点称为与该低洼相关的集水盆地。(3)分水岭：在一些点上，降落的雨水可能会等概率地流向不同的低洼，将这些点称为分水线，就是Watershed.分水岭分割算法的主要目的就是找出集水盆地之间的分水线。集水盆地Watershed使用距离变换的分水岭分割：针对分割，与分水岭变换相配合的常用工具是距离变换。具体实现方法：首先，将图像二值化，下一步对图像求补，计算距离变换。然后，用watershed函数计算距离变换的负分水岭变换。最后，以黑色叠加二值图像上的分水岭脊线。分割结果由最后的分割结果可以看出，很明显存在一些过分割。数学形态学是新兴的图像处理与分析方法，1964年法国和德国的科学家在研究岩石结构时建立的。数学形态学应用几乎涵盖了图像处理的所有领域，在图像检测、生物医学图像分析、机器视觉等方面取得了非常成功的应用。形态学操作是由一组形态学代数运算子组成的，它的基本运算有4个：膨胀、腐蚀、开启、闭合二值形态学图像处理基本操作：边界抽取、区域填充、连接分量提取、凸壳算法、细化、粗化、骨架、修剪等。闭运算闭操作可使轮廓线更光滑，闭操作通常消弥狭窄的间断和长细的鸿沟，消除小的空洞，并填补轮廓线中的断裂。闭运算处理后的图像内部存在孔洞，利用区域填充消除孔洞。目标提取将最终进行形态学处理后的分割结果进行标记（bwlabel），对于存在噪声的图像，可以先通过比较面积值的方法，去除小面积区域（bwareaopen），消除噪声影响。最后，用矩形框在原图上将已经标记的目标圈出来（boundingbox）。谢谢大家！