基于图像处理技术的作物病害诊断

基于图像处理技术的作物病害诊断研究博士生：袁媛导师：李淼研究员研究背景研究内容现有成果下一步研究展望目录研究背景农作物受到病虫害侵染后，外观形态和生理效应均会发生一定变化。病害的症状绝大多数均会在农作物的叶子上表现出来，出现病斑。目前国内外研究主要采用图像处理技术，光谱分析技术，以及多光谱和高光谱成像技术等进行作物病虫害快速检测。常规检测方法（显微工具/肉眼）直接判别病虫害的种类和程度，存在主观性强、工作量大、覆盖范围窄、效率低、成本高等缺点，不适用于精准农业对作物病虫害信息快速获取的需要。植物病害检测与预警预报技术农作物病害识别基于图像处理的诊断系统目标识别特征提取图像分割优点：迅速、准确、客观。农民凭经验、对照书籍、请教专家等基于规则的诊断专家系统缺点：具有主观性，诊断结果不准确，造成滥施农药、环境污染等问题。研究背景研究背景（续）近些年来，随着数字图像处理技术的迅速发展、计算机视觉技术的广泛应用和各种模式识别技术的日趋成熟，将计算机视觉技术引入作物病害防治领域，实现病害的自动化诊断，为作物病害的无损检测、快速诊断提供了新的途径和方法。方便实时监控作物的生长情况具有复杂背景现有成果下一步研究展望目录研究背景研究内容研究内容作物病害识别图像预处理病斑分割病害识别/分类特征提取图像缩小图像增强灰度化处理……阈值法区域法（分水岭等）边缘检测（Roberts算子等）形变模型（水平集等）特定理论（聚类、图论等）颜色特征形状特征纹理特征特征降维统计识别方法结构（句法）识别方法模糊识别方法人工神经网络识别方法支持向量机方法研究内容下一步研究展望目录研究背景现有成果现有成果1、黄瓜病害诊断系统系统的主要功能：对输入的具有复杂背景的黄瓜病害图像，进行裁剪、填充、灰度化、中值滤波、阈值分割、轮廓提取、病斑提取等一系列处理，得到具有简单背景的病斑图像，然后对该病斑图像进行颜色、纹理和形状特征的提取，最后，利用径向基核函数的SVM分类器对提取的特征向量进行分类，最终得出该病害的诊断结果。采集图片图像裁剪图像分割图像增强图像预处理颜色特征形状特征纹理特征图像特征提取病害识别病害诊断模型图像模式识别诊断结果现有成果1、黄瓜病害诊断系统（续）现有成果1、黄瓜病害诊断系统（续）以VC作为开发工具，实现了对图像中任意形状边界的封闭区域的裁剪，做到了图像中目标区域与背景区域的成功分离。针对具有复杂背景的黄瓜病害图像：Gengying,LiMiao,YuanYuan,HuZelin.AStudyontheMethodofImagePre-ProcessingforRecognitionofCropDiseases.InternationalConferenceonAdvancedComputerControl,ICACC2009,202~206.（EICompendex）原图拷贝鼠标定点画轮廓线区域填充输出结果图像叠加现有成果2、复杂背景条件下的作物病害图像处理实时监控采集到的大多数作物病叶图像都具有复杂背景，且其中存在与病斑混淆的因素（颜色、形状、纹理等），可能导致获取的信息不足以对目标进行正确的分割，或是为分割提供了错误的信息。复杂背景去除图像采集标准化图片编辑软件图像裁剪技术难以实现图像自动采集工作量大，费时费力现有成果2、复杂背景条件下的作物病害图像处理（续）解决方案1：提出基于先验信息（纹理和形状）的水平集模型，以解决具有复杂背景的作物病叶图像的自动分割问题。LBF模型先验纹理信息引入改进的水平集模型先验形状知识结构张量ZhangWei，ZhangJian，etc.ANewLevelSetMethodOfImageSegmentationUsingStructureTensor.The2ndInternationalWorkshoponIntelligentSystemsandApplications，ISA2010，735-738.（EI,ISTP）袁媛，李淼，梁青，等.基于水平集的作物病叶图像分割方法研究[J].农业工程学报，2011，27（2）：208-212现有成果2、复杂背景条件下的作物病害图像处理（续）解决方案1：先验纹理信息模型：•传统的结构张量没有使用任何灰度信息，当纹理目标的灰度与背景存在差异的时候，灰度信息的加入将有助于分割速度和精度的提高。因此将灰度信息引入其中，构建新的扩展型结构张量。•在LBF模型中引入上述改进的扩展性结张量，使得其能够分割纹理图像。22121122()()(,)()()STinsideCoutsideCETTTxTdxTxTdx现有成果2、复杂背景条件下的作物病害图像处理（续）解决方案1：先验形状信息模型：•采用水平集方法表示目标先验形状：易于扩展到高维情况，能够很好地处理拓扑结构的变化，这种形状表示方法与曲线演化的水平集模型相一致，可以很容易地融入到活动轮廓模型中。•形状配准：具有旋转、平移、缩放变换的不变性将每个样本的水平集函数逐个与第一个样本做配准计算变换后形状的水平集函数的平均值将平均形状与第一个样本做配准，并将其余样本与平均形状做配准平均形状收敛？结束是否22(()())()ˆ2shapeHHEdxdy是经过配准后训练集的平均形状，是形变自由度。ˆ现有成果2、复杂背景条件下的作物病害图像处理（续）解决方案1：改进后的水平集模型：•其中，是一个常数，用于调节形状先验能量项的权重。1212()(,,,,)()totalshapeEEffTTE0实验中我们使用了12幅不同角度拍摄的黄瓜叶片图像作为训练集，得到的平均形状作为先验形状信息。实验结果：现有成果2、复杂背景条件下的作物病害图像处理（续）解决方案1：实验结果：现有成果2、复杂背景条件下的作物病害图像处理（续）解决方案2：为了有效结合多种特征信息，将不同的水平集函数对应在不同的特征域中演化，构造新型的多域多相水平集算法。外部水平集在近似叶片形状的二值化纹理域中演化，而内部水平集则在灰度域中演化，在病叶内部逐渐逼近病斑轮廓，以实现对复杂背景下病斑的有效分割。江海洋，张建，袁媛，等.基于MDMP-LSM算法的黄瓜叶片病斑分割方法[J].农业工程学报，2012，28（21）：142-148.彩色叶部病害图像EST纹理灰度化外水平集演化域内水平集演化域外水平集演化方程内水平集演化方程预处理主要叶片零水平集病斑轮廓零水平集空间约束病斑现有成果2、复杂背景条件下的作物病害图像处理（续）解决方案2：a.原始图像b.单水平集函数演化结果c.分割结果d.二值化分割结果a.外水平集函数b.内水平集函数c.分割结果d.内水平集函数分割出内部椭圆单水平集模型分割结果内部顺序的多相水平集模型分割结果基本思想：现有成果2、复杂背景条件下的作物病害图像处理（续）解决方案2：从一幅原始图像获得多个特征域一般情况下，让水平集函数在域上演化，在域上演化，同时又被约束在内部。内外水平集都使用LCV模型新的多域多相水平集模型：+11u22u现有成果2、复杂背景条件下的作物病害图像处理（续）解决方案2：实验结果：存在的问题：由于内水平集函数在灰度域中进行演化，易受到光照不均造成的灰度差异性影响，导致部分病斑分割错误。现有成果2、复杂背景条件下的作物病害图像处理（续）解决方案3：设计了一种彩色图像非监督图像综合处理方法。首先结合超G和OTSU方法去除彩色图像中的大部分背景，尽可能的保留图像中的绿色部分信息，然后利用基于K-means聚类算法进行病斑提取分割。填充输入图像超G中值滤波OTSU分割基于K-means聚类算法去除复杂背景分割结果现有成果2、复杂背景条件下的作物病害图像处理（续）解决方案3：结合超G信息与OTSU的背景去除：由于处于生长期的黄瓜叶片部分呈绿色，因此，采用在RGB空间中彩色图像灰度化因子（2G-R-B）（也称为“超G”因子），得到突出绿色特征的超G灰度图，本文根据这一颜色特征在复杂背景中提取主要叶片。255,2255(,)0,202,GRGEXGxyGRGGRBelse现有成果2、复杂背景条件下的作物病害图像处理（续）解决方案3：实验结果：现有成果3、基于分水岭算法的病斑分割针对分水岭算法在分割病斑的过程中容易产生的“过分割”现象，提出了一种改进的基于极小值标定的分水岭分割方法。输入图像数学形态学开闭重建运算梯度图像标记前景目标最大类间方差法欧氏距离变换标准分水岭变换标记背景区域极小值标定标准分水岭变换分割结果前景标记过滤任玉刚，张建，李淼，袁媛．基于分水岭算法的作物病害叶片图像分割方法[J]．计算机应用，2012，32（3）：752-755.现有成果3、基于分水岭算法的病斑分割（续）针对分水岭算法在分割病斑的过程中容易产生的“过分割”现象，提出了一种改进的基于极小值标定的分水岭分割方法。实验结果：前景标记和背景标记提取的结果现有成果3、基于分水岭算法的病斑分割（续）针对分水岭算法在分割病斑的过程中容易产生的“过分割”现象，提出了一种改进的基于极小值标定的分水岭分割方法。实验结果：现有成果分析水平集分割方法效果较好，但是计算复杂，运算量大，比较耗时，不太适合实时病害诊断系统的要求。利用超G信息提取绿色部分作物信息存在一定的缺陷，比如黄色花朵连同绿色叶片一起被提取出来。因为在RGB空间中，黄色由绿色和红色分量合成，可能导致花朵部分在超G图中灰度也较大，OTSU方法将花朵部分保留为主要叶片，进而影响了后面病斑的分割效果。综合处理方法运行比较快，能够满足实时图像处理的要求。现有成果研究内容目录研究背景下一步研究展望下一步研究展望目前多数研究集中在成熟期的农作物病害或者病害中晚期症状的研究上，忽视了苗期病害和发病初期症状的研究。仅考虑作物叶片上只发生一种病害时的情况，虽然作物多种病害混合发生的情况相对较少，但当一个叶片中有多种病害混合发生时如何对图像进行处理和识别，如何对症状进行诊断，也是今后研究的主要内容。敬请各位专家、同行给予指正！