苹果分拣机相关技术综合

苹果分拣机相关技术综合摘要:本文对苹果分拣机目前的现状进行了调研,归纳了应用于苹果分拣机的基于图像处理的机器视觉技术发展现状，并对苹果分拣机的开发进行了总结和展望。其间查阅、追溯文献40多篇、产品十余款、专利两项，涉及几十种机器视觉的技术并作了记录，力争用最简洁的语言将涉及的技术内容介绍清楚，并使读者遇到问题时易于查询资料。苹果分拣机（APPLESORT）是集合图像识别，统计学和自动控制的高技术设备。1、国内外现状（1）市场情况因受分拣线造价贵、苹果售价不高且产量受季节性影响、劳动力成本低等因素制约，国内鲜有商家投入资金在苹果分拣这一技术领域。目前国内苹果分拣主要采用“半机械化+人工分拣”的模式进行。综观市场和流通环节的表现，国内苹果分拣的应用目前还处于初级阶段。在国外（如日本，美国），苹果分拣机得到一定普及，但因其占地面积大，吞吐量高（需要有足够的苹果供分拣），投资巨大，因此只限于大型批发零售企业或者大型农场使用。（2）开发情况国内很少见到以开发水果分拣机为主业的厂家，取而代之的是大量半机械化传送机构的供应商，这些传输机构大都不包含对水果品质的智能识别，只有少数种类具备简单属性（如重量,大小）的分拣，且分拣水平不高。图1国产XGJ-DN型选果机（配备10等级，20-2000g分拣档位）图2国产YSXD-66-9-86型单面分拣机该分拣机采用杠杆原理，使用一定重量的砝码平衡系统，在脱离电子测重的条件下，由水果自身重量进行分拣，分选速度可达10000个/小时。图3国产的苹果分拣机专用电磁铁GS32目前国内已经出现了以智能化苹果品质分选为课题的基金项目[22]。但此类计划大都倾向于机械机构的设计和规模，很少把精力投入到苹果智能识别这方面来，取而代之的是引进国外的分拣软件，搭配国内的照明实现。目前国外一些以分拣机为主营业务的公司的产品（如美国Merling高速频计算机水果分级系统，OSCARTM型和NERLIN型高速水果分级生产线[1]）很少涉足中国市场，因此造成中文资料收集的困难。但还有少数公司开设了中国区产品宣传，如荷兰的GREEFA分拣机，代表型号有GeoSort和SmartSort。图4GREEFA的两款分拣机进入国内市场（3）专利情况目前国内关于苹果的专利较多,主要集中在生物科学,农业科学角度进行研究,而就苹果进行分拣的专利很少,经过搜索只有以下两个:国内专利1：一种苹果自动分拣机[23]采用红外线测距离方式检测苹果大小，测得距离小可判定苹果大，测得距离大可判定苹果小。国内专利2：一种苹果的分拣装置[24]采用纯物理轮廓制作的轨道,依靠重力作用使苹果按照由细到粗的轨道依次滚下,落入与其果径相匹配的槽中。以上两个专利，专利1涉及到苹果分拣的智能识别，但其采用的技术较为简单，未涉及任何机器视觉原理，且仅能对苹果大小进行识别，因此没有借鉴作用；而专利2属于物理分拣装置，不属于智能识别之列。2、检测项目根据苹果相关的国家标准和行业标准，苹果质检可分为七个项目分别是：果径；腐烂；干伤；病虫害；泥土；杂物；包装袋对于后三者基本不需要通过分拣机分拣，而分拣机主要的分拣项目是前四者。以上分拣标准是在“待分拣苹果属同批次”这个假设之下建立的，而由于苹果来源的复杂性，特别是到了流通环节后期，各种不同来源的苹果混合在一起，仅就这几种属性进行分类已经远不能满足分拣需求了。在日本，大型水果分拣机的检测分为两种：外部品质和内部品质。外部品质指检测果实的形状，颜色，瑕疵，大小等；内部品质指检测果实的糖度，酸度，内部损伤等情况。因此认为，就果实整体的全面分拣需要满足以下七个项目的检测：（1）果径（2）形状（3）颜色（4）外部损伤（含腐烂，干伤，病虫害）（5）糖度（6）酸度（7）内部损伤3、检测技术说明：→本文就苹果分拣机的技术原理重点在以图像处理为核心的机器视觉，而物理传动装置将不作为重点。因此把主要技术内容放在基于图像处理的机器视觉，机械结构仅做辅助性介绍。→由于国内可供借鉴的以苹果分拣机为研究对象的文献不多，因此也引入了其他分拣物所涉及图像分拣的文献，以供参考。对于苹果分拣的自动化，走到一定层次之上以后，基于图像处理的机器视觉是必经之路。（1）总括综合苹果的七种待测项目和下面的技术内容可知：对于果径的评价基本依托于对苹果轮廓线的分割；对于形状的评价主要依托两种方式进行判别，第一种是数学公式和形态学比例，即当苹果轮廓线的长度和所包围面积满足某种关系时，就认为它是完美的，还有另一种方式就是基于数据经验的分类模式；对于苹果的颜色（有时也叫成熟度）的评价主要依靠颜色识别；对于苹果损伤的划分（包括内部和外部），有各种各样的图像处理方法，后来有人综合了几种方法，然后分类加权取总权重的方式来综合评价一个苹果的总体损伤情况；对于糖度、酸度这些内部品质，目前处于研究前沿，主要采用近红外、激光的高光谱图像分析完成。（2）技术路线综观研究文献和技术性文档，对于涉及图像处理的苹果分拣研究主要沿袭以下四种技术路线：技术路线1：图像预处理对采集图像经过特定对比度调节后再进行处理，在同等对比度条件下的图像更具分析价值。技术路线2：特征提取对不同损伤类型的采用不同特征值进行评价，并综合评定损伤程度，主要的特征值包括：平均值，方差，中值等统计参数描述。技术路线3：缺陷部位隔离苹果头部底部不平滑，应被当作特殊部位被保护，而不能被判作损伤。技术路线4：数据库学习采用建立损伤数据库的方式，使用灰度CCD采集数百幅图片，并对这些图片进行数字化分类，对不同种类图片所表征的损伤类型进行定义。当被分拣苹果的图片被采集后，从数据库中调用类似数字化的图片进行匹配，可以认定损伤类型和损伤程度。（3）涉及图像采集的硬件设计苹果果体定位系统对于以机器识别为基础的苹果分拣机，国内提出过关于图像拍摄前对苹果果体进行定位的设计[2]，如下图所示图5苹果果体定位系统它的基本原理是利用轮1的水平旋转，使整个果体水平旋转，再由轮7纵向旋转，当有凹面卡在轮7时，由于摩擦力不足，使整个果体得以固定。这种果体校位装置，实现起来比较复杂，且实际使用情况还没验证（理论上是4S/个），推广起来有一定难度，其解决的问题可考虑通过机器视觉算法克服。光源的选取因为数字图像采集对亮度要求较高，特别是在实际应用中需要考虑各种限制，对光源的选取非常重要。在视景区照明设计时，通常使用的光源有白炽灯、卤钨灯、荧光灯、高压汞灯、金属卤化物灯、发光二级管。根据其不同属性横向比较如下：光源种类亮度稳定性环境要求寿命白炽灯××××卤钨灯√×××荧光灯×××√高压汞灯×√√√金属卤化物灯√√√√发光二级管×√√√表1不同种类光源属性比较综合以上因素，选用金属卤化物灯作为分拣系统的光源。虽然金属卤化物灯具有高光效，显色性好，寿命长等优点，但他对电压稳定性同样有一定要求，可以采用电子镇流器通过高频调节，减少闪烁和波纹输出。由于选择点光源，且采集区域是水平矩形区域，因此大都采用多光源交叉、平均混光的方式分布，能够确保整个苹果在各个面上最大程度的亮度均衡。为保证图像采集的质量，调光时要尽量使光线平行照到背景条上，避免干涉造成的影响。（4）基于图像处理的机器视觉分拣技术数字图像处理，就是利用计算机对数字图像进行各种目的的处理，后来又加入图像识别（机器视觉）技术，成为一种重要的计算机图像技术。数字图像处理所包含的图像处理和图像识别流程如下图所示：图6图像处理流程图7图像识别流程对于苹果分拣过程中通用的图像处理算法主要有：（1）图像去噪问题。主要方法有临域平均法、低通滤波法、中值滤波法、MTM算法等。（2）图像增强问题。主要方法有直方图增强法、灰度变换法、基于小波变换的增强等。（3）自适应灰度变换问题。主要方法有子灰度变换，非线性变换等。下面介绍各种分拣项目特有的算法：果径、形状、损伤涉及果径、形状、损伤的机器视觉中对苹果边缘进行分割是必不可少的，也提出了多种图像分割方法。区域生长和腐蚀法[8]，是一种以采集到的图像作为灰度图像进行分割的方法，具有三个基本环节：（1）对采集到的图像进行阈值调整，从而克服因光照等原因造成的图像的差异性（2）利用二维包围盒将苹果的特征进行初步选取（3）利用一定的向量和移动原则，逐像素遍历包围盒中的全部像素图8二维包围盒对于苹果表面和内部的损伤检测，目前遇到的一个问题是如何区分细微损伤与噪声，因为细微损伤按照一般的分割方法容易被忽略。目前有人提出了不通过剃度分割，而直接用算子的卷积算法实现，这种方式叫做基于曲面拟合的边缘检测，如通过SUSAN算子实现[10]，SUSAN算子与其他算子相比较，具有形态适应性强（总体趋于圆而非矩形），对灰度变化反应敏感等优点，能够有效识别损伤与噪声。类似方法还有很多种，如Laplace算子，Sobel算子，Canny算子[12-14]，Prewitt算子[16]等。此外还有基于微分算子的边缘检测，如罗伯特（Robert）梯度[18]等，就不在此赘述了。在具体算子采用过程中可将各种统计学特征函数加入到算子的运算中去，从而提高算子的性态，如基于贝叶斯公式的特征函数[20]。在整幅图像的划分上，如果不采用分割，除了算子之外还可以采用门限遍历和二值化来对图像进行特征提取。颜色颜色量化[附录2]是上世纪80年代兴起的一种计算机图像技术，主要采用归纳和综合方法近似分析采集颜色值，并可通过模拟对某种颜色值进行浮现。糖度、酸度对于苹果的内部品质（糖度，酸度）分析，现在国际上通用的有近红外线分析法[3-5]，就是利用红外线透射果体，通过红外光谱分析，然后利用统计学将所得光谱数据进行分布函数化，通过回归分析得到分析值，再与该苹果实际糖度酸度进行对比，进一步标定其中的参数。后来有人在这个基础上提出了高光谱图像[6-7][21]，如下图：图9不同波长产生的高光谱图像这种高光谱图像在近红外分析法的基础上，变一维检测为二维检测，并采用不同波长的光谱入射，然后对不同波长的光谱图像进行叠加，再进行回归分析，取得较为准确的结果。此外，对于内部品质的分析还可以通过激光图像进行[19]。品质的定义对于苹果品质的定义，模糊算法是一个行之有效的手段。如有人提出采用模糊算法分别定义苹果的各项品质，然后再综合各项结果判定苹果的好坏[9]，如利用图像处理测量苹果图像的轮廓周长和面积，将面积作为第1指标。再通过圆度公式（参考周长和面积）计算每一幅苹果图像的圆度，作为第2指标。然后根据计算机图像处理的RGB三基色模型，或者其他模型如CMY、HSI等进行色度分析，作为第3指标。第1指标对应苹果的体积第2指标对应苹果的饱满程度第3指标对应苹果的成熟度然后通过模糊算法综合评定一个苹果的好坏。这种基于模糊算法的模型虽然很简单，也有一定漏洞，但它为我们提出了一种行之有效的苹果判别方法，是值得借鉴的。几种必要而非必须的技术图像变换：图像变换是图像处理与分析的一个重要分支，它将图像转换到不同变换域，目的是为了有意识的选择空间的某组基以达到某种标准，如减少冗余信息等。图像变换一般采用正交变换函数[18]，包括傅立叶（Fourier）变换、沃尔什（Walsh）变换、哈达玛（Hardmard）变换、离散余弦（Discretecosine）变换和哈特林（Hotelling）变换等。图像平滑：目前主要分为算子平滑、卷积平滑和低通滤波平滑[18]。低通滤波平滑包括理想低通滤波器、巴特沃斯滤波器、指数滤波器、梯形滤波器等。图像锐化：采用平滑的逆过程，采用上述滤波器的高通滤波实现[18]。此外，在苹果分拣中还会遇到基于分形特征的图像处理与识别[18]。关于苹果分拣补充技术纹理识别、神经网络、特征数据库是苹果分拣的重要补充技术[11]，在苹果分拣中起到补充作用。纹理识别[附录1]是上世纪70年代兴起的一种计算机图像技术，广泛应用在神经生理学、心理学、医学诊断、影像分析等多个方面。神经网络[附录3]是上世纪40年代就出现的一种运用数学模型和计算机进行抽象模拟的技术，在图像领域可用于某种图像量化参数的选取。特征信息库[附录4]是上世纪80年代兴起的，以特征建模技术为基础的，用以解决