基于高光谱成像的苹果虫伤缺陷与果梗/花萼识别方法

为了快速、准确、无损检测在果梗/花萼的干扰下苹果虫伤缺陷,该文利用高光谱成像技术,首先选取正常果和虫伤果各80个,提取并分析了苹果表面感兴趣区域(虫伤区域、果梗区域、花萼区域、正常区域)的光谱曲线,结合824 nm波长特征图像的阈值分割和主成分分析,对获得的第一主成分图像提取160×120像素大小的感兴趣区域。然后提取感兴趣区域的能量、熵、惯性矩和相关性4个纹理特征,融合646、824 nm波段的相对光谱反射率的光谱特征,采用支持向量机对苹果虫伤区域和正常区域、果梗/花萼区域进行识别。试验结果表明:选取160×120像素大小的感兴趣区域图像、采用径向基核函数对正常果、果梗/花萼果与虫伤果的识别效果最好,总体识别率为97.8%。该研究为苹果质量等级在线评判提供理论依据。     

基于激光散斑的梨缺陷与果梗/花萼的识别

为了测试利用激光散斑技术区分梨的缺陷与果梗/花萼的可行性,建立了激光散斑图像采集系统,对皇冠梨缺陷(腐烂)部位以及完好部位(花萼/果梗,无缺陷部位)分别进行了激光散斑图像的采集。利用Fujii方法(Fujii’s method)和加权广义差分方法(weighted generalized differences,WGD)对512幅散斑图像进行分析,对得到的Fujii和WGD结果图进行灰度共生矩阵特征提取,分别提取了角二阶矩、熵、惯性矩和相关性相应的均值及标准差,共计16组特征量。利用ROC曲线(receiver operator characteristic curve,ROC)进行特征量选取,结合约登指数测试单一特征量的分类效果,并利用二元logistic回归方法对所选特征量两两组合进行分析,结果显示基于WGD方法得到的角二阶矩均值与相关性标准差相结合在区分缺陷时效果最好,建模和预测准确率均达到了97.5%。试验的结果表明利用激光散斑图像方法对梨缺陷与果梗/花萼进行识别是可行的。     

基于深度学习的葡萄果梗识别与最优采摘定位

针对葡萄采摘机器人在采摘作业中受果园环境干扰,难以准确识别与分割葡萄果梗及定位采摘点的问题,该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络(Mask Region with Convolutional Neural Network,Mask R-CNN)模型对果梗进行识别与粗分割;然后结合阈值分割思想对果梗的色调、饱和度、亮度(Hue Saturation Value,HSV)色彩空间进行分段式提取,取每段色彩平均值作为该段果梗基准颜色阈值,利用区域生长算法对果梗进行精细化分割;最后计算果梗图像区域的质心,并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明,在不同天气光照下该方法对葡萄果梗的检测精确率平均值为88%;在果梗成功识别后最优采摘点定位准确率达99.43%,单幅图像的果梗采摘定位平均耗时为4.90s,对比改进前Mask R-CNN检测耗时减少了0.99 s,F1-得分提高了3.24%,检测效率明显提升,该研究为葡萄采摘机器人提供了一种采摘点定位方法。     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

基于DT-CWT和LS-SVM的苹果果梗/花萼和缺陷识别

该文提出了一种基于双树复小波变换(DT-CWT)和最小二乘支持向量机(LS-SVM)区分苹果的果梗/花萼和缺陷的方法。对苹果图像使用DT-CWT分解,使用变换后得到的高频子带系数的均值和方差构造特征向量,然后使用最小支持二乘向量机作为分类器进行分类。对180幅苹果图像进行了试验。讨论了DT-CWT分解层数以及目标图像大小对分类正确率的影响。试验结果显示,使用3层DT-CWT对大小为64×64子图像进行小波分解提取纹理特征,能达到最好的分类效果,分类正确率可以达到95.6%。     

自然场景图像中的重叠蜜柚识别及试验

重叠蜜柚目标的准确分离和蜜柚果梗的定位是实现采摘自动化必须解决的两个关键问题。现有的苹果、柑橘等重叠果实分离方法不适用于重叠蜜柚,且无果梗定位功能。针对以上问题,本文提出了一种结合渐进式中心定位的重叠蜜柚分离方法和果梗定位方法。首先利用主成分分析方法提取蜜柚区域、滤除背景并对图像中的重叠蜜柚进行初步分离;接着,对重叠蜜柚区域采用渐进式中心定位方法得到各个蜜柚的中心;然后,利用区域边缘点到其相应的不同中心点的距离大小的变化规律实现重叠蜜柚的分离;最后,利用前述的中心点结合蜜柚的形状特征,定位出遮挡程度较小的蜜柚果梗。在50张自然场景下的图像上进行试验,结果表明在有阴影、小目标、遮挡和重叠等复杂环境下,该方法的平均识别率为94.02%。同时,对于果梗未被遮挡且离摄像头较近的蜜柚,也给出了准确的果梗区域。在利用蜜柚模型搭建的识别自动化试验平台上进行试验,结果表明采摘机器人能够有效识别并分离重叠蜜柚、定位果梗。本研究可为蜜柚采摘机器人准确识别重叠果实提供参考。     

番茄果实串采摘点位置信息获取与试验

针对番茄收获机器人在采摘过程中果实串采摘点位置难以确定的问题,提出了基于果梗骨架角点计算方法,并利用该算法对番茄果实串果梗采摘点进行位置信息获取:首先采用最大类间方差分割法进行目标果实串分割,通过形态学方法和阈值法去除干扰,提取出目标果实串分割图像;根据果实串的质心和果串的轮廓边界确定果梗的感兴趣区域,采用快速并行细化算法提取果梗的骨架,利用Harris算法检测得到果实串第一个果实分叉点与植株主干之间果梗骨架角点,通过计算获得采摘点位置信息。然后进行验证试验,利用双目视觉图像采集系统采集了60组果实串图像并获取果梗采摘点位置信息,结果表明,采摘点位置成功率为90%,为采摘机器人提供准确的采摘位置信息。     

基于数字图像处理的苹果表面缺陷分类方法

为了实现苹果分级完全自动化，研究了苹果表面缺陷图像分类方法。提取了苹果表面缺陷图像区域的特征参数。根据表面缺陷特征，同时考虑缺陷形状的投影畸变，提出了一种苹果表面缺陷分类方法。分类方法利用二叉树将一个复杂的多模式分类问题分解为多级的、相对简单的二类模式分类问题,并采用人工神经网络与阈值判别相结合的方法，将苹果表面缺陷分为碰压伤、刺伤、裂果、病虫果和虫伤。试验表明：该分类方法能将苹果表面缺陷进行分类。     

图像形态学在苹果自动分级视觉信息处理中果梗判别与边缘检测中的应用

首先指出果梗判别在苹果自动分级系统中的研究意义,进而列出到目前为止较有代表性的四种判别果梗的方法,每种方法均有其优缺点,在此基础上提出了利用图像形态学可以更好地进行果梗判别,同时还能检测边缘,最后对该算法进行了系统评估,并为提高处理速度进行了的改进。     

基于光照无关图理论的苹果表面阴影去除方法

阴影影响下苹果目标的快速准确识别是苹果采摘机器人视觉系统必须解决的关键技术之一。为了实现阴影影响下苹果目标的准确识别,该研究采用光照无关图理论实现了苹果表面阴影的去除。以自然场景下获取的受不同程度阴影影响的苹果目标图像为研究对象,首先利用光照无关图原理获取阴影苹果图像的光照无关图,达到突出苹果目标阴影区域的目的;其次提取原图像的红色分量信息并与关照无关图进行相加处理;最后将相加后的图像进行自适应阈值分割处理,达到去除阴影的目的。为了验证该算法的有效性与准确性,利用20幅受阴影影响的苹果目标图像进行了试验,并与Otsu算法、1.5*R-G色差算法进行了对比,试验结果表明：Otsu算法仅能识别出未受阴影影响的苹果区域;1.5*R-G 色差算法受光照影响较大,对于苹果图像的相对强光照区域和部分阴影区域不能有效识别;基于光照无关图的苹果表面阴影去除方法对阴影影响下的苹果目标图像分割效果较好,可以克服光照过强的问题,并准确识别出阴影影响下的苹果目标。文中算法的平均假阳性率为17.49%,比Otsu算法降低了52.84%,比1.5*R-G算法降低了26.18%;文中算法的平均重叠系数为86.59%,比Otsu算法提高了47.2%,比1.5*R-G算法提高了11.03%;表明利用光照无关图可以有效地去除苹果表面的阴影,将其应用于阴影影响下的苹果目标的识别是可行的。     

苹果外部缺陷全表面在线检测分选装置研发

中国是水果消费大国,但在水果产后检测装备方面相对滞后。针对目前在线装置无法采集苹果全表面图像信息且无法精确计算缺陷面积的问题,该研究以表面缺陷面积的快速检测为主要目标,提出苹果全表面图像合成算法,设计了一套苹果外部品质在线检测及分级装置。该研究以苹果为例,基于球模型提出苹果全表面图像合成算法、缺陷面积校正算法精确计算苹果的表面缺陷面积。通过试验验证,对苹果表面图像进行分割合成后,整体的图像的漏检率为0。提出缺陷面积校正算法,可以计算图像中位于任意位置的苹果缺陷真实面积,选取了120个样本进行验证,其中擦伤样本、碰伤样本、痘斑病样本、表面腐败样本各30个。擦伤样本缺陷面积预测值与真实值的决定系数R2为0.9787,标准误差RMSE（Root Mean Squared Error）为3.577 4 mm2,偏角试验中R2为0.975 8,RMSE为3.466 3 mm2。碰伤样本缺陷面积预测值与真实值的R2为0.973 0,RMSE为3.981 9 mm2,偏角试验中R2为0.974 2,RMSE为4.062 4 mm2。痘斑病样本缺陷面积预测值与真实值的R2为0.970 8,RMSE为3.836 6 mm2,偏角试验中R2为0.977 9,RMSE为3.895 3 mm2;表面腐败样本缺陷面积预测值与真实值的R2为0.9812,RMSE为3.178 1 mm2,偏角试验中R2为0.974 8,RMSE为6.304 4 mm2。在整个试验过程中,R2总体上高于0.97,RMSE小于6.304 4 mm2。装置检测苹果的速度为2个/s,评级准确率为95%,检测与苹果评级精度较高,工作较为稳定,实现了苹果外部缺陷的检测与分级评价,为苹果的外部品质检测提供了技术支撑。     

基于凸壳的重叠苹果目标分割与重建算法

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

Segmentation and reconstruction of overlappedapple images based on convex hull

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

AE—Automation and Emerging Technologies: On-line Fruit Grading according to their External Quality using Machine Vision

This paper presents apple grading into four classes according to European standards. Two varieties were tested: Golden Delicious and Jonagold. The image database included more than a 1000 images of fruits (528 Golden Delicious, 642 Jonagold) belonging to the three acceptable categories—Extra, I and II—and the reject (each class represents, respectively, about 60, 10 and 20% of the sample size).The image grading was achieved in six steps: image acquisition; ground colour classification; defect segmentation; calyx and stem recognition; defects characterisation and finally the fruit classification into quality classes.The proposed method for apple external quality grading showed correct classification rates of 78 and 72%, for Golden Delicious and Jonagold apples, respectively. Taking into account that the healthy fruit were far better graded and considering that this class was under represented in the sample compared with the fruit population, the results of the proposed method (an error rate which drops to 5 and 10%, respectively) are compatible with the requirements of European standards.     

融合K-means与Ncut算法的无遮挡双重叠苹果目标分割与重建

重叠苹果目标的准确分割是采摘机器人必须解决的关键问题之一。针对现有重叠苹果目标分割方法不能保留重叠部分轮廓信息的问题,提出了一种无枝叶遮挡的双果重叠苹果目标分割方法。该方法首先利用K-means聚类算法进行图像分割以提取苹果目标区域,然后利用Normalized Cut(Ncut)算法提取苹果目标轮廓,以实现未被遮挡苹果目标完整轮廓的准确提取,最后利用Spline插值算法对遮挡的苹果目标进行轮廓重建。为了验证算法的有效性,对20幅无枝叶遮挡双果重叠的苹果图像进行试验,并将该算法与寻找2个有效凹点用其连线分割重叠苹果目标,把分离的2个轮廓分别用Hough变换重建轮廓的方法进行对比。试验结果表明,对于图像中未被遮挡的苹果目标,利用该研究算法的平均分割误差为3.15%,提取的苹果目标与原始图像中苹果目标的平均重合度为96.08%,平均误差比Hough变换重建算法低7.73%,平均重合度高9.71%,并且该研究算法能够很好地保留未被遮挡苹果目标的完整轮廓信息,提高了分割精度。对于重叠被遮挡的苹果目标,平均分割误差和平均重合度分别为5.24%和93.81%,比Hough变换重建算法的平均分割误差低11.35%,平均重合度高12.74%,表明该算法可以较好地实现重叠被遮挡苹果目标的轮廓重建,研究结果可为实现枝叶遮挡影响下的多果重叠目标分割与重建提供参考。     

基于两级分割与区域标记梯度Hough圆变换的苹果识别

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果，该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先，使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正，增强图像的细节信息。结合果实颜色特征，提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后，采用改进后的Otsu算法进行初次分割，得到苹果目标的二值图像，该算法通过引入形态学开-闭重建滤波去除大量背景噪声，通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割，分离粘连果实区域，提取目标苹果的外部轮廓。最后，在轮廓外设置最小外接矩形标记有效区域，在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试，并与传统梯度Hough圆变换方法进行对比，本文方法在顺、逆光下的识别准确率为90.75和89.79%，比传统方法提高了15.03和16.41%，平均识别时间为0.665和0.693 s，比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域，而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求，可为苹果等类球形果实的快速识别提供参考。     

基于图像特征融合的苹果在线分级方法

苹果在线分级是提升苹果商品化价值的重要环节,需要同时满足分级准确度和速度要求。为进一步提高苹果在线分级效率,该文借助机器视觉技术动态采集苹果传输过程中的实时图像,提出改进的三层Canny边缘检测算法来提取苹果轮廓以克服采集图像中的光线噪声影响,通过分析苹果分级指标,采用判别树对苹果的果径、缺陷面积、色泽等特征进行初步分级判断,并采用粒子群参数优化的支持向量机对果形、果面纹理、颜色分布等特征进行模型构建与分级,最后,通过将两种分级判断结果进行决策融合来实现样本精确分级。同时,采取图像压缩和特征降维方法提高实时性。试验结果表明,基于图像特征决策融合的苹果分级准确率可达到95%,平均分级速率可达到4个/s。研究结果为水果的在线分级提供参考。     

基于分水岭和凸包理论的自然场景下未成熟苹果直径测量方法

针对自然场景下生长期内树上未成熟果实的自动探测与大小计算问题,提出了一种基于改进分水岭和凸包理论的自然场景下未成熟苹果识别与直径计算方法。该方法首先对灰度图像进行形态学重构后进行边缘检测,再利用合并局部极小值点分水岭分割方法从粘连区域中提取目标果实,并结合基于凸包理论的真轮廓提取和圆拟合方法,实现目标果实圆拟合直径的自动测量。计算结果与人工测量结果进行对比试验,结果表明:在不考虑扁平型目标果的情况下,该方法的直径计算均方根误差最小值为1.91 mm,均值为2.27 mm,误差范围在品质评定等级差(5 mm)以内,具有较好的推广应用价值。研究结果为生长期内果实的大小监测提供参考。