基于视觉显著性改进的水果图像模糊聚类分割算法

准确分割水果图像是采摘机器人实现视觉定位的关键技术。该文针对传统模糊聚类对初始聚类中心敏感、计算量大和易出现图像过分割等问题,结合机器人的视觉特性,提出了一种基于多尺度视觉显著性改进的水果图像模糊聚类分割算法。首先,选择适当的颜色模型把彩色水果图像转换为灰度图像;然后对灰度图像做不同尺度的高斯滤波处理,基于视觉显著性的特点,融合了多个不同尺度的高斯滤波图像,形成图像聚类空间;最后,用直方图和模拟退火粒子群算法对图像的传统模糊聚类分割算法进行了改进,用改进的算法分别对采集到的100张成熟荔枝和柑橘图像,各随机选取50张,进行图像分割试验。试验结果表明:该方法对成熟荔枝和柑橘的图像平均果实分割率分别为95.56%和93.68%,平均运行时间分别为0.724和0.790s,解决了水果图像过分割等问题,满足实际作业中采摘机器人对果实图像分割率和实时性的要求,为图像分割及其实时获取提供了一种新的基础算法,为视觉精确定位提供了有效的试验数据。     

基于Retinex图像增强的不同光照条件下的成熟荔枝识别

为了满足自然环境下荔枝采摘机器人视觉定位系统的有效性和实时性的要求,针对不同光照条件的荔枝彩色图像,采用基于双边滤波的Retinex图像增强算法凸显图像中的荔枝果实和果梗,对增强处理后的图像在HSI颜色空间中进行H分量旋转的处理,再对旋转处理后的H分量进行Otsu自动阈值分割去除荔枝图像果实和果梗外的复杂背景;然后通过将双三次插值算法和传统的模糊C均值（FuzzyC-Mean）算法融合,对去背景后的荔枝图像在YCbCr颜色空间中进行Cr分量模糊聚类分割,实现荔枝果实和果梗的识别。荔枝图像的分割试验结果表明：该算法对晴天顺光、逆光、遮阴、阴天顺光等光照条件的荔枝图像能够有效地分割,对阴天弱光照、果实被遮阴条件下的荔枝也能较好的识别,并保持荔枝果实和果梗区域的完整性,4种光照条件荔枝图像分割正确率分别为96%、90%、89.3%和88.9%,成熟荔枝识别的正确率达到了90.9%,该研究为水果采摘机器人的室外作业的实时性和有效性提供指导。     

基于两级分割与区域标记梯度Hough圆变换的苹果识别

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果，该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先，使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正，增强图像的细节信息。结合果实颜色特征，提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后，采用改进后的Otsu算法进行初次分割，得到苹果目标的二值图像，该算法通过引入形态学开-闭重建滤波去除大量背景噪声，通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割，分离粘连果实区域，提取目标苹果的外部轮廓。最后，在轮廓外设置最小外接矩形标记有效区域，在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试，并与传统梯度Hough圆变换方法进行对比，本文方法在顺、逆光下的识别准确率为90.75和89.79%，比传统方法提高了15.03和16.41%，平均识别时间为0.665和0.693 s，比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域，而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求，可为苹果等类球形果实的快速识别提供参考。     

基于深度学习的葡萄果梗识别与最优采摘定位

针对葡萄采摘机器人在采摘作业中受果园环境干扰,难以准确识别与分割葡萄果梗及定位采摘点的问题,该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络(Mask Region with Convolutional Neural Network,Mask R-CNN)模型对果梗进行识别与粗分割;然后结合阈值分割思想对果梗的色调、饱和度、亮度(Hue Saturation Value,HSV)色彩空间进行分段式提取,取每段色彩平均值作为该段果梗基准颜色阈值,利用区域生长算法对果梗进行精细化分割;最后计算果梗图像区域的质心,并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明,在不同天气光照下该方法对葡萄果梗的检测精确率平均值为88%;在果梗成功识别后最优采摘点定位准确率达99.43%,单幅图像的果梗采摘定位平均耗时为4.90s,对比改进前Mask R-CNN检测耗时减少了0.99 s,F1-得分提高了3.24%,检测效率明显提升,该研究为葡萄采摘机器人提供了一种采摘点定位方法。     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

改进二维最大类间方差法及其在黄瓜目标分割中的应用

为了提高图像阈值分割算法的应用广适性和处理实时性,该文在二维最大类间方差分割算法的基础上,研究邻域模板尺寸对最佳阈值的影响,将图像的灰度值、邻域尺寸及邻域均值进行遗传基因编码,利用遗传算法得到阈值最优解的小范围,在此小范围内进行二次遗传算法运算寻求全局最优解。将此基于两级遗传算法的二维最大类间方差分割算法应用于黄瓜计算机视觉识别目标试验中,试验结果表明,在计算类间方差次数上,基于两级遗传算法的二维最大类间方差算法分别为二维最大类间方差耗时的0.18%和一维Otsu算法耗时的46.87%,耗时上也较传统二维最大类间方差算法和一维Otsu算法有很大缩短,分割效果也有了明显改善。同时该算法也为目标识别领域提供了一种新型的实时图像分割方法,具有一定的推广价值。     

苹果采摘机器人视觉系统研究进展

视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。     

基于稀疏场水平集的荔枝图像分割算法

为了给采摘机器人提供完整的荔枝果实轮廓,该文选择HSV彩色空间中色调H分量的旋转分量作为图像分割的特征;然后,通过模糊聚类算法自动获取合适的初始演化曲线轮廓,再利用稀疏场水平集方法对目标区域轮廓进行精确提取;最后,对分割的区域进行标记,并利用图像标记来恢复分割区域的原始图像。结果表明,该算法不仅很好地克服随机噪声的影响,而且很好地保持果实区域的完整性,使成熟荔枝分割的正确率达到了84.1%。     

改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法

基于深度神经网络的果实识别和分割是采摘机器人作业成功的关键步骤,但由于网络参数多、计算量大,导致训练时间长,当模型部署到采摘机器人上则存在运行速度慢,识别精度低等问题。针对这些问题,该研究提出了一种改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法,采用跨阶段局部网络（Cross Stage Partial Network,CSPNet）与Mask R-CNN网络中的残差网络（Residual Network,ResNet）进行融合,通过跨阶段拆分与级联策略,减少反向传播过程中重复的特征信息,降低网络计算量的同时提高准确率。在番茄果实测试集上进行试验,结果表明以层数为50的跨阶段局部残差网络（Cross Stage Partial ResNet50,CSP- ResNet50）为主干的改进Mask R-CNN模型对绿熟期、半熟期、成熟期番茄果实分割的平均精度均值为95.45%,F1分数为91.2%,单张图像分割时间为0.658 s。该方法相比金字塔场景解析网络（Pyramid Scene Parsing Network,PSPNet）、DeepLab v3+模型和以ResNet50为主干的Mask R-CNN模型平均精度均值分别提高了16.44、14.95和2.29个百分点,相比以ResNet50为主干的Mask R-CNN模型分割时间减少了1.98%。最后将以CSP- ResNet50为主干的改进Mask R-CNN模型部署到采摘机器人上,在大型玻璃温室中开展不同成熟度番茄果实识别试验,该模型识别正确率达到90%。该研究在温室环境下对不同成熟度番茄果实具有较好的识别性能,可为番茄采摘机器人精准作业提供依据。     

采摘机器人振荡果实匹配动态识别

为解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题,对采摘机器人在果实振荡状况下的匹配动态识别方法进行了研究。首先介绍了振荡果实的动态识别流程,确定出采摘目标果实作为后续匹配识别的模板;然后引入去均值归一化积相关匹配识别算法,采用FastInverseSquareRoot算法和快速哈特莱变换对其进行加速优化,同时借鉴以往旋转无关匹配识别算法进行抗旋转改进;试验结果表明,加速优化后的匹配识别算法能够进行采摘目标果实的匹配识别,单幅平均匹配识别时间为0.33s,经过抗旋转等改进的匹配识别算法在[-55°,60°]较大范围内旋转无关,可以准确识别振荡果实,加上模板适时更新,能够满足实际需求。该研究可为果蔬采摘的动态识别提供参考。     

复杂环境下柿子和苹果绿色果实的优化SOLO分割算法

为了实现果园复杂环境下柿子和苹果绿色果实的精准分割,该研究提出了一种基于SOLO的绿色果实优化分割算法。首先,利用分离注意力网络（ResNeSt）设计SOLO算法的主干网络,用于提取绿色果实特征;其次,为更好地应对绿色果实特征的多尺度问题,引入特征金字塔网络（Feature Pyramid Networks,FPN）,构造ResNeSt+FPN组合结构;最后,将SOLO算法分为类别预测和掩码生成2个分支,类别预测分支在预测语义类别的同时,掩码生成分支实现了对绿色果实的实例分割。试验结果表明,优化SOLO分割算法的平均召回率和精确率分别达到94.84%和96.16%,平均每张绿色果实图像在图形处理器（Graphics Processing Unit,GPU）上的分割时间为0.14 s。通过对比试验可知,优化SOLO分割算法的召回率分别比优化掩膜区域卷积神经网络算法（Optimized Mask Region Convolutional Neural Network,Optimized Mask R-CNN）、SOLO算法、掩膜区域卷积神经网络算法（Mask Region Convolutional Neural Network,Mask R-CNN）和全卷积实例感知语义分割算法（Fully Convolutional Instance-aware Semantic Segmentation,FCIS）提高了1.63、1.74、2.23和6.52个百分点,精确率分别提高了1.10、1.47、2.61和6.75个百分点,分割时间缩短了0.06、0.04、0.11和0.13 s。该研究算法可为其他果蔬的果实分割提供理论借鉴,扩展果园测产和机器采摘的应用范围。     

复杂背景下甜瓜果实分割算法

为解决复杂背景下甜瓜果实与背景图像分割的问题,该文提出了一种融合颜色特征和纹理特征的图像分割算法。首先,把采集到的甜瓜果实图像从RGB色彩空间分别转换到CIELAB和HSV色彩空间,应用a*b*分量建立角度模型,根据甜瓜果实的颜色特点选取阈值并对图像作二值化处理;为降低光照分布不均匀对图像分割的影响,采用HSV空间的HS颜色分量对果实图像进行阈值分割。在以上2种色彩空间分割的基础上,融合角度模型分割和HS阈值分割的结果,得到基于颜色特征的分割结果。然后,再按照图像的纹理特征对图像进行分割处理,融合按照颜色特征和纹理特征的分割结果。最后,为解决分割结果中的分割误差和边缘毛刺问题,以颜色特征分割的果实区域为限定条件,对按照融合特征分割的果实区域进行约束性区域生长,得到最终的图像分割结果。为了对该文提出算法的分割效果进行检验,采用超绿阈值分割算法和归一化差异指数算法(NDI)对试验图像进行分割,3种算法的平均检出率分别为83.24%、43.12%、99.09%。对比3种分割算法的检出率和误检率,可以看出,该文提出的算法试验结果明显优于超绿阈值分割算法和归一化差异指数(NDI)分割算法。     

基于颜色系数反向粒子群模型的田间作物分割方法

针对复杂多变的农田环境下,田间作物分割既要保留农田作物完整外部形态信息,又要满足农田作业速度的要求,该文提出一种基于反向变异粒子群优化(reverse mutation-particle swarm optimization,RM-PSO)算法提取最优颜色系数的田间作物分割方法。该分割方法分为离线和在线2个部分,离线部分采用反向变异策略提高了初始粒子群群体质量及算法的搜索效率,避免算法早熟收敛,陷入局部最优,引入满意度函数对最优颜色系数进行评价,提取全局最优颜色系数。在线部分采用离线提取的最优颜色系数对作物图像灰度化,进而对灰度化后图像进行阈值分割得到最终的分割结果。试验结果表明,该文方法平均错分率(error distinguish rate)仅为4.8%,低于HSI算法、EXG法以及Mean-shift神经网络分割算法的11.3%、19.5%、5.7%;标准差值为3.1%,相较于HSI算法的7.2%、EXG法的14.7%、及传统PSO方法的7.9%,该文算法具有更高的稳定性;平均处理时间为0.311 s,而HSI方法为0.908 s,Mean-shift神经网络分割算法为1.942 s。该方法不仅能够保证不同光照及不同景物干扰下作物外部形态信息完整,同时处理速度快,鲁棒性好,具有较高的实际应用价值。     

自然光照条件下采摘机器人果实识别的表面阴影去除方法

有效的阴影检测和去除算法会大大提高自然环境下果实识别算法的性能,为农业智能化提供技术支持。该研究采用超像素分割的方法,将一张图像分割成多个小区域,在对图像进行超像素分割的基础上,对自然光照下的果园图像阴影区域与非阴影区域进行对比分析,探索8个自定义特征用于阴影检测。然后采用SVM的方法,结合8个自主探索的自定义特征,对图像中每个超像素分割的小区域进行检测,判断每个小区域是否处于阴影中,再使用交叉验证方法进行参数优化。根据Finlayson的二维积分算法策略,对检测的每一个阴影区域进行阴影去除,获得去除阴影后的自然光照图像。最后进行阴影检测的识别准确性试验,试验结果表明,本研究的阴影检测算法的平均识别准确率为83.16%,经过阴影去除后,图像的阴影区域亮度得到了提高,并且整幅图像的亮度更为均匀。该研究可为自然环境下机器人识别果实及其他工农业应用场景提供技术支持。     

基于改进的粒子群多阈值算法的白色异性纤维检测

为了提高皮棉中白色异性纤维的识别精度,该文提出了一种基于改进混沌粒子群的白色异性纤维检测算法,该算法将图像的像素点按灰度值分为多类,把所有相邻类间方差看做一个粒子种群,以最大类间方差组作为种群适应度评价函数。通过滑动窗口技术判断算法是否陷入局部最优。有效克服了标准粒子群算法容易陷入局部最优的缺陷。通过试验验证,该文提出的算法对白色异性纤维的识别准确率达到98.6%。通过与标准二维Otsu算法的对比分割试验发现在分割较细小的白色异性纤维以及白色纤维与皮棉发生重叠的情况时,该算法的分割结果比标准二维Otsu算法更准确,噪声点更少。为皮棉异性纤维检测与剔除工艺的改善提供了技术依据。     

基于形状因子和分割点定位的粘连害虫图像分割方法

单个害虫的分割是进行害虫特征提取和识别的前提。针对害虫识别过程中出现的粘连等问题,提出了一种基于形状因子和分割点定位的害虫图像分割方法。该方法首先利用形状因子对图像中的每个区域进行粘连判定,然后对判定为粘连的区域进行逐层轮廓剥离和局部分割点的确定,接着根据局部分割点在原区域中搜索边界轮廓的两个分离点,最后连接局部分割点与分离点线段进行害虫分割。通过实验室人工随机散落桃蛀螟Conogethes punctiferalis(Guenée)和田间粘虫板诱捕梨小食心虫Grapholitha molesta(Busck)2种场景采集图像,验证算法的有效性,并与分水岭分割算法进行对比,采用分割率、分割错误率和分割有效性3项指标进行评价,结果表明:针对实验室环境下采集的2组桃蛀螟害虫图像,该文方法平均错误率为7%,约为分水岭分割方法的1/2,平均分割有效率为92.65%,比分水岭算法提高了5.7个百分点;在2组田间梨小食心虫图像分割中,该文方法平均错误率为2.24%,平均分割有效率为97.8%,分别比分水岭方法降低了4.29个百分点和提高了3.95个百分点,说明该文方法在分割准确性和有效性方面都可以获得更好的分割性能,应用于害虫多目标分割与自动识别系统中,可以有效地提高识别精度。     

基于多光谱图像融合和形态重构的图像分割方法

一些成熟的瓜果果实在单一的光谱图像中,果与叶的灰度值只存在微小差异,常用的图像分割方法不足以把果与叶区分开,为此,提出一种基于多光谱图像融合的形态学重构分割方法.首先,采集同一目标的可见光彩色图像和近红外图像,对此多光谱图像分别采用主成分分析(PCA)、小波变换以及可见光图像H分量与近红外图像NIR的算术组合(NIR/H)等方式进行融合处理:然后,对融合图像进行形态学重构分水岭分割.多幅苹果和番茄图像的同标提取试验结果表明,对可见光图像和近红外图像的PCA和小波变换融合图像进行形态学重构分水岭分割,可以得到较好的分割效果,尤其是小波变换融合图像的形态学重构分水岭分割效果更具有自适应性.