改进类圆随机Hough变换及其在油茶果实遮挡识别中的应用

为将目标油茶果实从树枝、树叶等外界遮挡中分离出来,以利于油茶采摘机器视觉的图像形态学识别,该文提出了一种改进的类圆随机Hough变换算法,在算法中添加了边缘预检测、快速定位圆心点等模块以提高算法的识别率。仿真结果表明,改进算法对遮挡果实的识别率较其他Hough遮挡识别算法有所提高,最高达到90.70%,识别时间为1.3s。该研究为采摘机器人的后续采摘工作打下了基础。     

基于改进判别区域特征融合算法的近色背景绿色桃子识别

针对机器视觉识别中自然光照条件下未成熟绿色果实的识别存在颜色与背景相似、光照不均、果叶遮挡等问题,该文提出在判别区域特征集成(discriminative regional feature integration,DRFI)算法框架的基础上,结合颜色、纹理、形状特征,对未成熟绿色桃子进行识别。首先通过基于图的图像分割(graph-based image segmentation)算法,取不同的参数将图像分割为多层,再计算各层图像的显著图,并用线性组合器将其融合,得到DRFI显著图。再用OTSU算法得到的阈值自适应调整之后对DRFI显著图进行分割,减少了显著图中识别为低概率果实的误分割。对于分割后仍存在的果实相互粘连的情况,通过控制标记符和距离变换相结合的分水岭分割算法将其分开。试验结果表明:该方法在训练集中的准确识别率为91.7%,在验证集中的准确识别率为88.3%,与相关文献报道的结果以及原始DRFI算法在验证集中的检测结果相比,该文方法的准确识别率提高了3.7~10.7个百分点,较有效地解决了颜色相近和果叶遮挡问题,可为果树早期估产和绿色果实采摘自动化、智能化提供参考。     

苹果采摘机器人关键技术研究现状与发展趋势

目前国内苹果基本采用人工采摘方式,随着劳动力资源短缺以及机械自动化技术的迅速发展,利用机器人采摘替代人工作业成为必然趋势,开发苹果采摘机器人用于果园收获作业具有重要意义。由于苹果采摘作业环境复杂,严重制约了采摘自动化的发展。目标识别、定位与果实分离是苹果采摘机器人的关键技术,其性能决定了苹果采摘的效率及质量。该文概述了具有市场化前景的苹果采摘机器人发展和应用现状,综述了在复杂自然环境光照变化、枝叶遮挡、果实重叠、夜间环境下以及同色系苹果的识别方法,介绍了多种场景并存的复杂环境下基于深度学习的苹果识别算法,遮挡、重叠及振荡果实的定位方法,并对采用末端执行器实现果实与果树的分离方法进行了分析。针对现阶段苹果采摘机器人采摘速度低、成功率低、果实损伤、成本高等问题,指出今后苹果采摘机器人商业化发展亟需在农机农艺结合、优化识别算法、多传感器融合、多臂合作、人机协作、扩展设备通用性、融合5G与物联网技术等方面开拓创新。     

基于卷积神经网络的田间多簇猕猴桃图像识别方法

为实现田间条件下快速、准确地识别多簇猕猴桃果实,该文根据猕猴桃的棚架式栽培模式,采用竖直向上获取果实图像的拍摄方式,提出一种基于Le Net卷积神经网络的深度学习模型进行多簇猕猴桃果实图像的识别方法。该文构建的卷积神经网络通过批量归一化方法,以Re LU为激活函数,Max-pooling为下采样方法,并采用Softmax回归分类器,对卷积神经网络结构进行优化。通过对100幅田间多簇猕猴桃图像的识别,试验结果表明:该识别方法对遮挡果实、重叠果实、相邻果实和独立果实的识别率分别为78.97%、83.11%、91.01%和94.78%。通过与5种现有算法进行对比试验,该文算法相对相同环境下的识别方法提高了5.73个百分点,且识别速度达到了0.27 s/个,识别速度较其他算法速度最快。证明了该文算法对田间猕猴桃图像具有较高的识别率和实时性,表明卷积神经网络在田间果实识别方面具有良好的应用前景。     

基于两级分割与区域标记梯度Hough圆变换的苹果识别

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果，该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先，使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正，增强图像的细节信息。结合果实颜色特征，提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后，采用改进后的Otsu算法进行初次分割，得到苹果目标的二值图像，该算法通过引入形态学开-闭重建滤波去除大量背景噪声，通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割，分离粘连果实区域，提取目标苹果的外部轮廓。最后，在轮廓外设置最小外接矩形标记有效区域，在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试，并与传统梯度Hough圆变换方法进行对比，本文方法在顺、逆光下的识别准确率为90.75和89.79%，比传统方法提高了15.03和16.41%，平均识别时间为0.665和0.693 s，比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域，而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求，可为苹果等类球形果实的快速识别提供参考。     

基于凸壳理论的遮挡苹果目标识别与定位方法

为实现受果树枝叶遮挡、果实间相互遮挡的果实目标识别,该文提出了一种基于凸壳理论的遮挡苹果目标识别方法。该方法首先将图像由RGB颜色空间转换至L*a*b*颜色空间,并利用K-means聚类算法将图像分为树叶、枝条和果实3个类别,然后利用形态学方法对果实目标进行处理,得到目标边缘并进行轮廓跟踪,接着利用目标边缘的凸壳提取连续光滑的轮廓曲线,最后估计该光滑曲线段的圆心及半径参数,实现遮挡果实的定位。为了验证该算法的有效性,利用Hough圆拟合算法进行了对比试验,试验结果表明,该方法的平均定位误差为4.28%,低于Hough圆拟合方法的平均定位误差16.3%,该方法显著提高了目标定位的精度,能够有效识别遮挡苹果。     

融合K-means与Ncut算法的无遮挡双重叠苹果目标分割与重建

重叠苹果目标的准确分割是采摘机器人必须解决的关键问题之一。针对现有重叠苹果目标分割方法不能保留重叠部分轮廓信息的问题,提出了一种无枝叶遮挡的双果重叠苹果目标分割方法。该方法首先利用K-means聚类算法进行图像分割以提取苹果目标区域,然后利用Normalized Cut(Ncut)算法提取苹果目标轮廓,以实现未被遮挡苹果目标完整轮廓的准确提取,最后利用Spline插值算法对遮挡的苹果目标进行轮廓重建。为了验证算法的有效性,对20幅无枝叶遮挡双果重叠的苹果图像进行试验,并将该算法与寻找2个有效凹点用其连线分割重叠苹果目标,把分离的2个轮廓分别用Hough变换重建轮廓的方法进行对比。试验结果表明,对于图像中未被遮挡的苹果目标,利用该研究算法的平均分割误差为3.15%,提取的苹果目标与原始图像中苹果目标的平均重合度为96.08%,平均误差比Hough变换重建算法低7.73%,平均重合度高9.71%,并且该研究算法能够很好地保留未被遮挡苹果目标的完整轮廓信息,提高了分割精度。对于重叠被遮挡的苹果目标,平均分割误差和平均重合度分别为5.24%和93.81%,比Hough变换重建算法的平均分割误差低11.35%,平均重合度高12.74%,表明该算法可以较好地实现重叠被遮挡苹果目标的轮廓重建,研究结果可为实现枝叶遮挡影响下的多果重叠目标分割与重建提供参考。     

苹果采摘机器人夜间图像边缘保持的Retinex增强算法

为了提高采摘机器人的适用性和工作效率,保证成熟苹果果实的及时采摘,需要机器人具有夜间连续识别、采摘作业的能力。针对夜间苹果图像的特点,该文提出一种基于引导滤波的具有边缘保持特性的Retinex图像增强算法。利用颜色特征分量采用具有边缘保持功能的引导滤波来估计出照度分量;进而利用单尺度Retinex算法对图像进行对数变换获得仅包含物体本身特性的反射分量图像;分别对照度分量和反射分量图像增强后,再合成为新的夜间苹果的增强图像。文中选取30幅荧光灯辅助照明下采集到的夜间苹果图像进行试验的结果显示,该文增强算法处理后的30幅图像的平均灰度值,分别比原始图像、直方图均衡算法、同态滤波算法和双边滤波Retinex算法处理后的图像平均提高230.34%、251.16%、14.56%、7.75%,标准差平均提高36.90%、-23.95%、53.37%、28.00%,信息熵平均提高65.88%、99.68%、66.85%、17.53%,平均梯度提高161.70%、64.71%、139.89%、17.70%。且该文算法较双边滤波Retinex方法的运行时间平均减少74.56%。表明该文算法在夜间图像增强效果和运行时间效率上有明显的提高,为后续夜间图像的分割和目标识别提供了保障。     

苹果四臂采摘机器人系统设计与试验

针对鲜食苹果智能化高效采收需要,该研究设计了四臂并行采摘的“采-收-运”一体式机器人系统,以代替人工采收作业。以中国矮砧密植高纺锤果树为对象,根据树冠内果实空间分布特征,提出了四臂并行采摘执行部件的作业方式;建立了基于多任务深度卷积网络的果实可见区域识别模型,实现受遮挡果实离散区域语义分割及其归属关系的端到端判别;在此基础上,根据果实表面局部点云信息对其质心进行空间定位;提出了基于时间最优的四臂协同采摘任务规划方法,以实现机械臂对树冠内不同区域的高效遍历。最后在采摘机器人关键部件集成的基础上,在矮砧密植标准果园进行生产试验。试验结果表明,机器人对树冠内可见果实的识别率为92.94%,被识别果实中定位精度满足机器人采摘操作要求的比例为90.27%;机器人平均采摘效率为7.12 s/果,其中四臂协同采摘效率约为单臂采摘效率的1.96倍;对可见果实采摘成功率为82.00%,对树冠内全部果实的采收率为74.56%,枝叶遮挡干涉是造成采摘失败的主要原因。该研究可为鲜果智能化采摘模式的探索应用提供技术支撑。     

改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法

基于深度神经网络的果实识别和分割是采摘机器人作业成功的关键步骤,但由于网络参数多、计算量大,导致训练时间长,当模型部署到采摘机器人上则存在运行速度慢,识别精度低等问题。针对这些问题,该研究提出了一种改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法,采用跨阶段局部网络（Cross Stage Partial Network,CSPNet）与Mask R-CNN网络中的残差网络（Residual Network,ResNet）进行融合,通过跨阶段拆分与级联策略,减少反向传播过程中重复的特征信息,降低网络计算量的同时提高准确率。在番茄果实测试集上进行试验,结果表明以层数为50的跨阶段局部残差网络（Cross Stage Partial ResNet50,CSP- ResNet50）为主干的改进Mask R-CNN模型对绿熟期、半熟期、成熟期番茄果实分割的平均精度均值为95.45%,F1分数为91.2%,单张图像分割时间为0.658 s。该方法相比金字塔场景解析网络（Pyramid Scene Parsing Network,PSPNet）、DeepLab v3+模型和以ResNet50为主干的Mask R-CNN模型平均精度均值分别提高了16.44、14.95和2.29个百分点,相比以ResNet50为主干的Mask R-CNN模型分割时间减少了1.98%。最后将以CSP- ResNet50为主干的改进Mask R-CNN模型部署到采摘机器人上,在大型玻璃温室中开展不同成熟度番茄果实识别试验,该模型识别正确率达到90%。该研究在温室环境下对不同成熟度番茄果实具有较好的识别性能,可为番茄采摘机器人精准作业提供依据。     

基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位

为提高苹果采摘机器人的工作效率和环境适应性,使其能全天候的在不同光线环境下对遮挡、粘连和套袋等多种情况下的果实进行识别定位,该文提出了基于YOLOv3(you only look once)深度卷积神经网络的苹果定位方法。该方法通过单个卷积神经网络(one-stage)遍历整个图像,回归目标的类别和位置,实现了直接端到端的目标检测,在保证效率与准确率兼顾的情况下实现了复杂环境下苹果的检测。经过训练的模型在验证集下的m AP(meanaverageprecision)为87.71%,准确率为97%,召回率为90%,IOU(intersection over union)为83.61%。通过比较YOLOv3与Faster RCNN算法在不同数目、不同拍摄时间、不同生长阶段、不同光线下对苹果的实际检测效果,并以F1为评估值对比分析了4种算法的差异,试验结果表明YOLOv3在密集苹果的F1高于YOLOv2算法4.45个百分点,在其他环境下高于Faster RCNN将近5个百分点,高于HOG+SVM(histogram of oriented gradient+support vector machine)将近10个百分点。并且在不同硬件环境验证了该算法的可行性,一幅图像在GPU下的检测时间为16.69 ms,在CPU下的检测时间为105.21 ms,实际检测视频的帧率达到了60帧/s和15帧/s。该研究可为机器人快速长时间高效率在复杂环境下识别苹果提供理论基础。     

基于图像特征融合的苹果在线分级方法

苹果在线分级是提升苹果商品化价值的重要环节,需要同时满足分级准确度和速度要求。为进一步提高苹果在线分级效率,该文借助机器视觉技术动态采集苹果传输过程中的实时图像,提出改进的三层Canny边缘检测算法来提取苹果轮廓以克服采集图像中的光线噪声影响,通过分析苹果分级指标,采用判别树对苹果的果径、缺陷面积、色泽等特征进行初步分级判断,并采用粒子群参数优化的支持向量机对果形、果面纹理、颜色分布等特征进行模型构建与分级,最后,通过将两种分级判断结果进行决策融合来实现样本精确分级。同时,采取图像压缩和特征降维方法提高实时性。试验结果表明,基于图像特征决策融合的苹果分级准确率可达到95%,平均分级速率可达到4个/s。研究结果为水果的在线分级提供参考。     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM（convolutional block attention module）,改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,与Faster RCNN、YOLOv5s、YOLOv5m相比,检测平均准确率分别提升了18.9、7.2和5.9个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

基于改进YOLOv4模型的全景图像苹果识别

苹果果园由于密植栽培模式,果树之间相互遮挡,导致苹果果实识别效果差,并且普通的图像采集方式存在图像中果实重复采集的问题,使得果实计数不准确。针对此类问题,该研究采用全景拍摄的方式采集苹果果树图像,并提出了一种基于改进YOLOv4和基于阈值的边界框匹配合并算法的全景图像苹果识别方法。首先在YOLOv4主干特征提取网络的Resblock模块中加入scSE注意力机制,将PANet模块中的部分卷积替换为深度可分离卷积,且增加深度可分离卷积的输出通道数,以增强特征提取能力,降低模型参数量与计算量。将全景图像分割为子图像,采用改进的YOLOv4模型进行识别,通过对比Faster R-CNN、CenterNet、YOLOv4系列算法和YOLOv5系列算法等不同网络模型对全景图像的苹果识别效果,改进后的YOLOv4网络模型精确率达到96.19%,召回率达到了95.47%,平均精度AP值达到97.27%,比原YOLOv4模型分别提高了1.07、2.59、2.02个百分点。采用基于阈值的边界框匹配合并算法,将识别后子图像的边界框进行匹配与合并,实现全景图像的识别,合并后的结果其精确率达到96.17%,召回率达到95.63%,F1分数达到0.96,平均精度AP值达到95.06%,高于直接对全景图像苹果进行识别的各评价指标。该方法对自然条件下全景图像的苹果识别具有较好的识别效果。     

基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别

疏果前期苹果背景复杂、光照条件变化、重叠及被遮挡,特别是果实与背景叶片颜色极为相近等因素,给其目标识别带来很大困难。为识别疏果前期的苹果目标,提出基于区域的全卷积网络(region-based fully convolutional network,R-FCN)的苹果目标识别方法。该方法在研究基于ResNet-50和ResNet-101的R-FCN结构及识别结果的基础上,改进设计了基于ResNet-44的R-FCN,以提高识别精度并简化网络。该网络主要由ResNet-44全卷积网络、区域生成网络(RegionProposal Network, RPN)及感兴趣区域(Region of Interest, RoI)子网构成。ResNet-44全卷积网络为基础网络,用以提取图像的特征,RPN根据提取的特征生成Ro I,然后Ro I子网根据ResNet-44提取的特征及RPN输出的Ro I进行苹果目标的识别与定位。对采集的图像扩容后,随机选取23 591幅图像作为训练集,4 739幅图像作为验证集,对网络进行训练及参数优化。该文提出的改进模型在332幅图像组成的测试集上的试验结果表明,该方法可有效地识别出重叠、被枝叶遮挡、模糊及表面有阴影的苹果目标,识别的召回率为85.7%,识别的准确率为95.1%,误识率为4.9%,平均速度为0.187 s/幅。通过与其他3种方法进行对比试验,该文方法比FasterR-CNN、基于ResNet-50和ResNet-101的R-FCN的F1值分别提高16.4、0.7和0.7个百分点,识别速度比基于ResNet-50和ResNet-101的R-FCN分别提高了0.010和0.041 s。该方法可实现传统方法难以实现的疏果前苹果目标的识别,也可广泛应用于其他与背景颜色相近的小目标识别中。     

苹果采摘机器人视觉系统研究进展

视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。     

融合轻量化网络与注意力机制的果园环境下苹果检测方法

为提高复杂果园环境下苹果检测的综合性能，降低检测模型大小，通过对单阶段检测网络YOLOX-Tiny的拓扑结构进行了优化与改进，提出了一种适用于复杂果园环境下轻量化苹果检测模型（Lightweight Apple Detection YOLOX-Tiny Network，Lad-YXNet）。该模型引入高效通道注意力（Efficient Channel Attention，ECA）和混洗注意力（Shuffle Attention，SA）两种轻量化视觉注意力模块，构建了混洗注意力与双卷积层（Shuffle Attention and Double Convolution Layer，SDCLayer）模块，提高了检测模型对背景与果实特征的提取能力，并通过测试确定Swish与带泄露修正线性单元（Leaky Rectified Linear Unit，Leaky-ReLU）作为主干与特征融合网络的激活函数。通过消融试验探究了Mosaic增强方法对模型训练的有效性，结果表明图像长宽随机扭曲对提高模型综合检测性能贡献较高，但图像随机色域变换由于改变训练集中苹果的颜色，使模型检测综合性能下降。为提高模型检测苹果的可解释性，采用特征可视化技术提取了Lad-YXNet模型的主干、特征融合网络和检测网络的主要特征图，探究了Lad-YXNet模型在复杂自然环境下检测苹果的过程。Lad-YXNet经过训练在测试集下的平均精度为94.88%，分别比SSD、YOLOV4-Tiny、YOLOV5-Lite和YOLOX-Tiny模型提高了3.10个百分点、2.02个百分点、2.00个百分点和0.51个百分点。Lad-YXNet检测一幅图像的时间为10.06 ms，模型大小为16.6 MB，分别比YOLOX-Tiny减少了20.03%与18.23%。该研究为苹果收获机器人在复杂果园环境下准确、快速地检测苹果提供了理论基础。     

改进Faster-RCNN自然环境下识别刺梨果实

为了实现自然环境下刺梨果实的快速准确识别,根据刺梨果实的特点,该文提出了一种基于改进的Faster RCNN刺梨果实识别方法。该文卷积神经网络采用双线性插值方法,选用FasterRCNN的交替优化训练方式(alternating optimization),将卷积神经网络中的感兴趣区域池化(ROI pooling)改进为感兴趣区域校准(ROI align)的区域特征聚集方式,使得检测结果中的目标矩形框更加精确。通过比较Faster RCNN框架下的VGG16、VGG_CNN_M1024以及ZF 3种网络模型训练的精度-召回率,最终选择VGG16网络模型,该网络模型对11类刺梨果实的识别精度分别为94.00%、90.85%、83.74%、98.55%、96.42%、98.43%、89.18%、90.61%、100.00%、88.47%和90.91%,平均识别精度为92.01%。通过对300幅自然环境下随机拍摄的未参与识别模型训练的刺梨果实图像进行检测,并选择以召回率、准确率以及F1值作为识别模型性能评价的3个指标。检测结果表明:改进算法训练出来的识别模型对刺梨果实的11种形态的召回率最低为81.40%,最高达96.93%;准确率最低为85.63%,最高达95.53%;F1值最低为87.50%,最高达94.99%。检测的平均速度能够达到0.2 s/幅。该文算法对自然条件下刺梨果实的识别具有较高的正确率和实时性。     

用基于遗传算法的BP神经网络识别牛肉肌肉与脂肪

利用遗传算法的全局搜索能力,改进标准BP算法随机选取初始权重的不足,并构建了3-12-1的三层遗传BP神经网络,进行了3次牛肉肌肉与脂肪像素的分类试验,研究用BP网络对牛肉肌肉与脂肪两类像素点进行识别的可行性。以像素点的RGB值作为BP网络输入向量,每次训练集样本数62,测试集样本数43。测试的最终结果为：训练集的样本识别率分别为100%、100%、98.3871%;对应测试集的样本识别率分别为97.6744%、97.6744%、100%。试验结果表明,尽管基于遗传算法的BP神经网络对训练样本集以及测试样本集的肌肉和脂肪的识别率均在97%以上,但由于牛肉图像像素值在颜色空间中比较分散,有利于聚类的规律性不明显,因而是否可用BP网络来完成肌肉与脂肪的识别,还需要在网络拓扑结构、训练样本集等方面进一步研究。