融合FPN的Faster R-CNN复杂背景下棉田杂草高效识别方法

为实现田间条件下快速、准确识别棉花与杂草,该文以自然光照下田间棉花与杂草为研究对象,采用垂直向下拍摄的方式获取棉花杂草视频,按1帧/s的速率从视频中提取图像,在人工去除冗余度过多的图片后,建立1 000幅图片的数据集。对比了Faster R-CNN和YOLOv3 2种典型卷积神经网络,将Faster R-CNN卷积神经网络的深度学习模型引入到棉花杂草图像识别中,并提出一种结构优化的方法,使之适用于复杂背景下的棉田杂草识别。该文选用残差卷积网络提取图像特征,Max-pooling 为下采样方法,RPN网络中引入特征金字塔网络生成目标候选框,对卷积神经网络结构进行优化。在使用700幅图片进行训练后,通过200 幅田间棉花杂草图像识别测试,结果表明：该方法的平均目标识别准确率达95.5%,识别单幅图像的平均耗时为1.51 s,采用GPU 硬件加速后识别单幅图像的平均耗时缩短为0.09 s。优化后的Faster R-CNN卷积神经网络相对于YOLOv3平均正确率MAP高0.3以上。特别是对于小目标对象,其平均正确率之差接近0.6。所提方法对复杂背景下棉花杂草有较好的检测效果,可为精确除草提供参考。     

人字形板式换热器流道传热特性及参数优化

为实现田间条件下快速、准确识别棉花与杂草,该文以自然光照下田间棉花与杂草为研究对象,采用垂直向下拍摄的方式获取棉花杂草视频,按1帧/s的速率从视频中提取图像,在人工去除冗余度过多的图片后,建立1 000幅图片的数据集。对比了Faster R-CNN和YOLOv3 2种典型卷积神经网络,将Faster R-CNN卷积神经网络的深度学习模型引入到棉花杂草图像识别中,并提出一种结构优化的方法,使之适用于复杂背景下的棉田杂草识别。该文选用残差卷积网络提取图像特征,Max-pooling 为下采样方法,RPN网络中引入特征金字塔网络生成目标候选框,对卷积神经网络结构进行优化。在使用700幅图片进行训练后,通过200 幅田间棉花杂草图像识别测试,结果表明：该方法的平均目标识别准确率达95.5%,识别单幅图像的平均耗时为1.51 s,采用GPU 硬件加速后识别单幅图像的平均耗时缩短为0.09 s。优化后的Faster R-CNN卷积神经网络相对于YOLOv3平均正确率MAP高0.3以上。特别是对于小目标对象,其平均正确率之差接近0.6。所提方法对复杂背景下棉花杂草有较好的检测效果,可为精确除草的发展提供参考。     

基于改进FCOS网络的自然环境下苹果检测

为了快速识别和准确定位自然环境下苹果果实目标，提出了一种改进全卷积单阶段无锚框（Fully Convolutional One-Stage Object Detection，FCOS）网络的苹果目标检测方法。该网络在传统FCOS网络基础上，使用模型体积较小的darknet19作为骨干网络，将center-ness分支引入到回归分支上。同时提出了一种融合联合交并比（GIoU）和焦点损失（Focal loss）的损失函数，在提高检测性能的同时降低正负样本比例失衡带来的误差。首先，对田间采集的自然环境下的苹果图像进行数据增强和标注，使用darknet骨干网络提取图像特征，然后将不同尺度待检测目标分配到不同的网络层中进行预测，最后进行分类和回归，实现苹果目标的检测。该研究在计算机工作站上对不同光照条件、不同密集程度和不同遮挡程度的苹果果实进行检测试验，并与传统FCOS网络的检测结果进行对比分析。基于改进FCOS网络的检测准确率为96.0%，检测精度均值（mean Average Precision，mAP）为96.3%。试验结果表明，改进FCOS网络比传统FCOS网络的苹果检测方法在检测准确度上有提高，具有较强的鲁棒性。     

融合K-means与Ncut算法的无遮挡双重叠苹果目标分割与重建

重叠苹果目标的准确分割是采摘机器人必须解决的关键问题之一。针对现有重叠苹果目标分割方法不能保留重叠部分轮廓信息的问题,提出了一种无枝叶遮挡的双果重叠苹果目标分割方法。该方法首先利用K-means聚类算法进行图像分割以提取苹果目标区域,然后利用Normalized Cut(Ncut)算法提取苹果目标轮廓,以实现未被遮挡苹果目标完整轮廓的准确提取,最后利用Spline插值算法对遮挡的苹果目标进行轮廓重建。为了验证算法的有效性,对20幅无枝叶遮挡双果重叠的苹果图像进行试验,并将该算法与寻找2个有效凹点用其连线分割重叠苹果目标,把分离的2个轮廓分别用Hough变换重建轮廓的方法进行对比。试验结果表明,对于图像中未被遮挡的苹果目标,利用该研究算法的平均分割误差为3.15%,提取的苹果目标与原始图像中苹果目标的平均重合度为96.08%,平均误差比Hough变换重建算法低7.73%,平均重合度高9.71%,并且该研究算法能够很好地保留未被遮挡苹果目标的完整轮廓信息,提高了分割精度。对于重叠被遮挡的苹果目标,平均分割误差和平均重合度分别为5.24%和93.81%,比Hough变换重建算法的平均分割误差低11.35%,平均重合度高12.74%,表明该算法可以较好地实现重叠被遮挡苹果目标的轮廓重建,研究结果可为实现枝叶遮挡影响下的多果重叠目标分割与重建提供参考。     

基于凸壳理论的遮挡苹果目标识别与定位方法

为实现受果树枝叶遮挡、果实间相互遮挡的果实目标识别,该文提出了一种基于凸壳理论的遮挡苹果目标识别方法。该方法首先将图像由RGB颜色空间转换至L*a*b*颜色空间,并利用K-means聚类算法将图像分为树叶、枝条和果实3个类别,然后利用形态学方法对果实目标进行处理,得到目标边缘并进行轮廓跟踪,接着利用目标边缘的凸壳提取连续光滑的轮廓曲线,最后估计该光滑曲线段的圆心及半径参数,实现遮挡果实的定位。为了验证该算法的有效性,利用Hough圆拟合算法进行了对比试验,试验结果表明,该方法的平均定位误差为4.28%,低于Hough圆拟合方法的平均定位误差16.3%,该方法显著提高了目标定位的精度,能够有效识别遮挡苹果。     

基于改进YOLOv4模型的全景图像苹果识别

苹果果园由于密植栽培模式,果树之间相互遮挡,导致苹果果实识别效果差,并且普通的图像采集方式存在图像中果实重复采集的问题,使得果实计数不准确。针对此类问题,该研究采用全景拍摄的方式采集苹果果树图像,并提出了一种基于改进YOLOv4和基于阈值的边界框匹配合并算法的全景图像苹果识别方法。首先在YOLOv4主干特征提取网络的Resblock模块中加入scSE注意力机制,将PANet模块中的部分卷积替换为深度可分离卷积,且增加深度可分离卷积的输出通道数,以增强特征提取能力,降低模型参数量与计算量。将全景图像分割为子图像,采用改进的YOLOv4模型进行识别,通过对比Faster R-CNN、CenterNet、YOLOv4系列算法和YOLOv5系列算法等不同网络模型对全景图像的苹果识别效果,改进后的YOLOv4网络模型精确率达到96.19%,召回率达到了95.47%,平均精度AP值达到97.27%,比原YOLOv4模型分别提高了1.07、2.59、2.02个百分点。采用基于阈值的边界框匹配合并算法,将识别后子图像的边界框进行匹配与合并,实现全景图像的识别,合并后的结果其精确率达到96.17%,召回率达到95.63%,F1分数达到0.96,平均精度AP值达到95.06%,高于直接对全景图像苹果进行识别的各评价指标。该方法对自然条件下全景图像的苹果识别具有较好的识别效果。     

深度多分支模型融合网络的胡萝卜缺陷识别与分割

缺陷检测是胡萝卜上市销售前的重要环节,开裂缺陷区域的分割提取是开裂胡萝卜修整的必要条件。基于图像处理的传统的胡萝卜表面缺陷识别算法复杂,通用性、鲁棒性较差。该研究提出一种集胡萝卜缺陷种类识别(C-Net)和开裂缺陷分割(S-Net)为一体的深度多分支模型融合网络(CS-Net)。C-Net将预训练的ResNet-50作为胡萝卜图像特征提取器,分别输出ResNet-50不同卷积层特征,将其作为支持向量机(Support Vector Machine,SVM)的输入训练不同的分类模型,并利用不同策略将其融合以获取最终的分类模型;S-Net将预训练的ResNet-50作为分割网络的编码器,根据不同的分割网络构造思想设计解码器,构造胡萝卜开裂区域分割提取网络。结果表明,C-Net中,ResNet-50第49层输出模型在测试集上的准确率为94.71%,利用Stacking融合方法得到的模型性能最好,在测试集上的准确率为98.40%;S-Net中,根据U-net构造思想构造的网络分割效果最好,分割像素准确率(Pixel Accuracy,PA)、类别平均像素准确率(Mean Pixel Accuracy,MPA)和平均交互比(Mean Intersection over Union,MIoU)分别为98.31%、96.05%和92.81%。该研究构建的胡萝卜缺陷识别分割网络对胡萝卜外观品质的量化评价和表面缺陷的修整具有重要意义。     

基于全卷积网络的哺乳母猪图像分割

猪舍场景下,光照变化、母猪体表颜色不均及与环境颜色对比度不大、母猪与仔猪的粘连等,均给目标分割带来很大的困难。该文提出了基于全卷积网络(FCN,fully convolutional networks)的哺乳母猪图像分割算法。以VGG16为基础网络,采用融合深层抽象特征与浅层细节特征并将融合的特征图上采样8倍的跳跃式结构,设计哺乳母猪分割的FCN。利用Caffe深度学习框架,以7栏伴有不同日龄仔猪的3811幅哺乳母猪训练样本进行母猪分割FCN训练,在另外21栏的523幅哺乳母猪测试集上的分割结果表明:该算法可有效避免光线变化、母猪颜色不均、小猪遮挡与粘连等影响,实现完整的哺乳母猪区域分割;分割的平均准确率达到99.28%,平均区域重合度达到95.16%,平均速度达到0.22 s/幅。与深度卷积网络的SDS(simultaneous detection and segmentation)及传统的基于图论的图像分割、基于水平集的图像分割方法做了对比试验,该文分割方法平均区域重合度分别比这3种方法高出9.99、31.96和26.44个百分点,有较好的泛化性和鲁棒性,实现了猪舍场景下哺乳母猪准确、快速分割,可为猪只图像分割提供了技术参考。     

基于改进RetinaNet的果园复杂环境下苹果检测

为了快速准确地检测重叠、遮挡等果园复杂环境下的苹果果实目标,该研究提出一种基于改进RetinaNet的苹果检测网络。首先,该网络在传统RetinaNet的骨干网络ResNet50中嵌入Res2Net模块,提高网络对苹果基础特征的提取能力;其次,采用加权双向特征金字塔网络（Bi-directional Feature Pyramid Network,BiFPN）对不同尺度的特征进行加权融合,提升对小目标和遮挡目标的召回率;最后,采用基于焦损失（Focal Loss）和高效交并比损失（Efficient Intersection over Union Loss,EIoU Loss）的联合损失函数对网络进行优化,提高网络的检测准确率。试验结果表明,改进的网络在测试集上对叶片遮挡、枝干/电线遮挡、果实遮挡和无遮挡的苹果检测精度分别为94.02%、86.74%、89.42%和94.84%,平均精度均值（mean Average Precision,mAP）达到91.26%,较传统RetinaNet提升了5.02个百分点,检测一张苹果图像耗时42.72 ms。与Faster-RCNN和YOLOv4等主流目标检测网络相比,改进网络具有优异的检测精度,同时可以满足实时性的要求,为采摘机器人的采摘策略提供了参考。     

基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位

为提高苹果采摘机器人的工作效率和环境适应性,使其能全天候的在不同光线环境下对遮挡、粘连和套袋等多种情况下的果实进行识别定位,该文提出了基于YOLOv3(you only look once)深度卷积神经网络的苹果定位方法。该方法通过单个卷积神经网络(one-stage)遍历整个图像,回归目标的类别和位置,实现了直接端到端的目标检测,在保证效率与准确率兼顾的情况下实现了复杂环境下苹果的检测。经过训练的模型在验证集下的m AP(meanaverageprecision)为87.71%,准确率为97%,召回率为90%,IOU(intersection over union)为83.61%。通过比较YOLOv3与Faster RCNN算法在不同数目、不同拍摄时间、不同生长阶段、不同光线下对苹果的实际检测效果,并以F1为评估值对比分析了4种算法的差异,试验结果表明YOLOv3在密集苹果的F1高于YOLOv2算法4.45个百分点,在其他环境下高于Faster RCNN将近5个百分点,高于HOG+SVM(histogram of oriented gradient+support vector machine)将近10个百分点。并且在不同硬件环境验证了该算法的可行性,一幅图像在GPU下的检测时间为16.69 ms,在CPU下的检测时间为105.21 ms,实际检测视频的帧率达到了60帧/s和15帧/s。该研究可为机器人快速长时间高效率在复杂环境下识别苹果提供理论基础。     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM（convolutional block attention module）,改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,与Faster RCNN、YOLOv5s、YOLOv5m相比,检测平均准确率分别提升了18.9、7.2和5.9个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

基于光照无关图理论的苹果表面阴影去除方法

阴影影响下苹果目标的快速准确识别是苹果采摘机器人视觉系统必须解决的关键技术之一。为了实现阴影影响下苹果目标的准确识别,该研究采用光照无关图理论实现了苹果表面阴影的去除。以自然场景下获取的受不同程度阴影影响的苹果目标图像为研究对象,首先利用光照无关图原理获取阴影苹果图像的光照无关图,达到突出苹果目标阴影区域的目的;其次提取原图像的红色分量信息并与关照无关图进行相加处理;最后将相加后的图像进行自适应阈值分割处理,达到去除阴影的目的。为了验证该算法的有效性与准确性,利用20幅受阴影影响的苹果目标图像进行了试验,并与Otsu算法、1.5*R-G色差算法进行了对比,试验结果表明：Otsu算法仅能识别出未受阴影影响的苹果区域;1.5*R-G 色差算法受光照影响较大,对于苹果图像的相对强光照区域和部分阴影区域不能有效识别;基于光照无关图的苹果表面阴影去除方法对阴影影响下的苹果目标图像分割效果较好,可以克服光照过强的问题,并准确识别出阴影影响下的苹果目标。文中算法的平均假阳性率为17.49%,比Otsu算法降低了52.84%,比1.5*R-G算法降低了26.18%;文中算法的平均重叠系数为86.59%,比Otsu算法提高了47.2%,比1.5*R-G算法提高了11.03%;表明利用光照无关图可以有效地去除苹果表面的阴影,将其应用于阴影影响下的苹果目标的识别是可行的。     

基于卷积神经网络的温室黄瓜病害识别系统

基于图像处理和深度学习技术,该研究构建了一个基于卷积神经网络的温室黄瓜病害识别系统。针对温室现场采集的黄瓜病害图像中含有较多光照不均匀和复杂背景等噪声的情况,采用了一种复合颜色特征(combinations of color features,CCF)及其检测方法,通过将该颜色特征与传统区域生长算法结合,实现了温室黄瓜病斑图像的准确分割。基于温室黄瓜病斑图像,构建了温室黄瓜病害识别分类器的输入数据集,并采用数据增强方法将输入数据集的数据量扩充了12倍。基于扩充后的数据集,构建了基于卷积神经网络的病害识别分类器并利用梯度下降算法进行模型训练、验证与测试。系统试验结果表明,针对含有光照不均匀和复杂背景等噪声的黄瓜病害图像,该系统能够快速、准确的实现温室黄瓜病斑图像分割,分割准确率为97.29%;基于分割后的温室黄瓜病斑图像,该系统能够实现准确的病害识别,识别准确率为95.7%,其中,霜霉病识别准确率为93.1%,白粉病识别准确率为98.4%。     

苹果采摘机器人视觉系统研究进展

视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。     

基于光照无关图的苹果图像识别方法

为了解决苹果采摘机器人的果实识别率在不同光照条件下表现不稳定的问题,该文提出一种基于光照无关图的苹果识别方法。该方法首先采用中值滤波法对苹果图像进行预处理,然后对处理后的彩色图像提取光照无关图,消除光照变化的影响,再采用Ostu阈值分割法进行目标果实的提取。最后通过对苹果图像进行识别试验的结果表明,在4种不同的光照情况下,采用基于光照无关图的识别方法得出的识别率的稳定度是不采用光照无关图的识别方法的3倍,并且其平均识别率也高达90.45%。基于光照无关图的苹果识别方法能够克服光照变化对目标识别带来的负面影     

基于两级分割与区域标记梯度Hough圆变换的苹果识别

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果，该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先，使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正，增强图像的细节信息。结合果实颜色特征，提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后，采用改进后的Otsu算法进行初次分割，得到苹果目标的二值图像，该算法通过引入形态学开-闭重建滤波去除大量背景噪声，通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割，分离粘连果实区域，提取目标苹果的外部轮廓。最后，在轮廓外设置最小外接矩形标记有效区域，在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试，并与传统梯度Hough圆变换方法进行对比，本文方法在顺、逆光下的识别准确率为90.75和89.79%，比传统方法提高了15.03和16.41%，平均识别时间为0.665和0.693 s，比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域，而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求，可为苹果等类球形果实的快速识别提供参考。     

基于卷积神经网络的田间多簇猕猴桃图像识别方法

为实现田间条件下快速、准确地识别多簇猕猴桃果实,该文根据猕猴桃的棚架式栽培模式,采用竖直向上获取果实图像的拍摄方式,提出一种基于Le Net卷积神经网络的深度学习模型进行多簇猕猴桃果实图像的识别方法。该文构建的卷积神经网络通过批量归一化方法,以Re LU为激活函数,Max-pooling为下采样方法,并采用Softmax回归分类器,对卷积神经网络结构进行优化。通过对100幅田间多簇猕猴桃图像的识别,试验结果表明:该识别方法对遮挡果实、重叠果实、相邻果实和独立果实的识别率分别为78.97%、83.11%、91.01%和94.78%。通过与5种现有算法进行对比试验,该文算法相对相同环境下的识别方法提高了5.73个百分点,且识别速度达到了0.27 s/个,识别速度较其他算法速度最快。证明了该文算法对田间猕猴桃图像具有较高的识别率和实时性,表明卷积神经网络在田间果实识别方面具有良好的应用前景。     

机器人采摘苹果果实的K-means和GA-RBF-LMS神经网络识别

为进一步提升苹果果实的识别精度和速度,从而提高苹果采摘机器人的采摘效率。提出一种基于K-means聚类分割和基于遗传算法(genetic algorithm,GA)、最小均方差算法(least mean square,LMS)优化的径向基(radial basis function,RBF)神经网络相结合的苹果识别方法。首先将采集到的苹果图像在Lab颜色空间下利用K-means聚类算法对其进行分割,分别提取分割图像的RGB、HSI颜色特征分量和圆方差、致密度、周长平方面积比、Hu不变矩形状特征分量。将提取的16个特征作为神经网络的输入,对RBF神经网络进行训练,以得到苹果果实的识别模型。针对RBF神经网络学习率低、过拟合等不足,引入遗传算法对RBF隐层神经元个数和连接权值进行优化,采取二者混合编码同时进化的优化方式,最后再利用LMS对连接权值进一步学习,建立新的神经网络优化模型(GA-RBF-LMS),以提高神经网络的运行效率和识别精度。为了获得更精确的网络模型,在训练过程中,苹果果实连同树枝、树叶一块训练;得到的模型在识别过程中,可一定程度上避免枝叶遮挡对果实识别的影响。为了更好地验证新方法,分别与传统的BP(back propagation)和RBF神经网络、GA-RBF优化模型比较,结果表明,该文算法对于遮挡、重叠果实的识别率达95.38%、96.17%,总体识别率达96.95%;从训练时间看,该文算法虽耗时较长,用150个样本进行训练平均耗时4.412 s,但训练成功率可达100%,且节省了人工尝试构造网络结构造成的时间浪费;从识别时间看,该文算法识别179个苹果的时间为1.75 s。可见GA-RBF-LMS网络模型在运行效率和识别精度较优。研究结果为苹果采摘机器人快速、精准识别果实提供参考。