基于改进YOLOv3的果园复杂环境下苹果果实识别

为使采摘机器人能够全天候的在不同光照、重叠遮挡、大视场等果园复杂环境下对不同成熟度的果实进行快速、准确的识别，该研究提出了一种基于改进YOLOv3的果实识别方法。首先，将DarkNet53网络中的残差模块与CSPNet（Cross Stage Paritial Network）结合，在保持检测精度的同时降低网络的计算量；其次，在原始YOLOv3模型的检测网络中加入SPP（Spatial Pyramid Pooling）模块，将果实的全局和局部特征进行融合，提高对极小果实目标的召回率；同时，采用Soft NMS（Soft Non-Maximum Suppression）算法代替传统NMS（Non-Maximum Suppression）算法，增强对重叠遮挡果实的识别能力；最后，采用基于Focal Loss和CIoU Loss的联合损失函数，对模型进行优化，提高识别精度。以苹果为例进行的试验结果表明：经过数据集训练之后的改进模型，在测试集下的MAP（Mean Average Precision）值达到96.3%，较原模型提高了3.8个百分点；F1值达到91.8%，较原模型提高了3.8个百分点；在GPU下的平均检测速度达到27.8帧/s，较原模型提高了5.6帧/s。与Faster RCNN、RetinaNet等几种目前先进的检测方法进行比较并在不同数目、不同光照情况下的对比试验结果表明，该方法具有优异的检测精度及良好的鲁棒性和实时性，对解决复杂环境下果实的精准识别问题具有重要参考价值。     

采用改进RetinaNet的笼养肉鸽繁育期个体检测模型

实现繁育期精准个体检测是提高集约养殖环境下肉鸽繁育效率和精准管控效果的有效手段，其中小目标鸽蛋及粘连乳鸽的精准检测是关键。该研究提出了一种基于改进RetinaNet的目标检测模型，以RetinaNet网络为基础框架，将ResNet50特征提取网络与特征金字塔网络（Feature Pyramid Networks，FPN）结合，增加特征金字塔网络中特征检测尺度，提升对图像中遮挡鸽蛋与粘连乳鸽的检测精度；在分类和回归子网络前引入卷积注意力模块（Convolutional Block Attention Module，CBAM），提升对小目标检测的精度。试验结果表明，该研究提出的模型对于笼养肉鸽个体检测的平均精度均值（mean Average Precision，mAP）达到80.89%，相比SSD、YOLOv3、YOLOv4、YOLOv5s、YOLOv5m和原始RetinaNet模型提高了18.66、29.15、19.92、21.69、18.99与15.45个百分点；对成鸽、乳鸽与鸽蛋检测的平均精度（Average Precision，AP）分别为95.88%，79.51%和67.29%，相对原始RetinaNet模型提高了2.16、21.74和22.48个百分点，在保证成鸽精准检测的基础上，显著提升了对复杂环境下存在局部遮挡的小目标鸽蛋以及粘连乳鸽的检测精度，为实现集约化养殖环境下肉鸽繁育周期个体检测和精准管控提供有效支持。     

基于改进FCOS网络的自然环境下苹果检测

为了快速识别和准确定位自然环境下苹果果实目标，提出了一种改进全卷积单阶段无锚框（Fully Convolutional One-Stage Object Detection，FCOS）网络的苹果目标检测方法。该网络在传统FCOS网络基础上，使用模型体积较小的darknet19作为骨干网络，将center-ness分支引入到回归分支上。同时提出了一种融合联合交并比（GIoU）和焦点损失（Focal loss）的损失函数，在提高检测性能的同时降低正负样本比例失衡带来的误差。首先，对田间采集的自然环境下的苹果图像进行数据增强和标注，使用darknet骨干网络提取图像特征，然后将不同尺度待检测目标分配到不同的网络层中进行预测，最后进行分类和回归，实现苹果目标的检测。该研究在计算机工作站上对不同光照条件、不同密集程度和不同遮挡程度的苹果果实进行检测试验，并与传统FCOS网络的检测结果进行对比分析。基于改进FCOS网络的检测准确率为96.0%，检测精度均值（mean Average Precision，mAP）为96.3%。试验结果表明，改进FCOS网络比传统FCOS网络的苹果检测方法在检测准确度上有提高，具有较强的鲁棒性。     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM（convolutional block attention module）,改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,与Faster RCNN、YOLOv5s、YOLOv5m相比,检测平均准确率分别提升了18.9、7.2和5.9个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

基于改进YOLOv4-Tiny的蓝莓成熟度识别方法

为实现自然环境下蓝莓果实成熟度的精确快速识别,该研究对YOLOv4-Tiny网络结构进行改进,提出一种含有注意力模块的目标检测网络（I-YOLOv4-Tiny）。该检测网络采用CSPDarknet53-Tiny网络模型作为主干网络,将卷积注意力模块（Convolution Block Attention Module,CBAM）加入到YOLOv4-Tiny网络结构的特征金字塔（Feature Pyramid Network,FPN）中,通过对每个通道的特征进行权重分配来学习不同通道间特征的相关性,加强网络结构深层信息的传递,从而降低复杂背景对目标识别的干扰,且该检测网络的网络层数较少,占用内存低,以此提升蓝莓果实检测的精度与速度。对该研究识别方法进行性能评估与对比试验的结果表明,经过训练的I-YOLOv4-Tiny目标检测网络在验证集下的平均精度达到97.30%,能有效地利用自然环境中的彩色图像识别蓝莓果实并检测果实成熟度。对比YOLOv4-Tiny、YOLOv4、SSD-MobileNet、Faster R-CNN目标检测网络,该研究在遮挡与光照不均等复杂场景中,平均精度能达到96.24%。平均检测时间为5.723 ms,可以同时满足蓝莓果实识别精度与速度的需求。I-YOLOv4-Tiny网络结构占用内存仅为24.20 M,为采摘机器人与早期产量预估提供快速精准的目标识别指导。     

基于改进EfficientDet的油橄榄果实成熟度检测

自然环境下自动准确地检测油橄榄果实的成熟度是实现油橄榄果实自动化采摘的基础。该研究根据成熟期油橄榄果实表型特征的变化以及参考国际油橄榄理事会和中国林业行业标准的建议制定了油橄榄果实成熟度标准,并针对油橄榄果实相邻成熟度特征差异不明显以及果实之间相互遮挡问题,提出一种改进EfficientDet的油橄榄果实成熟度检测方法。首先改进特征提取网络,在特征提取网络中引入卷积注意力模块（Convolution Block Attention Module,CBAM）细化不同成熟度之间的特征映射;其次改进特征融合网络,在加权双向特征金字塔网络（Bidirectional Feature Pyramid Network,Bi-FPN）中增加跨级的数据流加强果实的相对位置信息,最后通过623幅油橄榄测试图像对改进的EfficientDet模型进行测试。改进EfficientDet模型在测试集下的精确率P、召回率R和平均精度均值mAP分别为92.89%、93.59%和94.60%,平均检测时间为0.337 s,模型大小为32.4 M。对比SSD、EfficientDet、YOLOv3、YOLOv5s和Faster R-CNN模型,平均精度均值mAP分别提升7.85、4.77、3.73、1.15和1.04个百分点。改进EfficientDet模型能够为油橄榄果实的自动化采摘提供有效探索。     

基于改进YOLOv7的油茶果实成熟度检测

为确保油茶果实处于最佳成熟度进行采摘,提高油茶果实的出油率及茶油品质,该研究针对自然环境下油茶果实多被遮挡的问题,以原始YOLOv7模型为基础进行改进,提出一种油茶果实成熟度检测方法。首先,在主干网络中引入十字交叉注意力机制（criss-cross attention,CCA）加强对被枝叶遮挡果实成熟度特征的提取能力;其次,使用基于距离和交并比的非极大值抑制（distance-iou non-maximum suppression,DIoU-NMS）算法代替传统非极大值抑制（nonmaximum suppression,NMS）算法,从而加强模型对相互遮挡果实的检测能力;最后,以训练集中3 098张油茶果实图像训练改进的YOLOv7模型,验证集中442张图像用于在训练过程中评估模型,并对测试集中885张图像进行测试。改进后的YOLOv7模型在测试集下的精确率P为93.52%,召回率R为90.25%,F1分数为91.86%,平均精度均值mAP为94.60%,平均检测时间为0.77 s,模型权重大小为82.6 M。与Faster R-CNN、EfficientDet、YOLOv3、YOLO...     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。     

基于改进YOLOv7的复杂环境下红花采摘识别

针对光照、遮挡、密集以及样本数量不均衡等复杂环境造成红花机械化采摘识别不准问题,该研究提出一种基于YOLOv7的改进模型,制作红花样本数据集建立真实采摘的复杂环境数据,增加Swin Transformer注意力机制提高模型对各分类样本的检测精准率,改进Focal Loss损失函数提升多分类任务下不均衡样本的识别率。经试验,改进后的模型各类别样本的检测平均准确率达到88.5%,与改进前相比提高了7个百分点,不均衡类别样本平均精度提高了15.9个百分点,与其他模型相比,检测平均准确率与检测速度均大幅提升。改进后的模型可以准确地实现对红花的检测,模型参数量小,识别速度快,适合在红花采摘机械上进行迁移部署,可为红花机械化实时采摘研究提供技术支持。     

机器人采摘苹果果实的K-means和GA-RBF-LMS神经网络识别

为进一步提升苹果果实的识别精度和速度,从而提高苹果采摘机器人的采摘效率。提出一种基于K-means聚类分割和基于遗传算法(genetic algorithm,GA)、最小均方差算法(least mean square,LMS)优化的径向基(radial basis function,RBF)神经网络相结合的苹果识别方法。首先将采集到的苹果图像在Lab颜色空间下利用K-means聚类算法对其进行分割,分别提取分割图像的RGB、HSI颜色特征分量和圆方差、致密度、周长平方面积比、Hu不变矩形状特征分量。将提取的16个特征作为神经网络的输入,对RBF神经网络进行训练,以得到苹果果实的识别模型。针对RBF神经网络学习率低、过拟合等不足,引入遗传算法对RBF隐层神经元个数和连接权值进行优化,采取二者混合编码同时进化的优化方式,最后再利用LMS对连接权值进一步学习,建立新的神经网络优化模型(GA-RBF-LMS),以提高神经网络的运行效率和识别精度。为了获得更精确的网络模型,在训练过程中,苹果果实连同树枝、树叶一块训练;得到的模型在识别过程中,可一定程度上避免枝叶遮挡对果实识别的影响。为了更好地验证新方法,分别与传统的BP(back propagation)和RBF神经网络、GA-RBF优化模型比较,结果表明,该文算法对于遮挡、重叠果实的识别率达95.38%、96.17%,总体识别率达96.95%;从训练时间看,该文算法虽耗时较长,用150个样本进行训练平均耗时4.412 s,但训练成功率可达100%,且节省了人工尝试构造网络结构造成的时间浪费;从识别时间看,该文算法识别179个苹果的时间为1.75 s。可见GA-RBF-LMS网络模型在运行效率和识别精度较优。研究结果为苹果采摘机器人快速、精准识别果实提供参考。     

苹果采摘机器人关键技术研究现状与发展趋势

目前国内苹果基本采用人工采摘方式,随着劳动力资源短缺以及机械自动化技术的迅速发展,利用机器人采摘替代人工作业成为必然趋势,开发苹果采摘机器人用于果园收获作业具有重要意义。由于苹果采摘作业环境复杂,严重制约了采摘自动化的发展。目标识别、定位与果实分离是苹果采摘机器人的关键技术,其性能决定了苹果采摘的效率及质量。该文概述了具有市场化前景的苹果采摘机器人发展和应用现状,综述了在复杂自然环境光照变化、枝叶遮挡、果实重叠、夜间环境下以及同色系苹果的识别方法,介绍了多种场景并存的复杂环境下基于深度学习的苹果识别算法,遮挡、重叠及振荡果实的定位方法,并对采用末端执行器实现果实与果树的分离方法进行了分析。针对现阶段苹果采摘机器人采摘速度低、成功率低、果实损伤、成本高等问题,指出今后苹果采摘机器人商业化发展亟需在农机农艺结合、优化识别算法、多传感器融合、多臂合作、人机协作、扩展设备通用性、融合5G与物联网技术等方面开拓创新。     

基于两级分割与区域标记梯度Hough圆变换的苹果识别

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果，该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先，使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正，增强图像的细节信息。结合果实颜色特征，提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后，采用改进后的Otsu算法进行初次分割，得到苹果目标的二值图像，该算法通过引入形态学开-闭重建滤波去除大量背景噪声，通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割，分离粘连果实区域，提取目标苹果的外部轮廓。最后，在轮廓外设置最小外接矩形标记有效区域，在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试，并与传统梯度Hough圆变换方法进行对比，本文方法在顺、逆光下的识别准确率为90.75和89.79%，比传统方法提高了15.03和16.41%，平均识别时间为0.665和0.693 s，比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域，而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求，可为苹果等类球形果实的快速识别提供参考。     

基于改进YOLOv5s的果园环境葡萄检测

为了快速精准地识别复杂果园环境下的葡萄目标，该研究基于YOLOv5s提出一种改进的葡萄检测模型（MRWYOLOv5s）。首先，为了减少模型参数量，采用轻量型网络MobileNetv3作为特征提取网络，并在MobileNetv3的bneck结构中嵌入坐标注意力模块（coordinate attention,CA）以加强网络的特征提取能力；其次，在颈部网络中引入RepVGG Block，融合多分支特征提升模型的检测精度，并利用RepVGG Block的结构重参数化进一步加快模型的推理速度；最后，采用基于动态非单调聚焦机制的损失（wise intersection over union loss,WIoU Loss）作为边界框回归损失函数，加速网络收敛并提高模型的检测准确率。结果表明，改进的MRW-YOLOv5s模型参数量仅为7.56 M，在测试集上的平均精度均值（mean average precision,mAP）达到97.74%，相较于原YOLOv5s模型提升了2.32个百分点，平均每幅图片的检测时间为10.03 ms，比原YOLOv5s模型减少了6.13 ms。与主流的目标检测模型S...     

苹果采摘机器人视觉系统研究进展

视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。     

基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位

为提高苹果采摘机器人的工作效率和环境适应性,使其能全天候的在不同光线环境下对遮挡、粘连和套袋等多种情况下的果实进行识别定位,该文提出了基于YOLOv3(you only look once)深度卷积神经网络的苹果定位方法。该方法通过单个卷积神经网络(one-stage)遍历整个图像,回归目标的类别和位置,实现了直接端到端的目标检测,在保证效率与准确率兼顾的情况下实现了复杂环境下苹果的检测。经过训练的模型在验证集下的m AP(meanaverageprecision)为87.71%,准确率为97%,召回率为90%,IOU(intersection over union)为83.61%。通过比较YOLOv3与Faster RCNN算法在不同数目、不同拍摄时间、不同生长阶段、不同光线下对苹果的实际检测效果,并以F1为评估值对比分析了4种算法的差异,试验结果表明YOLOv3在密集苹果的F1高于YOLOv2算法4.45个百分点,在其他环境下高于Faster RCNN将近5个百分点,高于HOG+SVM(histogram of oriented gradient+support vector machine)将近10个百分点。并且在不同硬件环境验证了该算法的可行性,一幅图像在GPU下的检测时间为16.69 ms,在CPU下的检测时间为105.21 ms,实际检测视频的帧率达到了60帧/s和15帧/s。该研究可为机器人快速长时间高效率在复杂环境下识别苹果提供理论基础。     

苹果采摘机器人柔顺抓取的参数自整定阻抗控制

为了实现苹果机器采摘过程中的柔顺抓取以减小果实损伤,该文在对苹果抓取过程的力学特性变化规律分析的基础上,提出了苹果采摘机器人柔顺抓取的参数自整定阻抗控制方法。首先,利用Burgers黏弹性模型表征苹果的流变特性,将抓取过程分为匀速加载、夹持减速、应力松弛3个阶段,在此基础上求解获得苹果形变量随时间的变化规律和果实接触力与变形量的变化关系。然后,求解出所设计的基于力的阻抗控制系统的期望输入以及抓取环境接触力模型。最后,针对阻抗控制器参数对接触力的影响,构造阻抗参数自整定变化函数,完成改进阻抗控制系统设计。仿真及试验结果表明:依据果实抓取模型及变形规律求解期望位置的方式来模拟末端执行器对苹果的抓取过程是可行的,所建立的抓取环境接触力模型在一定程度上能够避免将环境模型简化为一阶模型而产生的误差。改进阻抗控制得到的期望抓取力更加平顺,其超调量约为2.3%,接触力调节时间减小到0.48 s,接触力的超调量约为2%,较未改进阻抗控制的接触力超调量减小了37.5%。研究结果可为苹果采摘机器人的柔顺控制方法提供参考。