基于改进YOLO v5的复杂环境下桑树枝干识别定位方法

为实现复杂自然环境下对桑树嫩叶处枝干的识别检测,改变当前桑叶采摘设备作业过程中依赖人工辅助定位的现状,解决识别目标姿态多样和环境复杂导致的低识别率问题,提出一种基于改进YOLO v5模型的桑树枝干识别模型(YOLO v5-mulberry),并结合深度相机构建定位系统。首先,在YOLO v5的骨干网络中加入CBAM(Convolutional block attention module)注意力机制,提高神经网络对桑树枝干的关注度;并增加小目标层使模型可检测4像素×4像素的目标,提高了模型检测小目标的性能;同时使用GIoU损失函数替换原始网络中的IoU损失函数,有效防止了预测框和真实框尺寸较小时无法正确反映预测框及真实框之间位置关系的情况;随后,完成深度图和彩色图的像素对齐,通过坐标系转换获取桑树枝干三维坐标。试验结果表明：YOLO v5-mulberry检测模型的平均精度均值为94.2%,较原模型提高16.9个百分点,置信度也提高12.1%;模型室外检测时应检测目标数53,实际检测目标数为48,检测率为90.57%;桑树嫩叶处枝干三维坐标识别定位系统的定位误差为(9.498 5 mm...     

面向复杂背景环境目标的快速识别研究

面向复杂背景环境的定位目标的快速识别是野外作业机器人的关键技术,以柑橘为例,研究了自然环境下基于彩色信息的目标定位的识别方法。首先,采用YCbCr颜色模型来分析柑橘彩色图像的颜色和灰度特征,并通过Otsu与FCM分割算法相结合对在不同光照条件下拍摄的彩色目标图像进行分割;然后,利用形态学数学和区域标记消除分割后产生的随机噪声;最后,用凸包算法提取果实形状特征,并通过凸包算法来判定是否为柑橘和是否可采。对500张彩色柑橘图像进行分割,结果表明采用Cr颜色分量和Otsu与FCM算法相结合有效地解决复杂自然光照下的分割问题;对963个柑橘进行了凸包算法识别试验,总体识别率达87.53%。凸包算法对遮挡图像也可进行高效识别,并能快速、准确地提取柑橘目标的质心坐标。     

基于Stereo Camera-YOLOv5自然环境下百香果检测与定位模型

针对百香果采摘机器人在自然环境中作业时受复杂光线及遮挡影响,难以快速精确地检测及定位成熟百香果的问题,提出一种基于Stereo Camera-YOLOv5自然环境下成熟百香果检测及定位模型。针对自然环境下光线以及遮挡的影响,通过MSRCP算法、随机遮挡、数据增扩等图像处理算法对原始数据集进行优化。将优化的数据集输入到YOLOv5网络中训练出最优模型,在检测代码中嵌入双目立体视觉算法。该模型对自然环境下百香果进行检测及成熟度判断,将判断为成熟的百香果进行图像处理,并提取到中心点二维坐标。通过立体匹配及视差计算得到中心点的三维坐标。田间试验结果表明,该模型的目标检测准确率为97.8%,总体准确率为90.2%,平均运行时间为4.85 s。该系统鲁棒性强、实时性好,能够更好地实现自然环境下成熟百香果的检测及定位,为百香果采摘机器人后续工作奠定基础。     

基于改进YOLO v5n的猪只盘点算法

猪只盘点是规模化养殖中的重要环节,为生猪精准饲喂和资产管理提供了依据。人工盘点不仅耗时低效,而且容易出错。当前已有基于深度学习的生猪智能盘点算法,但在遮挡重叠、光照等复杂场景下盘点精度较低。为提高复杂场景下生猪盘点的精度,提出了一种基于改进YOLO v5n的猪只盘点算法。该算法从提升猪只目标检测性能出发,构建了一个多场景的生猪数据集;其次,在主干网络中引入SE-Net通道注意力模块,引导模型更加关注遮挡条件下猪只目标信息的通道特征。同时,增加了检测层进行多尺度特征融合处理,使模型更容易学习收敛并预测不同尺度的猪只对象,提升模型遮挡场景的检测性能;最后,对边界框损失函数以及非极大值抑制处理进行了改进,使模型对遮挡的目标有更好的识别效果。实验结果表明,与原YOLO v5n算法相比,改进算法的平均绝对误差(MAE)、均方根误差(RMSE)以及漏检率分别降低0.509、0.708以及3.02个百分点,平均精度(AP)提高1.62个百分点,达到99.39%,在复杂遮挡重叠场景下具有较优的精确度和鲁棒性。算法的MAE为0.173,与猪只盘点算法CClusnet、CCNN和PCN相比,分别降低0.2...     

基于YOLO v5-Lite的自然环境木瓜成熟度检测方法

利用深度学习实现视觉检测技术对自然环境下树上木瓜成熟度的识别,从而监测木瓜生长期成熟度有重要意义。针对目前木瓜的成熟度主要以人工判断为主,缺乏对木瓜成熟度快速、准确的自动检测方法问题,本研究基于轻量化YOLO v5-Lite模型,对自然环境下木瓜成熟度检测方法进行研究,通过采集的1 386幅木瓜图像,训练得到最优权值模型。实验结果表明,该模型对木瓜检测mAP为92.4%,与目前主流的轻量化目标检测算法YOLO v5s、YOLO v4-tiny以及两阶段检测算法Faster R-CNN相比,其mAP分别提高1.1、5.1、4.7个百分点;此外,在保证检测精度的前提下,检测时间为7 ms,且模型内存占用量仅为11.3 MB。同时,该模型对不同拍摄距离、不同遮挡情况、不同光照情况下的果实均能实现准确识别,能够快速有效地识别出复杂背景下木瓜果实的成熟度,具有较强的鲁棒性,可以为木瓜果园的产量估计和采摘机器的定位检测提供技术支持。     

基于Mask R-CNN的复杂背景下柑橘树枝干识别与重建

为了获取自然环境下完整柑橘果树枝干信息,以引导采摘机器人进行避障采摘作业,提出了一种基于Mask R-CNN模型与多参数变量约束的柑橘果树枝干识别与重建方法。该方法采用网格化的标记方式对果树枝干进行标记,完成了对柑橘果树枝干的小区域识别;然后对该模型获得的离散mask进行最小外接矩处理,以获得更精确的目标区域;接着利用多参数变量约束完成同一枝干mask(掩码)的划分;最后为了使重建枝干更符合实际枝干的生长姿态,以及完善未识别区域的检测,对同一枝干mask中心点进行了四次多项式拟合。实验结果表明,模型在测试集下的平均识别精确率为98. 15%,平均召回率为81. 09%,果树单条枝干平均拟合误差为11. 47%,果树枝干整体平均重建准确率为88. 64%。     

基于深度卷积神经网络的柑橘目标识别方法

针对户外自然环境,基于深度卷积神经网络设计了对光照变化、亮度不匀、前背景相似、果实及枝叶相互遮挡、阴影覆盖等自然环境下典型干扰因素具有良好鲁棒性的柑橘视觉识别模型。模型包括可稳定提取自然环境下柑橘目标视觉特征的深层卷积网络结构、可提取高层语义特征来获取柑橘特征图的深层池化结构和基于非极大值抑制方法的柑橘目标位置预测结构,并基于迁移学习完成了柑橘目标识别模型训练。本文运用多重分割的方法提高了柑橘目标识别模型的多尺度图像检测能力和实时性,利用包含多种干扰因素的自然环境下柑橘目标数据集测试,结果表明,柑橘识别模型对自然采摘环境下常见干扰因素及其叠加具有良好的鲁棒性和实时性,识别平均准确率均值为86. 6%,平均损失为7. 7,平均单帧图像检测时间为80 ms。     

基于改进AlexNet的广域复杂环境下遮挡猕猴桃目标识别

为了提高猕猴桃采摘机器人的工作效率和对猕猴桃复杂生长环境的适应性,识别广域复杂环境下相互遮挡的猕猴桃目标,采用Im-AlexNet为特征提取层的Faster R-CNN目标检测算法,通过迁移学习微调AlexNet网络,修改全连接层L6、L7的节点数为768和256,以解决晴天(白天逆光、侧逆光)、阴天及夜间补光条件下的广域复杂环境中猕猴桃因枝叶遮挡或部分果实重叠遮挡所导致的识别精度较低等问题。采集广域复杂环境中晴天逆光、晴天侧逆光、阴天和夜间补光条件下存在遮挡情况的4类样本图像共1 823幅,建立试验样本数据库进行训练并测试。试验结果表明:该方法对晴天逆光、晴天侧逆光、阴天和夜间补光条件下存在遮挡情况的图像识别精度为96. 00%,单幅图像识别时间约为1 s。在相同数据集下,Im-AlexNet网络识别精度比LeNet、AlexNet和VGG16 3种网络识别精度的平均值高出5. 74个百分点。说明该算法能够降低猕猴桃果实漏识别率和误识别率,提高了识别精度。该算法能够应用于猕猴桃采摘机器人对广域复杂环境下枝叶遮挡或部分果实重叠遮挡的准确识别。     

基于深度学习的杂草识别方法研究进展

伴生杂草不仅与作物争夺养分和水分,而且还是多种病虫害的中间寄主,成为困扰作物高效生产的难题。随着深度学习技术的发展,杂草的自动检测和分类识别在清除杂草过程中得到重要应用。首先阐述应用于杂草识别过程中深度学习的硬件需求以及软件实现过程,分析用于深度学习不同硬件的优缺点,阐述深度学习模型建立、训练、模型评估以及模型部署等基本步骤;并重点论述深度学习方法在杂草和作物识别以及杂草分类识别的研究进展。然后指出深度学习数据需求量大,目前无通用数据集,杂草、作物相互遮挡,光照环境复杂,机器作业条件恶劣等情况下识别准确率低的问题。最后提出图像与光谱数据融合、杂草识别模型模块化、杂草长势预测、模型嵌入式部署研究将成为基于深度学习的杂草识别方法未来的研究方向。     

变化光照下树上柑橘目标检测与遮挡轮廓恢复技术

遮挡是自然场景中普遍存在的问题,为在变化光照条件下正确检测出自然环境中的树上成熟水果目标,从而为全天候的机械采摘提供运动参数,研究了基于彩色信息和目标轮廓整合的树上遮挡柑橘检测方法。在对自然光照条件下的可见光彩色图像进行颜色特征分析的基础上,建立了利用R-B色差图融合归一化RGB颜色空间的方法,对树上水果目标区域进行了初分割。然后提取R-B色差图的主边缘构造边缘片段集,根据边缘片段长度、弯曲程度以及凹凸性来选择有效边缘片段集,对每个有效边缘片段进行拟合,最后根据水果形状知识选择出有效拟合目标椭圆。根据对不同光照条件和遮挡程度的场景处理的结果表明,所提算法能有效恢复出树上存在遮挡的水果目标,最后遮挡轮廓恢复结果的相对误差为5.34%。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于树木整体图像和集成迁移学习的树种识别

为解决自然场景中拥有复杂背景的树木整体图像识别问题,提出了一种基于树木整体图像和集成迁移学习的树种识别方法。首先使用Alex Net、Vgg Net-16、Inception-V3及ResNet-50这4种在Image Net大规模数据集上预训练的模型对图像进行特征提取,然后迁移到目标树种数据集上,训练出4个不同的分类模型,最后通过相对多数投票法和加权平均法建立集成模型。构建了一个新的树种图像数据集——Trees Net,基于该数据集,设计了多类实验,并将该方法与传统的图像识别方法进行了分析比较。实验结果表明:该方法对复杂背景下树种图像识别准确率达到99. 15%,对于树木整体图像识别具有较好的效果。     

桑叶采摘机桑枝间歇拨动装置的建模及仿真分析

针对摇杆式桑叶采摘机中桑枝拨动与桑叶采摘之间的时间协调匹配要求,选用圆柱分度凸轮机构作为间歇拨动装置,通过间歇拨动装置和桑叶采摘装置的协调配合,使桑枝能够及时进入圆环刀具口所在位置,保证桑叶的顺利采摘。采用空间包络曲面共轭原理建立了圆柱分度凸轮的数学模型,然后使用Pro/E三维软件的参数化建模功能进行三维设计和建模,结合在摇杆式桑叶采摘机设计中的相关结构参数建立了圆柱分度凸轮机构的虚拟样机模型,通过干涉分析验证了该机构设计的合理性,并将模型转换格式导入ADAMS软件中对其进行动力学仿真。仿真结果表明:该机构模型建立正确,各运动性能较稳定,满足了在桑叶采摘机中的实际应用价值,对该机构的优化设计、加工和安装起到了一定的指导作用。     

基于Mask-RCNN的自然场景下油茶果目标识别与检测

针对我国油茶果采摘过程中存在的自动化水平落后、采摘效率低、适采周期短的现状,应用于机器人收获技术的机器视觉技术受限于真实场景中复杂背景干扰从而导致识别精度较低的问题。以自然场景下的油茶果为研究对象,提出一种基于Mask-RCNN的自然场景下油茶果目标识别与检测算法,首先获取油茶果图像并建立数据集,利用ResNet卷积神经网络提取油茶果果实图片的特征,获得果实目标分割结果,再采用RPN对所得到的特征图进行操作,并增加全连接层,提取每个样本mask像素面积,并对目标类别进行预测。利用测试集分别测试油茶果的分割网络模型及目标识别算法,结果表明,网络模型的分割准确率为89.85%,油茶果目标识别的平均检测精度为89.42%,召回率为92.86%。本算法能够自动检测油茶果目标,并有效降低不同光照情况下叶片与花苞遮挡、果实重叠、果实色泽等因素干扰,为自然场景中果实自动化采摘提供可靠的视觉支持。     

基于语义分割的矮化密植枣树修剪枝识别与骨架提取

为了实现休眠期枣树自动选择性剪枝作业,针对复杂树形结构修剪枝难以识别的问题,研究了基于语义分割网络实现自然场景中枣树修剪枝识别与骨架提取。通过RGB-D相机搭建的视觉系统获取不同天气情况下枣树的点云信息,根据距离阈值去除复杂的枣园背景,并构建枣树前景数据集。利用DeepLabV3+和PSPNet 2种深度学习模型分割枣树枝干同时获取其修剪枝的掩膜,并进行结果对比。对修剪枝掩膜进行二值化,依据二值图像的面积去除噪声,对去噪后的连通域标记,并提取修剪枝骨架,最终确定修剪枝数量,建立修剪枝数量真实值与预测值之间的线性回归模型。结果表明：基于ResNet-50特征提取网络的DeepLabV3+模型识别结果最好,平均像素准确率（mPA）、平均交并比（mIoU）分别为89%和81.85%,其中枣树主干、修剪枝2个类别的像素准确率（PA）和交并比（IoU）分别为90.36%、80.98%和80.34%、66.69%;在3种典型天气（晴天、阴天、夜间）情况下,晴天枣树枝干的mPA（91.97%）略高于阴天（91.81%）和夜间（90.98%）,同时,预测的修剪枝与真实值的R2（0.8699）也高于阴天（0.8373）和夜间（0.8120）,并得到最小的RMSE为1.1618。     

初果期苹果树剪枝仿真研究

苹果树的剪枝对果树坐果和树形塑造起着重要的作用。本文选用五年生苹果树为研究对象,对其进行仿真研究。首先,采用三维激光扫描仪对冬季落叶后的果树进行扫描获取点云数据,经过去噪、重采样和软件处理获得苹果树的骨架节点。其次,再对苹果树进行4种不同类型的剪枝处理,经过一个生长期后,记录被修剪枝条的生长数据,进行定性和定量分析。分析结果表明,随着果树修剪的加重,潜伏芽率、短枝率会逐渐下降,中枝率变化不显著,但长枝率会逐渐增加。根据每种修剪类型后对应母枝的抽枝类型与母枝上的节位规律变化,生成了对应的多项式拟合函数,为虚拟苹果树修剪仿真提供数学规律。最后,建立了苹果树修剪仿真软件用于初果期苹果树剪枝仿真,修剪后仿真抽枝结果的变化规律与实际修剪产生的抽枝规律相符,可为初果期苹果树来年坐果或塑形提供修剪参考方案。     

桑树、桃树、樱桃树三种果树枝条力学特性对比研究

为了评价现有典型果树枝条粉碎机对桑树、桃树、樱桃树三种果树枝条的适应性,论文围绕三种果树枝条开展力学特性对比研究。主要试验测定了冬剪期三种枝条不同直径的拉伸、剪切和压缩的破坏应力和强度,确定了不同直径、品种对枝条力学特性的影响。试验结果表明,三种枝条单位直径拉伸力、枝条单位直径剪切力与轴向抗压强度均随样本直径增加而增加,在一定含水率和直径条件下,桑树枝条的单位直径拉伸力（164.36N·mm-1）、剪切力（105.74N·mm-1）与轴向抗压强度（6.45MPa）,在三种果树枝条中均最大,桃树其次,樱桃树枝条最小。该研究可为确定切割各类枝条所需的切割力、切割刀片和切割方式等提供理论依据和技术参数,对低能耗、高效率的桑树枝条粉碎机的设计及选择具有重要的指导意义。     

基于地面激光雷达点云数据的树种识别方法

为了能够更有效地利用地面激光雷达的点云数据识别树种,以北京林业大学为研究区域,利用FARO Photon 120型地面激光雷达在研究区内获取4个树种、共92棵树木的点云数据。依据点云的三维坐标值提取研究区内立木的胸径、枝下高、树高、冠高、最长冠幅、垂直最长方向冠幅6个测树因子,同时提取由测树因子组合而成具有鲁棒性的6个树形特征参数,包括冠长树高比、胸径树高比、冠高树高比、分枝角、冠长最大冠幅之比、最长冠幅与垂直方向冠幅之比。分别使用测树因子和组合特征参数,采用支持向量机、分类回归决策树和随机森林的方法,对树种进行冠幅自动识别。研究结果表明：使用测树因子树木识别方法,识别平均准确率为0.765,平均召回率为0.778,3种识别方法中,分类效果较好的依次为分类回归决策树、随机森林、支持向量机;使用组合特征参数树木识别方法,识别平均准确率为0.891,平均召回率为0.896,分类效果较好的方法是随机森林和支持向量机,其次是分类回归决策树;总体上来看,不论是对于单个树种还是总体的准确率和召回率,组合特征参数法均高于测树因子法,而对于3种不同的分类方法,随机森林相对最好。研究结果表明,结合地面激光雷达获取的点云和不同机器学习分类方法进行树种识别分类可以达到满意的效果,且能节省大量时间和人力。     

基于K-means聚类和RF算法的葡萄霜霉病检测分级方法

针对自然环境复杂背景下葡萄霜霉病检测分级困难的问题,提出了一种基于语义分割结合K-means聚类和随机森林算法的葡萄霜霉病检测分级方法,实现对葡萄霜霉病快速分级。构建了葡萄霜霉病数据集,采用HRNet v2+OCR网络建立葡萄叶片语义分割模型,提取复杂环境下葡萄叶片;采用K-means聚类算法将葡萄叶片分解为若干子区域图像,并标记少量数据集进行随机森林算法学习,实现葡萄叶片病斑分割与提取;同时在叶片提取和病斑提取过程中,设计一种像素尺寸变换方法,解决图像分辨率引起的精度低问题。基于HRNet v2+OCR网络的葡萄叶片分割模型的准确率为98.45%,平均交并比为97.23%;融合K-means聚类和随机森林(RF)算法的葡萄叶片正面、反面和正反面霜霉病病害分级准确率分别为52.59%、73.08%和63.32%,病害等级误差小于等于2级时的病害分级准确率分别为88.67%、96.97%和92.98%。研究结果表明,基于K-means聚类和随机森林算法的葡萄霜霉病检测分级方法能够准确地分割自然环境复杂背景下的葡萄叶片和葡萄霜霉病病斑,并实现葡萄霜霉病分级,为葡萄霜霉病精准防治提供了方法和...