基于MHSA+DeepLab v3+的无人机遥感影像小麦倒伏检测

倒伏是影响小麦产量和质量的重要因素之一,及时准确获取倒伏信息有利于小麦良种选育中的倒伏损失鉴定。本文以小麦灌浆期和成熟期两个生长阶段的可见光无人机遥感影像为依据,构建多生长阶段小麦倒伏数据集,通过在DeepLab v3+模型中添加不同的注意力模块进行比较分析,提出一种基于多头自注意力（MHSA）的DeepLab v3+小麦倒伏检测模型。试验结果表明,提出的MHSA+DeepLab v3+模型的平均像素精度(Mean pixel accuracy, mPA)和均交并比(Mean intersection over union, mIoU),灌浆期分别为93.09%和87.54%,成熟期分别为93.36%和87.49%。与代表性的SegNet、PSPNet和DeepLab v3+模型相比,在灌浆期mPA提高了25.45、7.54、1.82个百分点和mIoU提高了36.15、11.37、2.49个百分点,在成熟期mPA提高了15.05、6.32、0.74个百分点,mIoU提高了23.36、9.82、0.95个百分点。其次,相比于CBAM和SimAM两种注意力模块,在灌浆期及成熟期基于多头自注意力的DeepLab v3+表现均为最优,在灌浆期其mPA和mIoU分别提高了1.6、2.07个百分点和1.7、2.45个百分点,成熟期提高了0.27、0.11个百分点和0.26、0.15个百分点。研究表明提出的改进的DeepLab v3+模型能够有效地捕获灌浆期和成熟期的无人机小麦遥感图像中的倒伏特征,准确识别不同生育期的倒伏区域,具有良好的适用性,为利用无人机遥感技术鉴定小麦倒伏灾害等级和良种选育等提供了参考。     

基于改进型YOLO的复杂环境下番茄果实快速识别方法

为实现温室环境下农业采摘机器人对番茄果实的快速、精确识别,提出了一种改进型多尺度YOLO算法(IMS-YOLO)。对YOLO网络模型进行筛选和改进,设计了一种含有残差模块的darknet-20主干网络,同时融合多尺度检测模块,构建了一种复杂环境下番茄果实快速识别网络模型。该网络模型层数较少,能够提取更多特征信息,且采用多尺度检测结构,同时返回番茄果实的类别和预测框,以此提升番茄果实检测速度和精度。采用自制的番茄数据集对IMS-YOLO模型进行测试,并分别对改进前后网络的检测性能以及主干网络层数对特征提取能力的影响进行了对比试验。试验结果表明,IMS-YOLO模型对番茄图像的检测精度为97. 13%,准确率为96. 36%,召回率为96. 03%,交并比为83. 32%,检测时间为7. 719 ms;对比YOLO v2和YOLO v3等网络模型,IMS-YOLO模型可以同时满足番茄果实检测的精度和速度要求。最后,通过番茄温室大棚采摘试验验证了本文模型的可行性和准确性。     

基于改进YOLO v3网络的夜间环境柑橘识别方法

为研究夜间环境下采摘机器人的视觉检测技术，实现采摘机器人的夜间作业，提出了一种多尺度卷积神经网络Des-YOLO v3算法，可实现夜间复杂环境下成熟柑橘的识别与检测。借鉴残差网络和密集连接网络，设计了Des-YOLO v3网络结构，实现了网络多层特征的复用和融合，加强了小目标和重叠遮挡果实识别的鲁棒性，显著提高了果实检测精度。柑橘识别试验结果表明， Des-YOLO v3网络的精确率达97.67%、召回率为97.46%、F1值为0.976，分别比YOLO v3网络高6.26个百分点、6.36个百分点和0.063。同时，经过训练的模型在测试集下的平均精度(mAP)为90.75%、检测速度达53f/s，高于YOLO v3_DarkNet53网络的平均精度88.48%，mAP比YOLO v3_DarkNet53网络提高了2.27个百分点，检测速度比YOLO v3_DarkNet53网络提高了11f/s。研究结果表明，本文提出的Des-YOLO v3网络对野外夜间复杂环境下成熟柑橘的识别具有更强的鲁棒性和更高的检测精度，为柑橘采摘机器人的视觉识别提供了技术支持。     

基于注意力机制与改进YOLO的温室番茄快速识别

为了实现复杂环境下农业机器人对番茄果实的快速准确识别,提出了一种基于注意力机制与改进YOLO v5s的温室番茄目标快速检测方法。根据YOLO v5s模型小、速度快等特点,在骨干网络中加入卷积注意力模块(CBAM),通过串联空间注意力模块和通道注意力模块,对绿色番茄目标特征给予更多的关注,提高识别精度,解决绿色番茄在相似颜色背景中难识别问题;通过将CIoU Loss替换GIoU Loss作为算法的损失函数,在提高边界框回归速率的同时提高果实目标定位精度。试验结果表明,CB-YOLO网络模型对温室环境下红色番茄检测精度、绿色番茄检测精度、平均精度均值分别为99.88%、99.18%和99.53%,果实检测精度和平均精度均值高于Faster R-CNN模型、YOLO v4-tiny模型和YOLO v5模型。将CB-YOLO模型部署到安卓手机端,通过不同型号手机测试,验证了模型在移动终端设备上运行的稳定性,可为设施环境下基于移动边缘计算的机器人目标识别及采收作业提供技术支持。     

番茄采摘机器人系统设计与试验

为了提高鲜食番茄采收的自动化水平,减轻人工采摘劳动强度,设计了一种番茄智能采摘机器人。该采摘机器人包括视觉定位单元、采摘手爪、控制系统及承载平台,并基于各部件工作原理制定了采摘机器人的工作流程。基于HIS色彩模型进行图像分割,提高了果实识别的准确度;通过气囊夹持方式确保果实采摘过程中对果实的柔性夹持。试验结果表明:视觉定位、采摘手爪等模块运转良好,采摘单果番茄耗时约24s,成功率可达8 3.9%以上。     

基于YOLO v5m的红花花冠目标检测与空间定位方法

针对红花采摘机器人田间作业时花冠检测及定位精度不高的问题,提出了一种基于深度学习的目标检测定位算法(Mobile safflower detection and position network, MSDP-Net)。针对目标检测,本文提出了一种改进的YOLO v5m网络模型C-YOLO v5m,在YOLO v5m主干网络和颈部网络插入卷积块注意力模块,使模型准确率、召回率、平均精度均值相较于改进前分别提高4.98、4.3、5.5个百分点。针对空间定位,本文提出了一种相机移动式空间定位方法,将双目相机安装在平移台上,使其能在水平方向上进行移动,从而使定位精度一直处于最佳范围,同时避免了因花冠被遮挡而造成的漏检。经田间试验验证,移动相机式定位成功率为93.79%,较固定相机式定位成功率提升9.32个百分点,且在X、Y、Z方向上移动相机式定位方法的平均偏差小于3 mm。将MSDP-Net算法与目前主流目标检测算法的性能进行对比,结果表明,MSDP-Net的综合检测性能均优于其他5种算法,其更适用于红花花冠的检测。将MSDP-Net算法和相机移动式定位方法应用于自主研发的红花采摘机器人上进行...     

基于生成对抗网络与ICNet的羊骨架图像实时语义分割

研究了羊骨架图像生成技术与基于ICNet的羊骨架图像实时语义分割方法。通过DCGAN、SinGAN、BigGAN 3种生成对抗网络生成图像效果对比,优选BigGAN作为羊骨架图像生成网络,扩充了羊骨架图像数据量。在此基础上,将生成图像与原始图像建立组合数据集,引入迁移学习训练ICNet,并保存最优模型,获取该模型对羊骨架脊椎、肋部、颈部的分割精度、MIoU以及单幅图像平均处理时间,并以此作为羊骨架图像语义分割效果的评判标准。结果表明,最优模型对羊骨架3部位分割精度和MIoU分别为93.68%、96.37%、89.77%和85.85%、90.64%、75.77%,单幅图像平均处理时间为87 ms。通过模拟不同光照条件下羊骨架图像来判断ICNet的泛化能力,通过与常用的U Net、DeepLabV3、PSPNet、Fast SCNN 4种图像语义分割模型进行对比来验证ICNet综合分割能力,通过对比中分辨率下不同分支权重的网络分割精度来寻求最优权值。结果表明,ICNet与前3种模型的分割精度、MIoU相差不大,但处理时间分别缩短了72.98%、40.82%、88.86%;虽然Fast SCNN单幅图像处理时间较ICNet缩短了43.68%,但MIoU降低了4.5个百分点,且当中分辨率分支权重为0.42时,ICNet分割精度达到最高。研究表明本文方法具有较高的分割精度、良好的实时性和一定的泛化能力,综合分割能力较优。     

基于改进YOLO v4的自然环境苹果轻量级检测方法

针对苹果采摘机器人识别算法包含复杂的网络结构和庞大的参数体量,严重限制检测模型的响应速度问题,本文基于嵌入式平台,以YOLO v4作为基础框架提出一种轻量化苹果实时检测方法(YOLO v4-CA)。该方法使用MobileNet v3作为特征提取网络,并在特征融合网络中引入深度可分离卷积,降低网络计算复杂度;同时,为弥补模型简化带来的精度损失,在网络关键位置引入坐标注意力机制,强化目标关注以提高密集目标检测以及抗背景干扰能力。在此基础上,针对苹果数据集样本量小的问题,提出一种跨域迁移与域内迁移相结合的学习策略,提高模型泛化能力。试验结果表明,改进后模型的平均检测精度为92.23%,在嵌入式平台上的检测速度为15.11f/s,约为改进前模型的3倍。相较于SSD300与Faster R-CNN,平均检测精度分别提高0.91、2.02个百分点,在嵌入式平台上的检测速度分别约为SSD300和Faster R-CNN的1.75倍和12倍;相较于两种轻量级目标检测算法DY3TNet与YOLO v5s,平均检测精度分别提高7.33、7.73个百分点。因此,改进后的模型能够高效实时地对复杂果园环境中的苹果进行检测,适宜在嵌入式系统上部署,可以为苹果采摘机器人的识别系统提供解决思路。     

基于改进Faster R-CNN的苹果采摘视觉定位与检测方法

针对采摘机器人对场景中目标分布密集、果实相互遮挡的检测及定位能力不理想问题,提出一种引入高效通道注意力机制(ECA)和多尺度融合特征金字塔(FPN)改进Faster R-CNN果实检测及定位方法。首先,利用表达能力较强的融合FPN的残差网络ResNet50替换原VGG16网络,消除了网络退化问题,进而提取更加抽象和丰富的语义信息,提升模型对多尺度和小目标的检测能力;其次,引入注意力机制ECA模块,使特征提取网络聚焦特征图像的局部高效信息,减少无效目标的干扰,提升模型检测精度;最后,采用一种枝叶插图数据增强方法改进苹果数据集,解决图像数据不足问题。基于构建的数据集,使用遗传算法优化K-means++聚类生成自适应锚框,提高模型定位准确性。试验结果表明,改进模型对可抓取和不可直接抓取苹果的精度均值分别为96.16%和86.95%,平均精度均值为92.79%,较传统Faster R-CNN提升15.68个百分点;对可抓取和不可直接抓取的苹果定位精度分别为97.14%和88.93%,较传统Faster R-CNN分别提高12.53个百分点和40.49个百分点;内存占用量减少38.20%,每帧平均计算时间缩短40.7%,改进后的模型参数量小且实时性好,能够更好地应用于果实采摘机器人视觉系统。     

基于Des-YOLO v4的复杂环境下苹果检测方法

为使采摘机器人快速准确检测出复杂环境中的苹果,提出一种Des-YOLO v4算法与苹果检测方法。由于YOLO v4的网络结构复杂,提出一种Des-YOLO结构,可减少网络参数并提高算法的检测速度;在训练阶段,正负样本的不平衡会导致苹果误检,提出一种基于AP-Loss的类别损失函数,以提高苹果识别的准确性。通过自制的苹果数据集测试了Des-YOLO v4算法,并在苹果采摘机器人样机上完成了采摘实验。实验结果表明:Des-YOLO v4算法对苹果图像的平均精度值为93.1%,检测速度为53f/s;机器人单次采摘时间为8.7s,采摘成功率达92.9%,具有检测精度高、速度快等优点。     

基于改进YOLOv5m的采摘机器人苹果采摘方式实时识别

为准确识别果树上的不同苹果目标,并区分不同枝干遮挡情形下的果实,从而为机械手主动调整位姿以避开枝干对苹果的遮挡进行果实采摘提供视觉引导,提出了一种基于改进YOLOv5m面向采摘机器人的苹果采摘方式实时识别方法。首先,改进设计了BottleneckCSP-B特征提取模块并替换原YOLOv5m骨干网络中的BottleneckCSP模块,实现了原模块对图像深层特征提取能力的增强与骨干网络的轻量化改进;然后,将SE模块嵌入到所改进设计的骨干网络中,以更好地提取不同苹果目标的特征;进而改进了原YOLOv5m架构中输入中等尺寸目标检测层的特征图的跨接融合方式,提升了果实的识别精度;最后,改进了网络的初始锚框尺寸,避免了对图像里较远种植行苹果的识别。结果表明,所提出的改进模型可实现对图像中可直接采摘、迂回采摘（苹果上、下、左、右侧采摘）和不可采摘果实的识别,识别召回率、准确率、mAP和F1值分别为85.9%、81.0%、80.7%和83.4%。单幅图像的平均识别时间为0.025s。对比了所提出的改进算法与原YOLOv5m、YOLOv3和EfficientDet-D0算法在测试集上对6类苹果采摘方式的识别效果,结果表明,所提出的算法比其他3种算法识别的mAP分别高出了5.4、22、20.6个百分点。改进模型的体积为原始YOLOv5m模型体积的89.59%。该方法可为机器人的采摘手主动避开枝干对果实的遮挡,以不同位姿采摘苹果提供技术支撑,可降低苹果的采摘损失。     

基于改进DeepLabv3+的番茄图像多类别分割方法

番茄图像中多类别目标的准确识别是实现自动化采摘的技术前提,针对现有网络分割精度低、模型参数多的问题,提出一种基于改进DeepLabv3+的番茄图像多类别分割方法。该方法使用幻象网络(GhostNet)和坐标注意力模块(Coordinate attention, CA)构建CA-GhostNet作为DeepLabv3+的主干特征提取网络,减少网络的参数量并提高模型的分割精度,并设计了一种多分支解码结构,用于提高模型对小目标类别的分割能力。在此基础上,基于单、双目小样本数据集使用合成数据集的权值参数进行迁移训练,对果实、主干、侧枝、吊线等8个语义类别进行分割。结果表明,改进的DeepLabv3+模型在单目数据集上的平均交并比(MIoU)和平均像素准确率(MPA)分别为68.64%、78.59%,在双目数据集上的MIoU和MPA分别达到73.00%、80.59%。此外,所提模型内存占用量仅为18.5 MB,单幅图像推理时间为55 ms,与基线模型相比,在单、双目数据集上的MIoU分别提升6.40、6.98个百分点,与HRNet、UNet、PSPNet相比,内存占用量压缩82%、79%、88%...     

基于DeepLab v3+的葡萄叶片分割算法

为解决自然光照环境下复杂背景葡萄叶片图像的自动分割问题,使用一种DeepLab v 3+语义分割算法,完成对葡萄叶片分割.该算法采用ResNet 101作为主干网络进行特征抽取;采用空洞卷积和编码模块进行多尺度特征融合,将ResNet的中间信息和编码模块的特征组合作为解码输入;采用上采样的方式进行尺度还原,得到语义分割...     

基于深度学习的多品种鲜食葡萄采摘点定位

鲜食葡萄品种多样，具有不同的形状和颜色。针对葡萄采摘机器人采摘不同品种鲜食葡萄时采摘点定位精度降低的问题，提出一种基于深度学习的多品种鲜食葡萄采摘方法。首先利用PSPNet(MobileNetv2)语义分割模型分割葡萄图像，在葡萄上方设置一个兴趣区域，在兴趣区域内使用自适应阈值果梗方向Canny边缘检测提取果梗边缘信息，然后采用霍夫变换检测果梗边缘上的直线段并进行直线拟合。最后将拟合的直线与兴趣区域的水平对称轴的交点作为采摘点。对晴天顺光、晴天逆光、晴天遮阴3种光照条件下的克瑞森、阳光玫瑰、红提和黑金手指4个品种的360幅葡萄图像进行采摘点定位试验。结果显示，采摘点定位准确率为91.94%，定位时间为187.47 ms，在模拟试验中采摘成功率为85.5%。     

基于CenterNet的密集场景下多苹果目标快速识别方法

为提高苹果采摘机器人的识别效率和环境适应性,使其能在密集场景下对多苹果目标进行快速、精确识别,提出了一种密集场景下多苹果目标的快速识别方法.该方法借鉴"点即是目标"的思路,通过预测苹果的中心点及该苹果的宽、高尺寸,实现苹果目标的快速识别;通过改进CenterNet网络,设计了Tiny Hourglass-24轻量级骨干...     

基于改进DeepLab V3+的果园场景多类别分割方法

果园环境实时检测是保证果园喷雾机器人精准作业的重要前提。本文提出了一种基于改进DeepLab V3+语义分割模型的果园场景多类别分割方法。为了在果园喷雾机器人上部署,使用轻量化MobileNet V2网络替代原有的Xception网络以减少网络参数,并在空洞空间金字塔池化（Atrous spatial pyramid pooling,ASPP）模块中运用ReLU6激活函数减少部署在移动设备的精度损失,此外结合混合扩张卷积（Hybrid dilated convolution,HDC）,以混合扩张卷积替代原有网络中的空洞卷积,将ASPP中的扩张率设为互质以减少空洞卷积的网格效应。使用视觉传感器采集果园场景RGB图像,选取果树、人、天空等8类常见的目标制作了数据集,并在该数据集上基于Pytorch对改进前后的DeepLab V3+进行训练、验证和测试。结果表明,改进后DeepLab V3+模型的平均像素精度、平均交并比分别达到62.81%和56.64%,比改进前分别提升5.52、8.75个百分点。模型参数量较改进前压缩88.67%,单幅图像分割时间为0.08s,与原模型相比减少0.09s。尤其是对树的分割精度达到95.61%,比改进前提高1.31个百分点。该方法可为喷雾机器人精准施药和安全作业提供有效决策,具有实用性。     

基于注意力机制和边缘感知的田梗提取模型

田埂精确提取是数字化农业管理的重要前提。针对由于遮挡、斑秃等因素干扰,给基于语义分割方法提取田埂带来困难问题,提出一种基于注意力机制和边缘感知模块的U-Net网络实现田埂提取。首先,将多信息注意力引入U型分割网络的下采样中,增强相邻层之间的上下文信息,提升对田埂区域语义特征的表示能力。其次,将边缘感知分割模块应用至U-Net解码部分的每一层,在不同语义特征层提取田埂边缘信息,提高田埂区域语义分割精度。最后,联合边缘感知损失与语义分割损失构建联合损失函数,用于整体网络优化。通过对安徽省淮北市濉溪县小麦基地采集的无人机麦田数据集进行训练和模型验证,实验结果表明,本文模型语义分割像素准确率高达95.57%,平均交并比达到77.48%。