基于深度学习的无人机土地覆盖图像分割方法

编制土地覆盖图需要包含精准类别划分的土地覆盖数据,传统获取方法成本高、工程量大,且效果不佳。提出一种面向无人机航拍图像的语义分割方法,用于分割不同类型的土地区域并分类,从而获取土地覆盖数据。首先,按照最新国家标准,对包含多种土地利用类型的航拍图像进行像素级标注,建立无人机高分辨率复杂土地覆盖图像数据集。然后,在语义分割模型DeepLab V3+的基础上进行改进,主要包括:将原始主干网络Xception+替换为深度残差网络ResNet+;引入联合上采样模块,增强编码器的信息传递能力;调整扩张卷积空间金字塔池化模块的扩张率,并移除该模块的全局池化连接;改进解码器,使其融合更多浅层特征。最后在本文数据集上训练和测试模型。实验结果表明,本文提出的方法在测试集上像素准确率和平均交并比分别为95. 06%和81. 22%,相比原始模型分别提升了14. 55个百分点和25. 49个百分点,并且优于常用的语义分割模型FCN-8S和PSPNet模型。该方法能够得到精度更高的土地覆盖数据,满足编制精细土地覆盖图的需要。     

基于改进DeepLabv3+的火龙果园视觉导航路径识别方法

针对视觉导航系统应用在火龙果园环境中面临干扰因素多、图像背景复杂、复杂模型难以部署等问题,本文提出了一种基于改进DeepLabv3+网络的火龙果园视觉导航路径识别方法。首先,采用MobileNetV2取代传统DeepLabv3+的主干特征提取网络Xception,并将空间金字塔池化模块(Atrous spatial pyramid pooling, ASPP)中的空洞卷积替换成深度可分离卷积(Depthwise separable convolution,DSC),在提升模型检测速率的同时大幅减少了模型的参数量和内存占用量;其次,在特征提取模块处引入坐标注意力机制(Coordinate attention,CA),增强了模型的特征提取能力;最后,通过设计的导航路径提取算法对网络模型分割出的道路掩码区域拟合出导航路径。实验结果表明：改进后的DeepLabv3+的平均交并比和平均像素准确率分别达到95.80%和97.86%,相较原模型分别提升0.79、0.41个百分点。同时,模型内存占用量只有15.0MB,和原模型相比降低97.00%,与Pspnet和U-net模型相比则分别降低91.57%、 91.02%。另外,导航路径识别精度测试结果表明平均像素误差为22像素、平均距离误差7.58cm。已知所在果园道路宽度为3m,平均距离误差占比为2.53%。因此,本文研究方法可为解决火龙果园视觉导航任务提供有效参考。     

基于深度学习的群猪分割方法

【目的】实时监控猪舍内猪只状态以及在出栏前对猪只进行计数满足“动物福利化”养殖需求,而实现实时监控与计数的前提条件之一是对图像进行分割。【方法】图像分割方式有传统阈值分割以及引入深度学习概念的语义分割和实例分割。课题组介绍了语义分割的DeepLab V3+模型,作为语义分割中较晚出现的模型,DeepLab V3+模型在分割精度上相较于之前的模型有了巨大的提升,但分割速度仍较慢,无法满足实时监控的需求。基于此,课题组提出用Mobilenet V2主干网络替代原有Xception网络来改进模型,并引入了通道注意力机制以及空间注意力机制,然后分别利用原始模型和改进后的模型进行了试验。【结果】在精度上,改进后的V2模型稍弱于原始模型,加入注意力机制后的模型又优于V2模型0.48%而弱于原始模型2.97%,但在响应速度上,改进后的模型速度提升了38.77%。在分割效果上,三个模型的差异不大。【结论】相较于原始模型,改进后的模型精度略有下降,但是响应速度大幅提升,从而大大提高了模型分割的速度,满足了猪舍监控分割速度快的需求。     

基于U-Net的葡萄种植区遥感识别方法

为提高葡萄种植区遥感识别精度,基于高分二号卫星遥感影像,对U-Net网络进行改进：从空间和通道维度自适应校准特征映射,以增强有意义的特征,抑制不相关的特征,提升地物边缘分割精度;减少下采样次数,使用混合扩张卷积代替常规卷积操作,以增大卷积核感受野,降低图像分辨率的损失,提高对不同尺寸地物的识别能力。实验结果表明,本文模型在测试集上的像素准确率、平均交并比和频权交并比分别为96.56%、93.11%、93.35%,比FCN-8s网络分别提高了5.17、9.57、9.17个百分点,比U-Net网络提高了2.39、4.59、4.39个百分点。此外,本文通过消融实验和特征可视化证明了注意力模块和混合扩张卷积在精度提升上的可行性。本文模型结构简单、参数量少,能够识别不同面积的葡萄种植区,边缘分割效果良好。     

基于改进YOLO v4和ICNet的番茄串检测模型

针对深层神经网络模型部署到番茄串采摘机器人,存在运行速度慢,对目标识别率低,定位不准确等问题,本文提出并验证了一种高效的番茄串检测模型。模型由目标检测与语义分割两部分组成。目标检测负责提取番茄串所在的矩形区域,利用语义分割算法在感兴趣区域内获取番茄茎位置。在番茄检测模块,设计了一种基于深度卷积结构的主干网络,在实现模型参数稀疏性的同时提高目标的识别精度,采用K-means++聚类算法获得先验框,并改进了DIoU距离计算公式,进而获得更为紧凑的轻量级检测模型(DC-YOLO v4)。在番茄茎语义分割模块（ICNet）中以MobileNetv2为主干网络,减少参数计算量,提高模型运算速度。将采摘模型部署在番茄串采摘机器人上进行验证。采用自制番茄数据集进行测试,结果表明,DC-YOLO v4对番茄及番茄串的平均检测精度为99.31%,比YOLO v4提高2.04个百分点。语义分割模块的mIoU为81.63%,mPA为91.87%,比传统ICNet的mIoU提高2.19个百分点,mPA提高1.47个百分点。对番茄串的准确采摘率为84.8%,完成一次采摘作业耗时约6s。     

基于D2-YOLO去模糊识别网络的果园障碍物检测

针对果园目标检测时相机抖动以及物体相对运动导致检测图像模糊的问题,本文提出一种将DeblurGAN-v2去模糊网络和YOLOv5s目标检测网络相融合的D2-YOLO一阶段去模糊识别深度网络,用于检测识别果园模糊场景图像中的障碍物。为了减少融合网络的参数量并提升检测速度,首先将YOLOv5s骨干网络中的标准卷积替换成深度可分离卷积,并且在输出预测端使用CIoU＿Loss进行边界框回归预测。融合网络使用改进的CSPDarknet作为骨干网络进行特征提取,将模糊图像恢复原始自然信息后,结合多尺度特征进行模型预测。为了验证本文方法的有效性,选取果园中7种常见的障碍物作为目标检测对象,在Pytorch深度学习框架上进行模型训练和测试。试验结果表明,本文提出的D2-YOLO去模糊识别网络准确率和召回率分别为91.33%和89.12%,与分步式DeblurGAN-v2+YOLOv5s相比提升1.36、2.7个百分点,与YOLOv5s相比分别提升9.54、9.99个百分点,能够满足果园机器人障碍物去模糊识别的准确性和实时性要求。     

基于改进DeepLabv3+的水稻田间杂草识别方法

针对实际稻田环境中水稻与杂草相互遮挡、难以准确区分的问题,提出一种基于改进DeepLabv3+的水稻杂草识别方法。以无人机航拍的复杂背景下稻田杂草图像为研究对象,在DeepLabv3+模型的基础上,选择轻量级网络MobileNetv2作为主干特征提取网络,以减少模型参数量和降低计算复杂度;融合通道和空间双域注意力机制模块,加强模型对重要特征的关注;提出一种基于密集采样的多分支感受野级联融合结构对空洞空间金字塔池化模块(ASPP)进行改进,扩大对全局和局部元素特征的采样范围;对模型解码器部分进行改进。设置消融试验验证改进方法的有效性,并与改进前DeepLabv3+、UNet、PSPNet、HrNet模型进行对比试验。试验结果表明,改进后模型对水稻田间杂草的识别效果最佳,其平均交并比(MIoU)、平均像素准确率(mPA)、F1值分别为90.72%、95.67%、94.29%,较改进前模型分别提高3.22、1.25、2.65个百分点;改进后模型内存占用量为11.15 MB,约为原模型的1/19,网络推算速度为103.91 f/s。结果表明改进后模型能够实现复杂背景下水稻与杂草分割,研究结果可...     

基于卷积注意力的无人机多光谱遥感影像地膜农田识别

监测地膜覆盖农田的分布对准确评估由其导致的区域气候和生态环境变化有着重要作用,基于DeepLabv3+网络,通过学习面向地膜语义分割的通道注意力和空间注意力特征,提出一种适用于判断农田是否覆膜的改进深度语义分割模型,实现对无人机多光谱遥感影像中地膜农田的有效分割。以内蒙古自治区河套灌区西部解放闸灌区中沙壕渠灌域2018—2019年4块实验田的无人机多光谱遥感影像为研究数据,与可见光遥感影像的识别结果进行对比,同时考虑不同年份地膜农田表观的变化,设计了2组实验方案,分别用于验证模型的泛化性能和增强模型的分类精度。结果表明,改进的DeepLabv3+语义分割模型对多光谱遥感影像的识别效果比可见光高7.1个百分点。同时考虑地膜农田表观变化的深度语义分割模型具有更高的分类精度,其平均像素精度超出未考虑地膜农田表观变化时7.7个百分点,表明训练数据的多样性有助于提高地膜农田的识别精度。其次,改进的DeepLabv3+语义分割模型能够自适应学习地膜注意力,在2组实验中,分类精度均优于原始的DeepLabv3+模型,表明注意力机制能够增加深度语义分割模型的自适应性,从而提升分类精度。本文提出的方法能够从复杂的场景中精准识别地膜农田。     

基于MHSA+DeepLab v3+的无人机遥感影像小麦倒伏检测

倒伏是影响小麦产量和质量的重要因素之一,及时准确获取倒伏信息有利于小麦良种选育中的倒伏损失鉴定。本文以小麦灌浆期和成熟期两个生长阶段的可见光无人机遥感影像为依据,构建多生长阶段小麦倒伏数据集,通过在DeepLab v3+模型中添加不同的注意力模块进行比较分析,提出一种基于多头自注意力（MHSA）的DeepLab v3+小麦倒伏检测模型。试验结果表明,提出的MHSA+DeepLab v3+模型的平均像素精度(Mean pixel accuracy, mPA)和均交并比(Mean intersection over union, mIoU),灌浆期分别为93.09%和87.54%,成熟期分别为93.36%和87.49%。与代表性的SegNet、PSPNet和DeepLab v3+模型相比,在灌浆期mPA提高了25.45、7.54、1.82个百分点和mIoU提高了36.15、11.37、2.49个百分点,在成熟期mPA提高了15.05、6.32、0.74个百分点,mIoU提高了23.36、9.82、0.95个百分点。其次,相比于CBAM和SimAM两种注意力模块,在灌浆期及成熟期基于多头自注意力的DeepLab v3+表现均为最优,在灌浆期其mPA和mIoU分别提高了1.6、2.07个百分点和1.7、2.45个百分点,成熟期提高了0.27、0.11个百分点和0.26、0.15个百分点。研究表明提出的改进的DeepLab v3+模型能够有效地捕获灌浆期和成熟期的无人机小麦遥感图像中的倒伏特征,准确识别不同生育期的倒伏区域,具有良好的适用性,为利用无人机遥感技术鉴定小麦倒伏灾害等级和良种选育等提供了参考。     

基于改进CBAM-DeepLab V3+的苹果种植面积提取

为提高苹果种植区域的提取精度,提出了一种基于Sentinel-2和MODIS融合影像的CBAM-DeepLab V3+模型。影响苹果种植区域提取精度的主要因素包括遥感影像的质量以及语义分割模型的性能。从影像质量角度来看,采用基于时序的时空融合算法ESTARFM,通过融合Sentinel-2和MODIS的遥感影像数据,实现更高空间分辨率和时间分辨率数据的获取。与此同时,将训练样本从原始的800幅扩充至2 400幅,为后续语义分割模型提供更为充足的样本容量。在语义分割模型优化方面,为了进一步提高苹果种植面积的提取精度,以DeepLab V3+网络结构模型为基础,引入基于通道和空间的CBAM注意力机制,进而发展出CBAM-DeepLab V3+模型。与原始DeepLab V3+模型相比,加入CBAM注意力机制的CBAM-DeepLab V3+模型在拟合速度较慢、边缘目标分割不精确、大尺度目标分割内部不一致和存在孔洞等缺陷方面实现了突破,这些改进提高了模型的训练与预测性能。本研究采用原始Sentinel-2影像及时空融合后的影像数据集,结合烟台市牟平区王格庄镇的数据集和观水镇苹果数据集对U-N...     

基于改进ORB-SLAM2的果园喷药机器人定位与稠密建图算法

针对果园喷药机器人视觉导航过程中定位精度低、地图构建效果差等问题，本文提出一种新的视觉定位与稠密建图算法。该算法基于ORB-SLAM2算法架构，首先，通过优化FAST角点、描述子阈值，并采取图像金字塔法与高斯滤波算法，剔除劣质ORB特征点，以提升图像关键帧质量和特征匹配精度。其次，引入稠密建图线程，利用点云恢复算法、统计滤波方法形成点云队列，采取点云拼接技术与体素滤波算法输出稠密点云地图，并在ORB-SLAM2算法的ROS节点中增加关键帧输出接口与位姿发布话题，通过NeedNewKeyFrame函数选取ORB-SLAM2算法所生成的关键帧，减少系统计算量。最终，由RGB-D相机实现果园喷药机器人的精准定位与稠密建图。为验证本文算法的有效性与实用性，进行TUM数据集仿真分析与真实场景测试，结果表明：相较ORB-SLAM2算法，本文算法的绝对轨迹平均误差降低44.01%、相对轨迹平均误差降低7.93%,ORB特征点匹配数量平均提升19.03%,定位精度与运行轨迹效果均有显著提升，此外，还能获取较高精度的果园喷药机器人工作场景信息。本文算法可为果园喷药机器人的自主导航提供理论基础。     

基于深度语义分割的无人机多光谱遥感作物分类方法

为精准获取农田作物种植分布信息以满足农业精细化管理需求,基于DeepLab V3+深度语义分割网络提出了一种面向无人机多光谱遥感影像的农田作物分类方法.通过修改输入层结构、融合多光谱信息和植被指数先验信息、并采用Swish激活函数优化模型,使网络在响应值为负时仍能反向传播.基于2018-2019年连续2年内蒙古自治区河...     

基于改进LinkNet的寒旱区遥感图像河流识别方法

为解决遥感图像河流精细化提取问题,提出一种改进LinkNet模型的分割网络(AFR-LinkNet)。AFR-LinkNet在LinkNet基础上引入了残差通道注意力结构、非对称卷积模块以及密集跳跃连接结构,并用视觉激活函数FReLU替换ReLU激活函数。残差通道注意力结构可以强化对分割任务有效的特征,以提高模型的分类能力,得到更多的细节信息。利用非对称卷积模块进行模型压缩和加速。使用FReLU激活函数提升网络提取遥感图像河流的精细空间布局。在寒旱区河流数据集上的实验结果表明,AFR-LinkNet网络相较于FCN、UNet、ResNet50、LinkNet、DeepLabv3+网络交并比分别提高了26.4、22.7、17.6、12.0、9.7个百分点,像素准确率分别提高了25.9、22.5、13.2、10.5、7.3个百分点;引入非对称卷积模块后,交并比提高了5.1个百分点,像素准确率提高了2.9个百分点,在此基础上引入残差通道注意力结构之后,交并比又提高了2.2个百分点,像素准确率提高了2.3个百分点,证明了其对河流细节识别效果更好。     

LiDAR单木分割辅助的无人机影像CNN+EL树种识别

为研究激光雷达单木分割辅助条件下无人机可见光图像树种识别应用潜力,提出联合卷积神经网络(CNN)和集成学习(EL)的树种识别方法.首先利用同期无人机激光雷达数据和可见光影像数据进行单木树冠探测并制作单木树冠影像数据集;其次引入ResNet50网络并结合引入有效通道注意力机制、替换膨胀卷积、调整卷积模块层数搭建出4个卷积...     

基于Mask R-CNN的单株柑橘树冠识别与分割

针对在复杂果园背景中难以识别分割单株果树树冠的问题,研究了基于Mask R-CNN 神经网络模型实现单株柑橘树冠识别与分割的方法。通过相机获取柑橘园图像数据,利用Mask R-CNN神经网络实现单株柑橘树冠的识别与分割,根据测试集的预测结果评估模型的性能和可适应性,并分析模型的影响因素。结果表明：参与建模的果园单株树冠识别分割准确率为97%,识别时间为0.26s,基本上可满足果园精准作业过程中的树冠识别要求;未参与建模果园的单株树冠识别分割准确率为89%,说明模型对不同品种、不同环境的果园具有一定的适应性;与SegNet模型相比,本文模型准确率、精确率和召回率均约高5个百分点,说明在非目标树冠较多的复杂果园图像中具有较好的识别分割效果。本研究可为对靶喷药、病虫害防护、长势识别与预估等果园精准作业提供重要依据。     

美国白蛾幼虫网幕图像识别算法及其视觉伺服系统研究

为更快速、更精确识别美国白蛾幼虫网幕位置,控制喷药机器人进行对靶喷药,以美国白蛾幼虫网幕为研究对象,提出一种基于色差的阈值分割方法与改进卷积神经网络(CNN)相结合的网幕图像快速识别算法并对其视觉伺服系统进行研究。对图像进行基于色差的阈值分割,初判其含有网幕的概率,将概率高于一定值的定为合格图像,将合格图像送入卷积神经网络,对图像进行不重合遍历,标出网幕轮廓框,并进一步判断是否达到最佳喷药位置,达到最佳喷药位置时系统停止运动进行喷药,当图像不合格或未达到最佳喷药位置时由程序控制执行机构按照规划好的行走路径继续运动。试验表明：网幕识别的准确率达到95%以上,图像的识别时间在200 ms以内,试验无漏喷。     

嵌入式设备的轻量化百香果检测模型

为在有限的嵌入式设备资源下达到实时检测要求,提出一种基于改进YOLO v5的百香果轻量化检测模型（MbECA-v5）。首先,使用MobileNetV3替换主干特征提取网络,利用深度可分离卷积代替传统卷积减少模型的参数量。其次,嵌入有效通道注意力网络（ECANet）关注百香果整体,引入逐点卷积连接特征提取网络和特征融合网络,提高网络对百香果图像的特征提取能力和拟合能力。最后,运用跨域与域内多轮训练相结合的迁移学习策略提高网络检测精度。试验结果表明,改进后模型的精确率和召回率为95.3%和88.1%;平均精度均值为88.3%,较改进前提高0.2个百分点。模型计算量为6.6 GFLOPs,体积仅为6.41MB,约为改进前模型的1/2,在嵌入式设备实时检测速度为10.92f/s,约为SSD、Faster RCNN、YOLO v5s模型的14倍、39倍、1.7倍。因此,基于改进YOLO v5的轻量化模型提高了检测精度和大幅降低了计算量和模型体积,在嵌入式设备上能够高效实时地对复杂果园环境中的百香果进行检测。     

基于迁移学习的温室番茄叶片水分胁迫诊断方法

为实时诊断番茄叶片水分胁迫程度,提出一种叶片水分胁迫程度的诊断方法,该诊断方法包括2部分：叶片分割和水分胁迫程度分类。采用以ResNet101为特征提取卷积网络的Mask R-CNN网络对背景遮挡的番茄叶片进行实例分割,通过迁移学习将Mask R-CNN在COCO数据集上预训练得到的权重用于番茄叶片的实例分割,保留原卷积网络的训练参数,只调整全连接层。利用卷积网络提取的特征,可将番茄叶片分割视为区分叶片与背景的一个二分类问题,以此来分割受到不同水分胁迫的番茄叶片图像。利用微调后的DenseNet169图像分类模型进行叶片水分胁迫程度分类,通过迁移学习将DenseNet169在ImageNet数据集上预训练得到的权重用于番茄叶片水分胁迫程度的分类,保持DenseNet169卷积层的参数不变,只训练全连接层,并对原DenseNet169全连接层进行了修改,将分类数量从1.000修改为3。试验共采集特征明显的无水分胁迫、中度胁迫和重度胁迫3类温室番茄叶片图像,共2000幅图像,建立数据集,并进行模型训练与测试。试验结果表明,训练后的Mask R-CNN叶片实例分割模型在测试集上对于单叶片和多叶片的马修斯相关系数平均为0.798,分割准确度平均可达到94.37%。经过DenseNet169网络训练的叶片水分胁迫程度分类模型在测试集上的分类准确率为94.68%,与 VGG-19、AlexNet这2种常用的深度学习分类模型进行对比,分类准确率分别提高了5.59、14.68个百分点,表明本文方法对温室番茄叶片水分胁迫程度实时诊断有较好的效果,可为构建智能化的水胁迫分析技术提供参考。