基于改进PSPnet的无人机农田场景语义分割

[目的]改进PSPnet语义分割模型在无人机农田场景下的性能.[方法]对PSPnet语义分割模型进行3方面改进:①通过不同维度特征级联,在强化场景解析的基础上保留更多图像细节特征.②利用深度可分离卷积模块构建轻量级语义分割模型,使其更加高效.③改进激活函数,提升模型分割效果.[结果]所建模型的平均像素准确率和平均交并比...     

基于深度学习的无人机土地覆盖图像分割方法

编制土地覆盖图需要包含精准类别划分的土地覆盖数据,传统获取方法成本高、工程量大,且效果不佳。提出一种面向无人机航拍图像的语义分割方法,用于分割不同类型的土地区域并分类,从而获取土地覆盖数据。首先,按照最新国家标准,对包含多种土地利用类型的航拍图像进行像素级标注,建立无人机高分辨率复杂土地覆盖图像数据集。然后,在语义分割模型DeepLab V3+的基础上进行改进,主要包括:将原始主干网络Xception+替换为深度残差网络ResNet+;引入联合上采样模块,增强编码器的信息传递能力;调整扩张卷积空间金字塔池化模块的扩张率,并移除该模块的全局池化连接;改进解码器,使其融合更多浅层特征。最后在本文数据集上训练和测试模型。实验结果表明,本文提出的方法在测试集上像素准确率和平均交并比分别为95. 06%和81. 22%,相比原始模型分别提升了14. 55个百分点和25. 49个百分点,并且优于常用的语义分割模型FCN-8S和PSPNet模型。该方法能够得到精度更高的土地覆盖数据,满足编制精细土地覆盖图的需要。     

基于DeepLabV3+的稻田苗期杂草语义分割方法研究

稻田杂草位置获取是靶向喷施除草剂和机械智能除草的基础,为实现自然光照环境和水田复杂背景下稻田苗期杂草的信息获取。以稻田恶性杂草野慈姑为研究对象,提出一种基于全卷积神经网络的稻田苗期杂草语义分割方法,利用DeepLabV3+对秧苗和杂草进行语义分割进而获取的杂草位置信息。首先人工田间采集稻田苗期杂草野慈姑的RGB图像,通过图像标注工具LabelMe人工标注图像中秧苗、杂草和背景的各个像素点,70%数据集用于DeepLabV3+网络模型参数的训练,30%数据集用于测试DeepLabV3+性能。然后与FCN和U-Net两种语义分割方法进行比较,所提出的DeepLabV3+语义分割方法准确率、均正比、频权交并比和F值等性能指标都最优,试验得出：DeepLabV3+模型像素准确率最高达到92.2%,高于U-Net和FCN方法的准确率92.1%和84.7%。所提出的方法能对稻田苗期杂草、秧苗和背景像素进行准确分割,满足智能除草和除草剂靶向喷施的实际应用需求。     

基于全卷积神经网络的灌区无人机正射影像渠系提取

为快速准确获取灌区渠系分布信息,科学调配区域农业水资源、提高水资源利用率,通过基于全卷积神经网络(Fully convolutional networks,FCN)的语义分割模型进行渠系轮廓提取。利用无人机采集正射影像并进行标注,以VGG-19网络为基础,通过多尺度特征融合的方式实现FCN-8s结构,使用Tensorflow深度学习框架构建FCN渠系提取模型;对数据集进行数据增强,分割后放入FCN模型中训练、测试。实验结果显示,针对不同复杂程度的测试区域,FCN模型的提取准确度、完整度、精度均高于支持向量机方法和改进霍夫变换方法,均值分别为95. 78%、92. 29%、89. 45%。结果表明,该方法能够实现灌区渠系轮廓的高精度提取,具有较好的泛化性和鲁棒性。     

基于改进DeepLabV3+的荞麦苗期无人机遥感

针对DeepLabV3+语义分割模型计算复杂度高、内存消耗大、难以在计算力有限的移动平台上部署等问题,提出一种改进的轻量化DeepLabV3+深度学习语义分割算法,用于实现无人机荞麦苗期图像的分割与识别。该算法采用RepVGG（Re-parameterization visual geometry group）与MobileViT（Mobile vision transformer）模块融合的方式建立主干网络实现特征提取;同时,在RepVGG网络结构中引入SENet（Squeeze-and-excitation networks）注意力机制,通过利用通道间的相关性,捕获更多的全局语义信息,保证荞麦分割的性能。实验结果表明,与FCN（Fully convolutional networks）、PSPNet（Pyramid scene parsing network）、DenseASPP（Dense atrous spatial pyramid pooling）、DeepLabV3、DeepLabV3+模型相比,本文提出的改进算法在较大程度上降低了模型参数规模,更适合在移动端部署,自建荞麦苗期分割数据集上的语义分割平均像素准确率（Mean pixel accuracy,mPA）和平均交并比（Mean intersection over union,mIoU）分别为97.02%和91.45%,总体参数量、浮点运算次数（Floating-point operations,FLOPs）和推理速度分别为9.01×106、8.215×1010、37.83f/s,综合表现最优。在全尺寸图像分割中,训练模型对不同飞行高度的荞麦苗期分割的mPA和mIoU均能满足要求,也具有较好的分割能力和推理速度,该算法可为后期荞麦补种、施肥养护和长势监测等提供重要技术支持,进而促进小杂粮产业智能化发展。     

水田田埂边界支持向量机检测方法

提出了基于支持向量机的水田田埂边界线的检测算法。采用支持向量机分类算法代替传统的图像分割算法,分割水田图像,提高了在不同光照条件下田埂边界检测的鲁棒性。图像预处理阶段引入超像素分割算法,大大减少了后续图像处理的计算量,并为支持向量机的模型训练提供大量的样本。选取足够数量的超像素样本,提取其颜色特征和纹理特征,构成19维的特征向量,并作为训练支持向量机模型的输入。使用训练好的支持向量机模型识别新图像中的水田田埂区域,模型评价指标F1分数达到90. 7%。采用霍夫变换提取田埂边界,在NVIDIA的Jetson TX2硬件平台上,算法总运行时间在0. 8 s以内,有效满足了水田直播机的实时性要求。     

基于卷积注意力的无人机多光谱遥感影像地膜农田识别

监测地膜覆盖农田的分布对准确评估由其导致的区域气候和生态环境变化有着重要作用,基于DeepLabv3+网络,通过学习面向地膜语义分割的通道注意力和空间注意力特征,提出一种适用于判断农田是否覆膜的改进深度语义分割模型,实现对无人机多光谱遥感影像中地膜农田的有效分割。以内蒙古自治区河套灌区西部解放闸灌区中沙壕渠灌域2018—2019年4块实验田的无人机多光谱遥感影像为研究数据,与可见光遥感影像的识别结果进行对比,同时考虑不同年份地膜农田表观的变化,设计了2组实验方案,分别用于验证模型的泛化性能和增强模型的分类精度。结果表明,改进的DeepLabv3+语义分割模型对多光谱遥感影像的识别效果比可见光高7.1个百分点。同时考虑地膜农田表观变化的深度语义分割模型具有更高的分类精度,其平均像素精度超出未考虑地膜农田表观变化时7.7个百分点,表明训练数据的多样性有助于提高地膜农田的识别精度。其次,改进的DeepLabv3+语义分割模型能够自适应学习地膜注意力,在2组实验中,分类精度均优于原始的DeepLabv3+模型,表明注意力机制能够增加深度语义分割模型的自适应性,从而提升分类精度。本文提出的方法能够从复杂的场景中精准识别地膜农田。     

基于注意力机制和边缘感知的田梗提取模型

田埂精确提取是数字化农业管理的重要前提。针对由于遮挡、斑秃等因素干扰,给基于语义分割方法提取田埂带来困难问题,提出一种基于注意力机制和边缘感知模块的U-Net网络实现田埂提取。首先,将多信息注意力引入U型分割网络的下采样中,增强相邻层之间的上下文信息,提升对田埂区域语义特征的表示能力。其次,将边缘感知分割模块应用至U-Net解码部分的每一层,在不同语义特征层提取田埂边缘信息,提高田埂区域语义分割精度。最后,联合边缘感知损失与语义分割损失构建联合损失函数,用于整体网络优化。通过对安徽省淮北市濉溪县小麦基地采集的无人机麦田数据集进行训练和模型验证,实验结果表明,本文模型语义分割像素准确率高达95.57%,平均交并比达到77.48%。     

基于深度学习的烟草垄行分割模型

基于图像金字塔的分割算法存在分割边界不明显、区域较窄的人工结构图象分割不足、不能确定具体类别的问题,若图像中包含着其他的背景信息,此种算法就不能很好地进行分割。基于卷积神经网络搭建烟草垄行的语义分割,可更好地区分背景,此垄行语义分割的卷积神经网络模型使用了宽度卷积来压缩各卷积层的可训练参数,类间平衡技术训练,并使用PReLU激活函数为宽度卷积提供非线性输出。此模型相对于Segnet模型处理测试集图像平均每幅耗时降低46.9%,像素准确率提高28.6%。     

基于卷积网络的沙漠腹地绿洲植物群落自动分类方法

为解决沙漠腹地绿洲遥感图像植物群落背景较易混淆,仅用传统的基于像元光谱信息的图像处理方法未能充分利用其图像特征信息,使得提取效果不佳的问题,针对地物类内特征复杂、类间边界模糊的特点,以连续分布的区域为研究对象,提出了一种基于深度卷积神经网络(Convolutional neural network,CNN)的高分辨率遥感影像植物群落自动分类方法。切分无人机影像获得规则块图像,利用基于CNN的VGGNet和Res Net模型分别对块图像的特征进行抽象与学习,以自动获取更加深层抽象、更具代表性的图像块深层特征,从而实现对植物群落分布区域的提取,以原图像与结果图像叠加的形式输出植物群落自动分类结果。采用了不同梯度的样本数量作为训练样本,利用文中提出的方法分析了不同梯度的训练样本数量对自动分类结果的影响。实验结果表明,训练样本数量对分类精度具有明显的影响;提高其泛化能力后,Res Net50模型与VGG19模型的建模精度从86. 00%、83. 33%分别提升到92. 56%、90. 29%; Res Net50模型分类精度为83. 53%～91. 83%,而VGG19模型分类精度为80. 97%～89. 56%,与传统的监督分类方法比较,深度卷积网络明显提高了分类精度。分类结果表明,训练样本数量不低于200时,基于CNN的Res Net50模型表现出最佳的分类结果。     

基于机器视觉与深度学习的西兰花表型快速提取方法研究

准确获取西兰花花球面积和新鲜度是确定其长势的关键步骤,本研究通过对深度残差网络ResNet进行改进得到一种新型的西兰花花球分割模型,并通过花球部位黄绿颜色占比判断其新鲜度,实现低成本高效准确地西兰花表型信息提取。主要技术流程包括：（1）基于地面自动影像获取平台拍摄西兰花花球正射影像并建立原始数据集;（2）对训练图像进行预处理并输入模型进行分割;（3）基于颜色信息用粒子群结构PSO和大津法Otsu对分割结果进一步进行阈值分割,获取其新鲜度指标。试验结果表明：本研究建立的分割模型精度优于传统深度学习模型和基于颜色空间变换和阈值分割模型,4个评价指标结构相似性指数(SSIM)、平均精度(Precision)、平均召回率(Recall)、F-度量(F-measure)结果分别为0.911、0.897、0.908和0.907,相比于传统方法提升了10%-15%,且对土壤反射率波动、冠层阴影、辐射强度变化等干扰具有一定的鲁棒性。同时,在分割结果的基础上采用PSO-Otsu法可以实现花球新鲜度快速分析,其精度超过了0.8。本研究结果实现了西兰花田间多表型参数的高通量获取,可以为作物田间长势监测研究提供重要参考。     

基于图像分割映射的农业机器人视觉去雾方法

视觉导航农业机器人在雾天作业容易受前端含雾图像的影响,严重时无法有效工作。提出了一种基于图像分割映射的农业机器人视觉去雾方法。对前端采集图像进行近景与远景区域分割,并通过亮度信息的分段映射获取大气散射函数的预测估计值;采用导向滤波对大气散射函数的估计值进行优化,进一步增强图像的边缘信息,改善大面积天空背景引起的去雾残留问题。基于实际的农业智能导航平台对实测的含雾前端图像进行了去雾分析,并同传统的去雾方法进行了综合比较,显示所提方法具有较高的去雾精度和实时性。两段视频的图像去雾综合指标分别改善了28.9%和29.1%,时间消耗分别减少了34.4%和53.9%。     

基于多阈值图像分割算法的秸秆覆盖率检测

针对目前秸秆覆盖率人工检测费时费力、准确率低、信息难以存储的问题,提出了一种基于图像分割的秸秆覆盖率检测方法。考虑到传统图像分割方法精度不高,且多阈值分割时计算量过大,将灰狼算法中的搜索机制与差分进化算法相融合,提出一种基于图像多阈值的自动分割方法（DE-GWO）,用于田间秸秆覆盖率检测。首先,对现场采集的秸秆覆盖图像进行预处理,采用自适应Tsallis熵作为目标函数,评估图像分割效率;其次,根据图像的复杂程度选取分割阈值的数量,利用DE-GWO算法对其进行多阈值图像分割;然后,分别按照灰度级别计算分割后图像比例;最后,根据拍摄高度、fov视角等参数,将图像中秸秆覆盖率与实际地理面积进行转换。实验结果表明,本文算法田间秸秆覆盖率与实际测量误差在8%以内,且相比于改进粒子群算法（PSO）和灰狼算法（GWO）,DE-GWO算法精确度更高,平均耗时为人工测量的1/1500。开发了一套依据DE-GWO算法的秸秆覆盖率检测软件系统,为后续监控系统的实时检测提供了算法基础和软件支持。     

基于Lab颜色空间的非监督GMM水稻无人机图像分割

为解决传统水稻冠层图像分割算法性能在很大程度上依赖于训练数据集的质量,且分割效果易受田间多变光照强度影响,导致水稻生产参数估计精度不高等问题,提出一种基于Lab颜色空间的非监督贝叶斯方法,用于田间水稻无人机图像分割.模型参数从每个独立、未标记的无人机图像直接学习获得,无需训练.不同图像会有不同的模型参数,该算法能够适应...     

基于U-Net网络的果园视觉导航路径识别方法

针对视觉导航系统在果园环境中面临的图像背景复杂、干扰因素多等问题,提出了一种基于U-Net网络的果园视觉导航路径识别方法。使用Labelme对采集图像中的道路信息进行标注,制作果园数据集;基于U-Net语义分割算法在数据增强的基础上对全卷积神经网络进行训练,得到道路分割模型;根据生成的道路分割掩码进行导航信息提取,生成路径拟合中点;基于样条曲线拟合原理对拟合中点进行多段三次B样条曲线拟合,完成导航路径的识别;最后进行了实验验证。结果表明,临界阈值为0.4时,语义分割模型在弱光、普通光以及强光照条件下的分割交并比分别为89.52%、86.45%、86.16%,能够平稳实现果园道路像素级分割;边缘信息提取与路径识别方法可适应不同视角下的道路掩码形状,得到较为平顺的导航路径;在不同光照和视角条件下,平均像素误差为9.5像素,平均距离误差为0.044 m,已知所在果园道路宽度约为3.1 m,平均距离误差占比为1.4%;果园履带底盘正常行驶速度一般在0～1.4 m/s之间,单幅图像平均处理时间为0.154 s。在当前果园环境和硬件配置下,本研究可为视觉导航任务提供有效参考。     

最优分割尺度支持下高分遥感影像水土资源信息分类

为提升水土资源信息分类精度,以无人机航拍获取的高分辨率影像为实验对象,提出了最优分割尺度和决策树支持下的对象级影像分类方法。首先,根据影像内部的同质性和异质性,建立了分割质量函数,通过该函数获取了最优分割尺度;然后,提出了基于光谱信息和面积信息的最优分割尺度评价模型对分割结果进行评价;最后,引入决策树规则机制,完成了水土资源信息分类,并与最大似然法分类结果进行对比。研究结果表明:所建立的分割质量函数能准确获取最优分割尺度,有效避免了人工分割带来的主观性,所提方法分类总体精度为86.78%,最大似然分类方法总体精度为77.59%,在分类精度上有较大提升。     

基于生成对抗网络与ICNet的羊骨架图像实时语义分割

研究了羊骨架图像生成技术与基于ICNet的羊骨架图像实时语义分割方法。通过DCGAN、SinGAN、BigGAN 3种生成对抗网络生成图像效果对比,优选BigGAN作为羊骨架图像生成网络,扩充了羊骨架图像数据量。在此基础上,将生成图像与原始图像建立组合数据集,引入迁移学习训练ICNet,并保存最优模型,获取该模型对羊骨架脊椎、肋部、颈部的分割精度、MIoU以及单幅图像平均处理时间,并以此作为羊骨架图像语义分割效果的评判标准。结果表明,最优模型对羊骨架3部位分割精度和MIoU分别为93.68%、96.37%、89.77%和85.85%、90.64%、75.77%,单幅图像平均处理时间为87 ms。通过模拟不同光照条件下羊骨架图像来判断ICNet的泛化能力,通过与常用的U Net、DeepLabV3、PSPNet、Fast SCNN 4种图像语义分割模型进行对比来验证ICNet综合分割能力,通过对比中分辨率下不同分支权重的网络分割精度来寻求最优权值。结果表明,ICNet与前3种模型的分割精度、MIoU相差不大,但处理时间分别缩短了72.98%、40.82%、88.86%;虽然Fast SCNN单幅图像处理时间较ICNet缩短了43.68%,但MIoU降低了4.5个百分点,且当中分辨率分支权重为0.42时,ICNet分割精度达到最高。研究表明本文方法具有较高的分割精度、良好的实时性和一定的泛化能力,综合分割能力较优。     

水田土壤承压模型的建立与试验

针对不同种类水田土壤承压模型的差异性等问题,提出一种武汉黄棕壤水田土壤承压模型的建立方法。依据黄棕壤水田土壤力学特性设计了3种面积不同的测板,基于光滑粒子流体动力学(SPH)算法构建了测板-水田分层土壤SPH动力学模型,研究了测板的贯入深度与时间、承压力之间的关系,并进行了田间试验。结果表明:测板面积S=9.95cm 2的模拟贯入土壤结果与田间试验结果高度吻合,表明该仿真方法对建立水田土壤承压模型可行,能客观反映出黄棕壤水田土壤的承压特性。     

词嵌入BERT-CRF玉米育种实体关系联合抽取方法

针对玉米育种文本数据中存在重叠三元组、实体表达方式多样等问题，提出一种嵌入词汇信息的BERT-CRF(Bidirectional encoder representations from transformers-conditional random field)玉米育种实体关系联合抽取方法。首先，分析了玉米育种语料表达特征，采用对实体边界、关系类别和实体位置信息同步标注的策略；其次，构建了嵌入词汇信息的BERT-CRF模型进行训练和预测，自建玉米育种知识词典，通过在BERT中嵌入词汇信息，融合字符特征和词汇特征，增强模型的语义能力，利用CRF模型输出全局最优标签序列，设计了实体关系三元组匹配算法(Entity and relation triple matching algorithm, ERTM),将标签进行匹配和映射来获取三元组；最后，为验证该方法的有效性，在玉米育种数据集上进行实验，结果表明，本文模型精确率、召回率和F1值分别为91.84%、95.84%、93.80%,与现有模型相比性能均有提升。说明该方法能够有效抽取玉米育种领域知识，为构建玉米育种知识图谱及其它下游任务提供数...