基于语义分割的非结构化田间道路场景识别

环境信息感知是智能农业装备系统自主导航作业的关键技术之一。农业田间道路复杂多变,快速准确地识别可通行区域,辨析障碍物类别,可为农业装备系统高效安全地进行路径规划和决策控制提供依据。该研究以非结构化农业田间道路场景为研究对象,根据环境对象动、静态属性进行类别划分,提出一种基于通道注意力结合多尺度特征融合的轻量化语义分割模型。首先采用Mobilenet V2轻量卷积神经网络提取图像特征,将混合扩张卷积融入特征提取网络最后2个阶段,在保证特征图分辨率的基础上增加感受野并保持信息的连续性与完整性;然后引入通道注意力模块对特征提取网络各阶段特征通道依据重要程度重新标定;最后通过空间金字塔池化模块将多尺度池化特征进行融合,获取更加有效的全局场景上下文信息,增强对复杂道路场景识别的准确性。语义分割试验表明,不同道路环境下本文模型可以对场景对象进行有效识别解析,像素准确率和平均像素准确率分别为94.85%、90.38%,具有准确率高、鲁棒性强的特点。基于相同测试集将本文模型与FCN-8S、SegNet、DeeplabV3+、BiseNet模型进行对比试验,本文模型的平均区域重合度为85.51%,检测速度达到8.19帧/s,参数数量为,相比于其他模型具有准确性高、推理速度快、参数量小等优点,能够较好地实现精度与速度的均衡。研究成果可为智能农业装备在非结构化道路环境下安全可靠运行提供技术参考。     

基于深度卷积神经网络的田间麦穗密度估计及计数

小麦的最终产量可由单位面积的小麦麦穗数侧面反映,为了快速准确统计小麦麦穗数,该研究给出一种在单幅图像上利用深度卷积神经网络估计田间麦穗密度图并进行麦穗计数的方法。首先对采集的田间小麦图像进行直方图均衡化及阈值分割预处理,以减少图像中光照及一些复杂背景对计数的影响;然后根据灌浆期田间小麦图像麦穗密集的特点,引入拥挤场景识别网络（Congested Scene Recognition Network,CSRNet）构建麦穗密度图估计模型,并采用迁移学习方法,利用小麦图像公开数据集对模型进行预训练,再用所采集的小麦图像数据集进行模型参数调整和优化;利用得到的模型生成单幅小麦图像的麦穗密度图,根据密度图中所有密度值的总和对图像进行麦穗计数。最后根据对单幅麦穗图像的试验数据,构建田间麦穗计数函数模型,实现田间小麦麦穗数估计。通过对所采集的安农170、苏麦188、乐麦608和宁麦24这4个品种共296幅小麦图像进行试验,平均绝对误差（Mean Absolute Error,MAE）和均方根误差（Root Mean Squared Error,RMSE）分别为16.44和17.89,4个品种小麦的麦穗计数值与真实值的决定系数R2均在0.9左右,表明该方法对单幅图像小麦麦穗计数精度较高。此外,通过对田间小麦麦穗数进行估计试验,结果表明,随面积的增大麦穗估计的误差越小,研究结果可以为小麦的产量自动估计提供参考。     

田间道路改进UNet分割方法

为了保证自动驾驶农机的安全行驶,需要对农田间道路进行高精度识别.该研究以北京市大兴区榆垡镇为研究地点,构建了农田间道路图像数据集,使用开源标注工具Labelme软件进行图像标注,以UNet为基本网络结构,针对分割过程中存在的道路边缘和远处道路分割效果较差等现象,提出了3个改进方向:在编码器网络中添加残差连接,增加网络复...     

基于多尺度串联空洞卷积的轻量化UNet香蕉图像分割

针对香蕉果串识别系统中传统的UNet网络存在实时性差、参数量多、下采样后丢失空间信息等问题,该研究提出基于UNet模型的轻量化分割网络,构造一个轻量级的主干特征提取模块,在降低模型参数量和计算量的同时增强网络提取特征的能力,使用膨胀率为[2,1,2]锯齿波形的多尺度串联空洞卷积组合在增大感受野的同时保持对细节的敏感度。该研究算法在自建香蕉果串数据集上的试验结果表明,网络参数量为0.45 M时,香蕉果串识别分割速度可达41.0帧/s,平均像素分类准确率为97.32%、交并比为92.57%。相比于其他模型具有准确率高、参数量小等优点,能够较好地实现精度和速度的均衡。该算法对自然种植环境下的香蕉果串具有良好的识别效果,可为智能化香蕉采摘等应用提供视觉识别技术支持。     

空洞卷积结合全局池化的卷积神经网络识别作物幼苗与杂草

针对传统Alex Net模型参数大、特征尺度单一的问题,该文提出一种空洞卷积与全局池化相结合的多尺度特征融合卷积神经网络识别模型。通过对初始卷积层的卷积核进行膨胀,以增大其感受野而不改变参数计算量,并采用全局池化代替传统的全连接层来减少模型的参数。通过设置不同膨胀系数的初始卷积层卷积核与全局池化层类型,以及设置不同Batch Size,得到8种改进模型,用于训练识别共12种农作物幼苗与杂草,并从建立的模型中选出最优模型。改进后的最优模型与传统Alex Net模型相比,仅经过4次训练迭代,就能达到90%以上的识别准确率,平均测试识别准确率达到98.80%,分类成功指数达到96.84%,模型内存需求减少为4.20 MB。实际田间预测野芥与雀麦幼苗的准确率都能达到75%左右,说明该文最优模型对正常情况下的幼苗识别性能较好,但对复杂黑暗背景下的甜菜幼苗准确率为60%,对恶劣背景下的识别性能还有待提升。由于模型使用了更宽的网络结构,增加了特征图的多尺度融合,保持对输入空间变换的不变性,故对正常情况下不同作物幼苗与杂草的识别能力较强。该文改进模型能达到较高的平均识别准确率及分类成功率,可为后续深入探索复杂田间背景下的杂草识别以及杂草与幼苗识别装置的研制打下基础。     

基于卷积神经网络的堆肥腐熟度预测

【目的】目前堆肥腐熟度主要采用复杂的化学、生物学方法进行判断,操作繁琐且效率低。卷积神经网络 (convolutional neural network,CNN) 模拟人类视觉,既可保留堆肥图像的颜色信息,也提取了轮廓、线条、粒度等更加具有代表性的特征,从而避免了因光照条件不同对堆肥腐熟度预测识别效果的影响。本文提出了通过堆肥图像判断堆肥腐熟度的方法,构建基于卷积神经网络的堆肥腐熟度预测模型,并验证了该模型进行堆肥腐熟度判断的准确度。【方法】供试堆肥样本采集自江苏、山东、浙江三省,堆肥原料分别为秸秆、尾菜和畜禽粪便,堆肥周期依次为50 d、45 d和60 d。在厂棚内的堆肥槽中,用海康威视摄像头 (型号为C3W,焦段为广角,焦距2.8 mm,清晰度1080 p,夜间自动补光,摄像头距堆肥表面约1 m) 拍摄不同腐熟时期的堆肥图像,图像格式为JPEG。分别取三种不同原料的堆肥图像样本构成三组图像数据集,将三种原料的图像按照尾菜∶秸秆∶畜禽粪便原料1∶1∶1构成第四组图像数据集。每组数据集中,80%的图像数据用于训练基于卷积神经网络模型,并建立预测模型参数。剩余20%的图像用于测试,验证模型的腐熟度预测效果。【结果】搭建的堆肥腐熟度预测模型由输入层、3层卷积层、3层池化层、2层全连接层和输出层构成。构建的腐熟度预测模型在秸秆、尾菜、畜禽粪便及三者堆肥混合图像数据集上的腐熟度预测平均准确率分别为98.7%、98.7%、98.8%和98.2%。与几种经典高效的图像特征提取、分类方法相比,较每个数据集上最优经典算法的平均准确率提升了3～14个百分点。通过CNN方法判断堆肥腐熟度,纹理特征比颜色特征更加有效。【结论】采用卷积神经网络的堆肥腐熟度预测模型能够提取堆肥图像外观特征,实现在可见光条件下直接通过堆肥图像准确、快速地识别堆肥腐熟度,可为堆肥企业生产实践提供指导。     

基于改进DenseNet的田间杂草识别

精确、快速地获取作物和杂草的类别信息是实现自动化除草作业的重要前提。为解决复杂环境下农作物田间杂草种类的高效准确识别问题,该研究提出一种基于改进DenseNet的杂草识别模型。首先,在DenseNet-121网络的基础上,通过在每个卷积层后引入ECA（Efficient Channel Attention）注意力机制,增加重要特征的权重,强化杂草特征并抑制背景特征;其次,通过DropBlock正则化随机隐藏杂草图像部分特征块,以提升模型的泛化能力,增强模型识别不同类型杂草的适应性;最后,以自然环境下玉米幼苗和6类伴生杂草作为样本,在相同试验条件下与VGG-16、ResNet-50和未改进的DenseNet-121模型进行对比试验。结果表明,改进的DenseNet模型性能最优,模型大小为26.55 MB,单张图像耗时0.23 s,平均识别准确率达到98.63%,较改进前模型的平均识别准确率提高了2.09%,且综合性能显著高于VGG-16、ResNet-50模型;同时,通过采用CAM（Class Activation Mapping）可视化热度图方法分析,得出改进前后模型的类别判断概率分别为0.68和0.98,本文模型明显高于未改进模型,进一步验证了改进模型的有效性。该模型能够很好地解决复杂环境下农作物和杂草的种类精准识别问题,为智能除草机器人开发奠定了坚实的技术基础。     

丘陵山区田间道路自主行驶转运车及其视觉导航系统研制

自然条件的限制使得丘陵山区农产品和物资的田间转运难以实现高安全性的机械化作业。为此,该文研制了一种在丘陵山区田间道路上自主行驶的转运车及其视觉导航系统。该系统采用RTK-GNSS(real-timekinematic-global navigationsatellitesystem,实时动态-全球卫星导航系统)进行路网信息采集、实时定位和路径规划,利用机器视觉进行田间道路识别并提取路径跟踪线;田间道路非路口区域由机器视觉系统进行导航,路口区域采用RTK-GNSS实时定位进行导航。全局路径规划中对A*算法估价函数进行改进,将路口节点处的道路曲率及道路起伏信息引入代价函数。图像处理中强化道路上的阴影处理和信息融合,实现道路与背景的准确分割;然后将道路区域分块求取形心点,拟合后生成道路的虚拟中线作为局部路径的导航线。路径规划仿真表明,改进的A*算法能融合丘陵山地道路起伏变化的特征,规划的路径更合理。转运车自主行驶测试表明,在直线路径、多曲率复杂路径以及地形起伏路径3种工况下,自主行驶轨迹与实际道路中线的平均偏差分别为0.031、0.069和0.092 m,最大偏差分别为0.133、0.195和0.212 m;转运车沿道路中线自主行驶的平均相对误差分别为5.16%、11.5%和15.3%,满足田间道路转运车自主行驶的安全要求。     

基于移位窗口Transformer网络的玉米田间场景下杂草识别

针对实际复杂田间场景中作物与杂草识别准确性与实时性差,易受交叠遮挡影响,像素级数据标注难以大量获取等问题,该研究提出基于移位窗口Transformer网络（Shifted Window Transformer,Swin Transformer）的高效识别方法,在实现作物语义分割的基础上快速分割杂草。首先建立玉米语义分割模型,引入Swin Transformer主干并采用统一感知解析网络作为其高效语义分割框架;改进Swin Transformer主干调整网络参数,生成4种改进模型,通过精度与速度的综合对比分析确定最佳模型结构;基于玉米形态分割,建立改进的图像形态学处理组合算法,实时识别并分割全部杂草区域。测试结果表明,该研究4种改进模型中,Swin-Tiny-UN达到最佳精度-速度平衡,平均交并比为94.83%、平均像素准确率为97.18%,推理速度为18.94帧/s。对于模拟实际应用的视频数据,平均正确检测率为95.04%,平均每帧检测时间为5.51′10-2 s。该方法有效实现了玉米与杂草的实时准确识别与精细分割,可为智能除草装备的研发提供理论参考。     

基于卷积神经网络的温室黄瓜病害识别系统

基于图像处理和深度学习技术,该研究构建了一个基于卷积神经网络的温室黄瓜病害识别系统。针对温室现场采集的黄瓜病害图像中含有较多光照不均匀和复杂背景等噪声的情况,采用了一种复合颜色特征(combinations of color features,CCF)及其检测方法,通过将该颜色特征与传统区域生长算法结合,实现了温室黄瓜病斑图像的准确分割。基于温室黄瓜病斑图像,构建了温室黄瓜病害识别分类器的输入数据集,并采用数据增强方法将输入数据集的数据量扩充了12倍。基于扩充后的数据集,构建了基于卷积神经网络的病害识别分类器并利用梯度下降算法进行模型训练、验证与测试。系统试验结果表明,针对含有光照不均匀和复杂背景等噪声的黄瓜病害图像,该系统能够快速、准确的实现温室黄瓜病斑图像分割,分割准确率为97.29%;基于分割后的温室黄瓜病斑图像,该系统能够实现准确的病害识别,识别准确率为95.7%,其中,霜霉病识别准确率为93.1%,白粉病识别准确率为98.4%。     

基于颜色特征的绿色作物图像分割算法

绿色作物的识别是农业机械视觉系统的重要研究内容之一,该文采用RGB颜色系统,基于统计分析提出了一种绿色作物图像分割方法。从简单物体光照颜色模型方面,分析了RGB颜色空间中作物绿色“恒量”（Gvalue>Rvalue and Gvalue>Bvalue）的存在性,构建了作物图像分割相对错误率评估模型。并与传统颜色索引方法Excess Green (ExG)+auto-threshold进行了对比分析。试验结果表明,在正常光照条件下：1）采用的算法对田间不同作物-土壤组图像分割的相对错误率均有显著影响;其中,相对ExG+auto-threshold算法,采用RGB算法的结果图像中大多能保留油菜、大豆和甘蔗的形态学特征;2）采用的算法、光照变化以及算法与光照变化的交互作用均对室外美人蕉图像分割的相对错误率有显著影响;其中,相对ExG+auto-threshold算法,采用RGB算法的结果图像中大多能去除背景噪声。单因子方差分析进一步表明,光照变化对采用ExG+auto-threshold算法分割图像的阈值有显著影响。该文提出的RGB算法相对传统的ExG+auto-threshold绿色索引,对于早期生长的绿色作物是一种有效、简单的图像分割方法,对作物-土壤、光照变化不敏感。     

基于全卷积网络的哺乳母猪图像分割

猪舍场景下,光照变化、母猪体表颜色不均及与环境颜色对比度不大、母猪与仔猪的粘连等,均给目标分割带来很大的困难。该文提出了基于全卷积网络(FCN,fully convolutional networks)的哺乳母猪图像分割算法。以VGG16为基础网络,采用融合深层抽象特征与浅层细节特征并将融合的特征图上采样8倍的跳跃式结构,设计哺乳母猪分割的FCN。利用Caffe深度学习框架,以7栏伴有不同日龄仔猪的3811幅哺乳母猪训练样本进行母猪分割FCN训练,在另外21栏的523幅哺乳母猪测试集上的分割结果表明:该算法可有效避免光线变化、母猪颜色不均、小猪遮挡与粘连等影响,实现完整的哺乳母猪区域分割;分割的平均准确率达到99.28%,平均区域重合度达到95.16%,平均速度达到0.22 s/幅。与深度卷积网络的SDS(simultaneous detection and segmentation)及传统的基于图论的图像分割、基于水平集的图像分割方法做了对比试验,该文分割方法平均区域重合度分别比这3种方法高出9.99、31.96和26.44个百分点,有较好的泛化性和鲁棒性,实现了猪舍场景下哺乳母猪准确、快速分割,可为猪只图像分割提供了技术参考。     

基于改进VGG-19卷积神经网络的冰鲜鲳鱼新鲜度评估方法

保障冰鲜水产品的质量安全是提升水产行业供求效益的关键环节之一。传统的水产品新鲜度检测方法存在破坏样本、操作复杂、检测效率低等问题,冷链储运的发展急需一种快速、准确的鱼肉新鲜度检测技术。该研究以冰鲜鲳鱼为研究对象,提出基于计算机视觉的鲳鱼新鲜度评估方法,为鱼肉冷链储运系统智能化发展提供技术支持。首先,建立冰鲜鲳鱼新鲜度等级图像数据集。其次,针对数据集规模小的问题,结合迁移学习方法训练卷积神经网络CNN（Convolutional Neural Network）提高模型的泛化能力,并选择试验效果较优的VGG-19（Visual Geometry Group 19）为分类算法主模型。最后,针对VGG-19分类网络结构复杂的问题,优化全连接层数量及结构,该优化模型的鲳鱼新鲜度识别准确率可达99.79%,与优化全连接层前相比准确率提升了1.05个百分点,全连接层参数量降低了97%,占空间降低了443.9 MB,时间效率、空间效率也均有提升。此外,为进一步说明模型对鲳鱼新鲜度等级的判定依据,该研究利用类激活映射方法对鲳鱼新鲜度分级结果进行可视化,试验表明鲳鱼腹部特征是对新鲜度分级最有效的信息,研究结果为构建基于深度卷积神经网络的鱼肉新鲜度分级模型提供参考。     

基于改进YOLOv4-Tiny的蓝莓成熟度识别方法

为实现自然环境下蓝莓果实成熟度的精确快速识别,该研究对YOLOv4-Tiny网络结构进行改进,提出一种含有注意力模块的目标检测网络（I-YOLOv4-Tiny）。该检测网络采用CSPDarknet53-Tiny网络模型作为主干网络,将卷积注意力模块（Convolution Block Attention Module,CBAM）加入到YOLOv4-Tiny网络结构的特征金字塔（Feature Pyramid Network,FPN）中,通过对每个通道的特征进行权重分配来学习不同通道间特征的相关性,加强网络结构深层信息的传递,从而降低复杂背景对目标识别的干扰,且该检测网络的网络层数较少,占用内存低,以此提升蓝莓果实检测的精度与速度。对该研究识别方法进行性能评估与对比试验的结果表明,经过训练的I-YOLOv4-Tiny目标检测网络在验证集下的平均精度达到97.30%,能有效地利用自然环境中的彩色图像识别蓝莓果实并检测果实成熟度。对比YOLOv4-Tiny、YOLOv4、SSD-MobileNet、Faster R-CNN目标检测网络,该研究在遮挡与光照不均等复杂场景中,平均精度能达到96.24%。平均检测时间为5.723 ms,可以同时满足蓝莓果实识别精度与速度的需求。I-YOLOv4-Tiny网络结构占用内存仅为24.20 M,为采摘机器人与早期产量预估提供快速精准的目标识别指导。     

自然场景下基于混合颜色空间的成熟期苹果识别方法

在自然场景下,利用果实自身颜色特性进行图像识别对于提高识别效率和实时性具有重要作用。该文采用1.375作为R/B的分割阈值,对80幅成熟期苹果图像进行识别,其识出率、识别成功率、误识率和漏识率分别为98.3%、86.1%、12.4%、13.9%;在此基础上,加入0.45作为V的分割阈值,其识出率、识别成功率、误识率和漏识率分别为90.3%、84.9%、6.0%、15.1%,由此可见,基于R/B值和V值的混合颜色空间识别方法,在小幅降低识别成功率的情况下大幅降低误识率。通过进行顺光弱光照条件、顺光中光照条件、顺光高光照条件、逆光弱光照条件、逆光中光照条件、逆光高光照条件下的识别测试,结果表明顺光中等光照条件下的识出率和识别成功率最高,分别为91.7%和87.7%,漏识率最低为12.3%;不同光照条件下的识别成功率存在差异,但不明显。     

基于深度全卷积神经网络的大田稻穗分割

稻穗的准确分割是获取水稻穗部性状、实现水稻表型自动化测量的关键。该研究应用水稻图像数据集及数据增广技术,离线训练了用于稻穗分割的3个分别基于Seg Net,Deep LAB和PSPNet的全卷积神经网络。综合考虑分割性能和计算速度,优选了基于Seg Net的网络,称为Panicle Net。在线分割阶段先将原始图像划分为子图,由Panicle Net分割子图,再拼接子图得到分割结果。比较该算法及现有作物果穗分割算法Panicle-SEG、HSeg、i2滞后阈值法及joint Seg,该算法对与训练样本同年度拍摄样本Qseg值0.76、F值0.86,不同年度样本Qseg值0.67、F值0.80,远优于次优的Panicle-SEG算法,且计算速度约为Panicle-SEG算法的35倍。该算法能克服稻穗边缘严重不规则、不同品种及生育期稻穗外观差异大、穂叶颜色混叠和复杂大田环境中光照、遮挡等因素的干扰,提升稻穗分割准确度及效率,进而服务于水稻育种栽培。