基于双金字塔网络的RGB-D群猪图像分割方法

为实现群养猪的视觉追踪和行为监测,针对猪舍中仔猪因拥挤堆叠等习性而导致的目标个体粘连、图像分割困难问题,提出基于双金字塔网络的RGB-D群猪图像分割方法。该方法基于实例分割Mask R-CNN框架,在特征提取网络(Res Net101)基础上改进成双金字塔特征提取网络。RGB图像和Depth图像分别提取特征后进行融合,输入区域生成网络得到预选锚(ROI)和共享特征输入Head网络,通过类别、回归和掩模3个分支,输出检测目标的位置和分类结果,实现猪舍场景下群养仔猪粘连区域的有效个体分割。网络模型训练采用2 000组图像样本,按照4∶1比例随机划分训练集和验证集。试验结果表明,双金字塔网络(Feature pyramid networks,FPN)能有效解决颜色相近、个体相似的群猪粘连问题,实现单个仔猪区域的完整分割,分割准确率达89.25%,训练GPU占有率为77.57%,与Mask R-CNN和Pig Net网络分割结果相比,分割准确率和分割速度均有较大提高。双金字塔网络模型对于多种行为状态、不同粘连程度的群猪图像中个体分割都取得了良好效果,模型泛化性和鲁棒性较好,为群养猪的个体自动追踪提供了新的途径。     

基于深度学习的群猪图像实例分割方法

群养饲喂模式下猪群有聚集在一起的习性,特别是躺卧时,当使用机器视觉跟踪监测猪只时,图像中存在猪体粘连,导致分割困难,成为实现群猪视觉追踪和监测的瓶颈。根据实例分割原理,把猪群中的猪只看作一个实例,在深度卷积神经网络基础上建立Pig Net网络,对群猪图像尤其是对粘连猪体进行实例分割,实现独立猪体的分辨和定位。Pig Net网络采用44层卷积层作为主干网络,经区域候选网络(Region proposal networks,RPN)提取感兴趣区域(ROI),并和主干网络前向传播的特征图共享给感兴趣区域对齐层(Region of interest align,ROIAlign),分支通过双线性插值计算目标空间,三分支并行输出ROI目标的类别、回归框和掩模。Mask分支采用平均二值交叉熵损失函数计算独立猪体的目标掩模损失。连续28 d采集6头9. 6 kg左右大白仔猪图像,抽取前7 d内各不同时段、不同行为模式群养猪图像2 500幅作为训练集和验证集,训练集和验证集的比例为4∶1。结果表明,Pig Net网络模型在训练集上总分割准确率达86. 15%,在验证集上准确率达85. 40%。本文算法对不同形态、粘连严重的群猪图像能够准确分割出独立的猪个体目标。将本文算法与Mask R-CNN模型及其改进模型进行对比,准确率比Mask RCNN模型高11. 40个百分点,单幅图像处理时间为2. 12 s,比Mask R-CNN模型短30 ms。     

基于Mask R-CNN的柑橘主叶脉显微图像实例分割模型

针对目前植物解剖表型的测量与分析过程自动化低，难以应对复杂解剖表型的提取和识别的问题，以柑橘主叶脉为研究对象，提出了一种基于掩膜区域卷积神经网络(Mask region convolutional neural network, Mask R-CNN)的主叶脉显微图像实例分割模型，以残差网络ResNet50和特征金字塔(Feature pyramid network, FPN)为主干特征提取网络，在掩膜(Mask)分支上添加一个新的感兴趣区域对齐层(Region of interest Align, RoI-Align),提升Mask分支的分割精度。结果表明，该网络架构能够精准地对柑橘主叶脉横切面中的髓部、木质部、韧皮部和皮层细胞进行识别分割。Mask R-CNN模型对髓部、木质部、韧皮部和皮层细胞的分割平均精确率(交并比(IoU)为0.50)分别为98.9%、89.8%、95.7%和97.2%,对4个组织区域的分割平均精确率均值(IoU为0.50)为95.4%。与未在Mask分支添加RoI-Align的Mask R-CNN相比，精度提升1.6个百分点。研究结果表明，Mask R-CN...     

基于目标检测及边缘支持的鱼类图像分割方法

对图像中的鱼类目标进行分割是提取鱼类生物学信息的关键步骤。针对现有方法对养殖条件下的鱼类图像分割精度较低的问题,提出了基于目标检测及边缘支持的鱼类图像分割方法。首先,设计了基于目标检测的完整轮廓提取方法,将具有完整轮廓的鱼类目标从图像中提取出来作为分割阶段的输入,使得整幅图像的分割问题转化为局部区域内的分割问题;然后,搭建Canny边缘支持的深度学习分割网络,对区域内的鱼类实现较高精度图像分割。实验结果表明,本文方法在以VGG-16、ResNet-50和ResNet-101作为主干网络的模型上的分割精度为81.75%、83.73%和85.66%。其中,以ResNet-101作为主干网络的模型与Mask R-CNN、U-Net、DeepLabv3相比,分割精度分别高14.24、11.36、9.45个百分点。本文方法可以为鱼类生物学信息的自动提取提供技术参考。     

适应遮挡条件下奶油生菜的实例分割方法研究

利用机器视觉技术测量生菜的表型参数对探索生菜的生长规律有着非常重要的意义,而构建生菜个体的识别及轮廓分割算法是实现表型参数精准测量的重要前提;但是,在生菜培育至采收期,俯视图下生菜个体间叶片相互重叠遮挡,对个体识别和轮廓分割造成很大的阻碍。为此,改进了Mask R-CNN神经网络模型,掩膜分支采用class-agnostic模式,以ResNeXt50联合FPN替换原有的卷积主干,实现了遮挡条件下奶油生菜的个体识别和轮廓分割。为了对改进模型的分割精度进行验证分析,采用平均精度AP75和平均检测耗时作为评价指标,与原始Mask R-CNN、DeepMask、MNC分割模型在不同程度遮挡测试集上设置对比试验。结果表明：改进模型的平均精度达到98.7%,相比原模型提高了约4%,且在重度遮挡测试集上依然能够保持良好的分割精度。研究结果可为遮挡条件下植物叶片的识别和分割提供算法参考,也可为奶油生菜的表型参数提取提供技术支持。     

基于Mask R-CNN的玉米田间杂草检测方法

针对田间复杂环境下杂草分割精度低的问题,提出了基于Mask R-CNN的杂草检测方法。该方法采用残差神经网络Res Net-101提取涵盖杂草语义、空间信息的特征图;采用区域建议网络对特征图进行杂草与背景的初步二分类、预选框回归训练,利用非极大值抑制算法筛选出感兴趣区域;采用区域特征聚集方法(Ro IAlign),取消量化操作带来的边框位置偏差,并将感兴趣区域(Ro I)特征图转换为固定尺寸的特征图;输出模块针对每个Ro I计算分类、回归、分割损失,通过训练预测候选区域的类别、位置、轮廓,实现杂草检测及轮廓分割。在玉米、杂草数据集上进行测试,当交并比(Io U)为0. 5时,本文方法均值平均精度(m AP)为0. 853,优于Sharp Mask、Deep Mask的0. 816、0. 795,本文方法的单样本耗时为280 ms,说明本文方法可快速、准确检测分割出杂草类别、位置和轮廓,优于Sharp Mask、Deep Mask实例分割算法。在复杂背景下对玉米、杂草图像进行测试,在Io U为0. 5时,本文方法 m AP为0. 785,单样本耗时为285 ms,说明本文方法可实现复杂背景下的农田作物杂草分割。在田间变量喷洒试验中,杂草识别准确率为91%,识别出杂草并准确喷雾的准确率为85%,准确喷药的杂草雾滴覆盖密度为55个/cm2,装置对每幅图像的平均处理时间为0. 98 s,满足农药变量喷洒的控制要求。     

基于改进Mask R-CNN的植物表型智能检测算法

针对高通量自动化获取的植物表型性状图像的智能检测问题,采用迁移学习和改进掩膜区域卷积神经网络(Mask R-CNN)设计植物表型智能检测分割算法。首先对残差网络进行优化,并利用特征金字塔网络(FPN)对输入图像进行特征提取;然后调整候选区域提取网络(RPN)中锚框的长宽比例和阈值,并在RoIAlign中通过双线性插值法保留了特征图的空间信息;最后改进Mask检测头,并增加特征融合机制以获得高质量的掩膜。在西瓜突变体生长情况的性状表型数据集上进行训练和检测,得到结果表明：改进后的Mask R-CNN表现出更优的检测性能,与传统Mask R-CNN相比,检测精度提高22%,掩膜准确率提高2.7%,检测时间减少42 ms,为提升农业精准化水平和推动智慧农业发展提供了技术支撑。     

基于改进Mask R-CNN的苹果园害虫识别方法

针对基础卷积神经网络识别苹果园害虫易受背景干扰及重要特征表达能力不强问题，提出一种基于改进Mask R-CNN的苹果园害虫识别方法。首先，基于Haar特征方法对多点采集得到的苹果园害虫图像进行迭代初分割，提取害虫单体图像样本，并对该样本进行多途径扩增，得到用于深度学习的扩增样本数据集。其次，对Mask R-CNN中的特征提取网络进行优化，采用嵌入注意力机制模块CBAM的ResNeXt网络作为改进模型的Backbone,增加模型对害虫空间及语义信息的提取，有效避免背景对模型性能的影响；同时引入Boundary损失函数，避免害虫掩膜边缘缺失及定位不准确问题。最后，以原始Mask R-CNN模型作为对照模型，平均精度均值作为评价指标进行试验。结果表明，改进Mask R-CNN模型平均精度均值达到96.52%,相比于原始Mask R-CNN模型，提高4.21个百分点，改进Mask R-CNN可精准有效识别苹果园害虫，为苹果园病虫害绿色防控提供技术支持。     

基于改进Mask R-CNN的水稻茎秆截面参数检测方法

针对人工测量、统计作物茎秆显微切片图像中维管束数目、面积等关键参数主观性强、费时费力、效率低的问题,提出一种基于图像处理的水稻茎秆截面参数自动检测方法。首先构建了一个基于改进Mask R-CNN网络的水稻茎秆切片图像分割模型。网络以MobilenetV2和残差特征增强及自适应空间融合的特征金字塔网络为特征提取网络,同时引入PointRend增强模块,并将网络回归损失函数优化为IoU函数,最优模型的F1值为91.21%,平均精确率为94.37%,召回率为88.25%,平均交并比为90.80%,单幅图像平均检测耗时0.50 s,实现了水稻茎秆切片图像中大、小维管束区域的定位、检测和分割;通过边缘检测、形态学处理及轮廓提取,实现茎秆截面轮廓的分割提取。本文方法可实现对水稻茎秆截面面积、截面直径,大、小维管束面积,大、小维管束数量等6个参数的自动检测,检测平均相对误差不超过4.6%,可用于水稻茎秆微观结构的高通量观测。     

基于迁移学习的温室番茄叶片水分胁迫诊断方法

为实时诊断番茄叶片水分胁迫程度,提出一种叶片水分胁迫程度的诊断方法,该诊断方法包括2部分：叶片分割和水分胁迫程度分类。采用以ResNet101为特征提取卷积网络的Mask R-CNN网络对背景遮挡的番茄叶片进行实例分割,通过迁移学习将Mask R-CNN在COCO数据集上预训练得到的权重用于番茄叶片的实例分割,保留原卷积网络的训练参数,只调整全连接层。利用卷积网络提取的特征,可将番茄叶片分割视为区分叶片与背景的一个二分类问题,以此来分割受到不同水分胁迫的番茄叶片图像。利用微调后的DenseNet169图像分类模型进行叶片水分胁迫程度分类,通过迁移学习将DenseNet169在ImageNet数据集上预训练得到的权重用于番茄叶片水分胁迫程度的分类,保持DenseNet169卷积层的参数不变,只训练全连接层,并对原DenseNet169全连接层进行了修改,将分类数量从1.000修改为3。试验共采集特征明显的无水分胁迫、中度胁迫和重度胁迫3类温室番茄叶片图像,共2000幅图像,建立数据集,并进行模型训练与测试。试验结果表明,训练后的Mask R-CNN叶片实例分割模型在测试集上对于单叶片和多叶片的马修斯相关系数平均为0.798,分割准确度平均可达到94.37%。经过DenseNet169网络训练的叶片水分胁迫程度分类模型在测试集上的分类准确率为94.68%,与 VGG-19、AlexNet这2种常用的深度学习分类模型进行对比,分类准确率分别提高了5.59、14.68个百分点,表明本文方法对温室番茄叶片水分胁迫程度实时诊断有较好的效果,可为构建智能化的水胁迫分析技术提供参考。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于空间注意力和可变形卷积的无人机田间障碍物检测

为了解决植保无人机作业时,传统田间障碍物识别方法依赖人工提取特征,计算耗时较长,难以实现在非结构化田间环境下实时作业识别的问题,提出一种优化的Mask R-CNN模型的非结构化农田障碍物实例分割方法。以ResNet-50残差网络为基础,将空间注意力(Spatial attention, SA)引入残差结构,聚焦跟踪目标的显著性表观特征并主动抑制噪声等无用特征的影响;引入可变形卷积(Deformable convolution, DCN),通过加入偏移量,增大感受野,提高模型的鲁棒性。构建包含农田典型障碍物的数据集,通过对比试验研究在ResNet残差网络结构中的不同阶段中加入空间注意力和可变形卷积时的模型性能差异。结果表明,与Mask R-CNN原型网络相比,在ResNet的阶段2、阶段3、阶段5加入空间注意力和可变形卷积后,改进Mask R-CNN的边界框(Bbox)和掩膜(Mask)的平均精度均值(mAP)分别从64.5%、56.9%提高到71.3%、62.3%。本文提出的改进Mask R-CNN可以很好地实现农田障碍物检测,可为植保无人机在非结构化农田环境下安全高效工作提供技术支撑。     

基于多种深度学习算法的田间玉米籽粒检测与计数

为快速准确获取玉米收获过程中遗失籽粒数信息,进行收割损失调节等管理,对比评估了单阶段和两阶段主流目标检测网络对田间玉米籽粒计数的性能。首先,利用RGB相机获取包含不同背景和不同光照的图像数据,并进一步生成数据集;其次,构建籽粒识别的不同目标检测网络,包括Mask R-CNN、EfficientDet-D5、YOLOv5-L、YOLOX-L,并利用所采集的420幅有效图像对构建的四种网络进行训练、验证、测试,图像数分别为200、40和180幅;最后,依据测试集图像的识别结果进行籽粒计数性能评价。试验结果表明,YOLOv5-L网络对测试集图像检测的平均精度为78.3%,模型尺寸仅为89.3 MB;籽粒计数的检测正确率、漏检率和F₁值分别为90.7%、9.3%和91.1%,处理速度为55.55 f/s,识别与计数性能均优于Mask R-CNN、EfficientDet-D5和YOLOX-L网络,并对具有不同地表遮挡程度和籽粒聚集状态的图像具有较强的鲁棒性。深度学习目标检测网络YOLOv5-L可实现实际作业中玉米收获损失籽粒的实时监测,精度高、适用性强。     

基于Mask R-CNN的单株柑橘树冠识别与分割

针对在复杂果园背景中难以识别分割单株果树树冠的问题,研究了基于Mask R-CNN 神经网络模型实现单株柑橘树冠识别与分割的方法。通过相机获取柑橘园图像数据,利用Mask R-CNN神经网络实现单株柑橘树冠的识别与分割,根据测试集的预测结果评估模型的性能和可适应性,并分析模型的影响因素。结果表明：参与建模的果园单株树冠识别分割准确率为97%,识别时间为0.26s,基本上可满足果园精准作业过程中的树冠识别要求;未参与建模果园的单株树冠识别分割准确率为89%,说明模型对不同品种、不同环境的果园具有一定的适应性;与SegNet模型相比,本文模型准确率、精确率和召回率均约高5个百分点,说明在非目标树冠较多的复杂果园图像中具有较好的识别分割效果。本研究可为对靶喷药、病虫害防护、长势识别与预估等果园精准作业提供重要依据。     

基于实例分割的白羽肉鸡体质量估测方法

针对白羽肉鸡体质量测量自动化水平低、易造成肉鸡应激的问题,提出一种结合深度学习的非接触式白羽肉鸡体质量估测方法。利用Mask R-CNN和YOLACT(You only look at coefficients) 两种实例分割算法获取白羽肉鸡位置与覆盖掩膜,并进行效果对比;采用自适应掩膜随机提取白羽肉鸡身体部分边缘点,并作为观测点进行椭圆拟合,映射白羽肉鸡背部像素投影面积;通过双变量相关性分析验证白羽肉鸡背部投影面积与体质量间的显著相关性,根据白羽肉鸡背部投影面积与背部像素投影面积的线性比例关系,按照最小二乘原则建立白羽肉鸡背部像素投影面积与体质量间的线性回归模型。试验表明,单只鸡体质量估测中以Mask R-CNN进行特征提取的体质量估测平均准确率为97.23%,以YOLACT进行特征提取的体质量估测平均准确率为97.49%,群鸡场景中体质量估测最低准确率为90.50%。