基于Mask R-CNN的柑橘主叶脉显微图像实例分割模型

针对目前植物解剖表型的测量与分析过程自动化低，难以应对复杂解剖表型的提取和识别的问题，以柑橘主叶脉为研究对象，提出了一种基于掩膜区域卷积神经网络(Mask region convolutional neural network, Mask R-CNN)的主叶脉显微图像实例分割模型，以残差网络ResNet50和特征金字塔(Feature pyramid network, FPN)为主干特征提取网络，在掩膜(Mask)分支上添加一个新的感兴趣区域对齐层(Region of interest Align, RoI-Align),提升Mask分支的分割精度。结果表明，该网络架构能够精准地对柑橘主叶脉横切面中的髓部、木质部、韧皮部和皮层细胞进行识别分割。Mask R-CNN模型对髓部、木质部、韧皮部和皮层细胞的分割平均精确率(交并比(IoU)为0.50)分别为98.9%、89.8%、95.7%和97.2%,对4个组织区域的分割平均精确率均值(IoU为0.50)为95.4%。与未在Mask分支添加RoI-Align的Mask R-CNN相比，精度提升1.6个百分点。研究结果表明，Mask R-CN...     

基于改进Mask R-CNN的苹果园害虫识别方法

针对基础卷积神经网络识别苹果园害虫易受背景干扰及重要特征表达能力不强问题，提出一种基于改进Mask R-CNN的苹果园害虫识别方法。首先，基于Haar特征方法对多点采集得到的苹果园害虫图像进行迭代初分割，提取害虫单体图像样本，并对该样本进行多途径扩增，得到用于深度学习的扩增样本数据集。其次，对Mask R-CNN中的特征提取网络进行优化，采用嵌入注意力机制模块CBAM的ResNeXt网络作为改进模型的Backbone,增加模型对害虫空间及语义信息的提取，有效避免背景对模型性能的影响；同时引入Boundary损失函数，避免害虫掩膜边缘缺失及定位不准确问题。最后，以原始Mask R-CNN模型作为对照模型，平均精度均值作为评价指标进行试验。结果表明，改进Mask R-CNN模型平均精度均值达到96.52%,相比于原始Mask R-CNN模型，提高4.21个百分点，改进Mask R-CNN可精准有效识别苹果园害虫，为苹果园病虫害绿色防控提供技术支持。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于改进Mask R-CNN的水稻茎秆杂质分割方法研究

针对目前国内联合收割机缺乏含杂率在线检测的问题,提出一种基于改进Mask R-CNN的水稻茎秆杂质分割方法。依据茎秆杂质形状位置特征,对原始Mask R-CNN中网络层进行优化;引入图像增广技术对图像样本进行扩充,解决图像训练数据匮乏问题;利用训练后模型对验证集中图像进行分割,并与原始Mask R-CNN等算法进行对比。结果表明,改进后Mask R-CNN算法的综合评价指标F1达到91.12%,优于其他模型,且分割时间可达到3.57 s,证明其可满足实时检测要求,为后续含杂率在线检测系统实现提供技术参考。     

基于形色筛选的苹果园羽化害虫粘连图像分割方法

针对苹果园害虫识别过程中的粘连问题,提出了一种基于形色筛选的害虫粘连图像分割方法。首先,采集苹果园害虫图像,聚焦于羽化害虫。害虫在羽化过程中已完成大部分生长发育,其外部形态、颜色、纹理更为稳定显著。因此,基于不同种类害虫的形色特征信息分析,来获取害虫HSV分割阈值和模板轮廓。其次,利用形状因子判定分割粘连区域,通过颜色分割法和轮廓定位分割法来实现非种间与种间粘连害虫的分割。最后,对采集的苹果园害虫图像进行了试验分析,采用基于形色筛选的分割法对单个害虫进行分割,结果表明,本文方法的平均分割率、平均分割错误率和平均分割有效率分别为101%、3.14%和96.86%,分割效果优于传统图像分割方法。此外,通过预定义的颜色阈值,本文方法实现了棉铃虫、桃蛀螟与玉米螟的精准分类,平均分类准确率分别为97.77%、96.75%与96.83%。同时,以Mask R-CNN模型作为识别模型,平均识别精度作为评价指标,分别对已用本文方法和未用本文方法分割的害虫图像进行识别试验。结果表明,已用本文方法分割的棉铃虫、桃蛀螟和玉米螟害虫图像平均识别精度分别为96.55%、94.80%与95.51%,平均识别精度分别提高16.42、16.59、16.46个百分点。这表明该方法可为果园害虫精准识别提供理论和方法基础。     

基于Mask R-CNN模型的葡萄藤关键结构分割方法

剪枝点的精确识别与定位是实现葡萄藤冬季剪枝智能化的基础,葡萄藤关键结构的分割是用于推理精确剪枝点的重要前提。针对现有分割方法受背景影响较大致使葡萄藤各关键结构损失和剪枝点识别与定位不准确的问题,提出一种基于Mask R-CNN的葡萄藤关键结构分割方法,建立葡萄藤修剪模型以及各关键结构数据集。通过主干特征提取网络和分割性能的对比试验,得出最优的Mask R-CNN模型结构并验证其拟合与泛化能力以及在不同自然背景下的分割性能。结果表明,以ResNet 101+FPN为主干特征提取网络的Mask R-CNN模型具有较好的拟合与泛化能力,相较于对照组模型准确率分别提升7.33%和8.89%,召回率分别提升9.32%和9.26%,平均精度均值分别提升12.69%和12.63%,其能够克服各类自然种植背景因素,分割目标边缘完整,葡萄藤各关键结构之间连接关系正确。     

基于Mask R-CNN的玉米田间杂草检测方法

针对田间复杂环境下杂草分割精度低的问题,提出了基于Mask R-CNN的杂草检测方法。该方法采用残差神经网络Res Net-101提取涵盖杂草语义、空间信息的特征图;采用区域建议网络对特征图进行杂草与背景的初步二分类、预选框回归训练,利用非极大值抑制算法筛选出感兴趣区域;采用区域特征聚集方法(Ro IAlign),取消量化操作带来的边框位置偏差,并将感兴趣区域(Ro I)特征图转换为固定尺寸的特征图;输出模块针对每个Ro I计算分类、回归、分割损失,通过训练预测候选区域的类别、位置、轮廓,实现杂草检测及轮廓分割。在玉米、杂草数据集上进行测试,当交并比(Io U)为0. 5时,本文方法均值平均精度(m AP)为0. 853,优于Sharp Mask、Deep Mask的0. 816、0. 795,本文方法的单样本耗时为280 ms,说明本文方法可快速、准确检测分割出杂草类别、位置和轮廓,优于Sharp Mask、Deep Mask实例分割算法。在复杂背景下对玉米、杂草图像进行测试,在Io U为0. 5时,本文方法 m AP为0. 785,单样本耗时为285 ms,说明本文方法可实现复杂背景下的农田作物杂草分割。在田间变量喷洒试验中,杂草识别准确率为91%,识别出杂草并准确喷雾的准确率为85%,准确喷药的杂草雾滴覆盖密度为55个/cm2,装置对每幅图像的平均处理时间为0. 98 s,满足农药变量喷洒的控制要求。     

基于改进Mask R-CNN的植物表型智能检测算法

针对高通量自动化获取的植物表型性状图像的智能检测问题,采用迁移学习和改进掩膜区域卷积神经网络(Mask R-CNN)设计植物表型智能检测分割算法。首先对残差网络进行优化,并利用特征金字塔网络(FPN)对输入图像进行特征提取;然后调整候选区域提取网络(RPN)中锚框的长宽比例和阈值,并在RoIAlign中通过双线性插值法保留了特征图的空间信息;最后改进Mask检测头,并增加特征融合机制以获得高质量的掩膜。在西瓜突变体生长情况的性状表型数据集上进行训练和检测,得到结果表明：改进后的Mask R-CNN表现出更优的检测性能,与传统Mask R-CNN相比,检测精度提高22%,掩膜准确率提高2.7%,检测时间减少42 ms,为提升农业精准化水平和推动智慧农业发展提供了技术支撑。     

适应遮挡条件下奶油生菜的实例分割方法研究

利用机器视觉技术测量生菜的表型参数对探索生菜的生长规律有着非常重要的意义,而构建生菜个体的识别及轮廓分割算法是实现表型参数精准测量的重要前提;但是,在生菜培育至采收期,俯视图下生菜个体间叶片相互重叠遮挡,对个体识别和轮廓分割造成很大的阻碍。为此,改进了Mask R-CNN神经网络模型,掩膜分支采用class-agnostic模式,以ResNeXt50联合FPN替换原有的卷积主干,实现了遮挡条件下奶油生菜的个体识别和轮廓分割。为了对改进模型的分割精度进行验证分析,采用平均精度AP75和平均检测耗时作为评价指标,与原始Mask R-CNN、DeepMask、MNC分割模型在不同程度遮挡测试集上设置对比试验。结果表明：改进模型的平均精度达到98.7%,相比原模型提高了约4%,且在重度遮挡测试集上依然能够保持良好的分割精度。研究结果可为遮挡条件下植物叶片的识别和分割提供算法参考,也可为奶油生菜的表型参数提取提供技术支持。     

基于深度学习的群猪图像实例分割方法

群养饲喂模式下猪群有聚集在一起的习性,特别是躺卧时,当使用机器视觉跟踪监测猪只时,图像中存在猪体粘连,导致分割困难,成为实现群猪视觉追踪和监测的瓶颈。根据实例分割原理,把猪群中的猪只看作一个实例,在深度卷积神经网络基础上建立Pig Net网络,对群猪图像尤其是对粘连猪体进行实例分割,实现独立猪体的分辨和定位。Pig Net网络采用44层卷积层作为主干网络,经区域候选网络(Region proposal networks,RPN)提取感兴趣区域(ROI),并和主干网络前向传播的特征图共享给感兴趣区域对齐层(Region of interest align,ROIAlign),分支通过双线性插值计算目标空间,三分支并行输出ROI目标的类别、回归框和掩模。Mask分支采用平均二值交叉熵损失函数计算独立猪体的目标掩模损失。连续28 d采集6头9. 6 kg左右大白仔猪图像,抽取前7 d内各不同时段、不同行为模式群养猪图像2 500幅作为训练集和验证集,训练集和验证集的比例为4∶1。结果表明,Pig Net网络模型在训练集上总分割准确率达86. 15%,在验证集上准确率达85. 40%。本文算法对不同形态、粘连严重的群猪图像能够准确分割出独立的猪个体目标。将本文算法与Mask R-CNN模型及其改进模型进行对比,准确率比Mask RCNN模型高11. 40个百分点,单幅图像处理时间为2. 12 s,比Mask R-CNN模型短30 ms。     

果园机器人视觉导航行间位姿估计与果树目标定位方法

针对单目视觉导航中位姿信息不完整和果树定位精度低的问题,提出基于实例分割神经网络的偏航角、横向偏移、果树位置计算方法。首先,基于Mask R-CNN模型识别并分割道路与树干;其次,寻找道路掩码凸包并进行霍夫变换,由凸包中的边界方程计算消失点坐标;最后,根据建立的位姿-道路成像几何模型,计算偏航角、横向偏移与果树相对位置。实验结果表明：改进Mask R-CNN模型的边框回归平均精确度为0.564,分割平均精确度为0.559,平均推理时间为110 ms。基于本文方法的偏航角估计误差为2.91%、横向偏移误差为4.82%,果树横向定位误差为3.80%,纵向误差为2.65%。该方法能在不同位姿稳定地提取道路与果树掩码、计算消失点坐标与边界方程,较准确地估计偏航角、横向位移和果树相对位置,为果园环境下的视觉自主导航提供有效参考。     

LiDAR单木分割辅助的无人机影像CNN+EL树种识别

为研究激光雷达单木分割辅助条件下无人机可见光图像树种识别应用潜力,提出联合卷积神经网络(CNN)和集成学习(EL)的树种识别方法.首先利用同期无人机激光雷达数据和可见光影像数据进行单木树冠探测并制作单木树冠影像数据集;其次引入ResNet50网络并结合引入有效通道注意力机制、替换膨胀卷积、调整卷积模块层数搭建出4个卷积...     

基于polyphyletic损失函数的荔枝花检测方法

针对密集分布的荔枝花遮挡严重导致检测困难,现有研究方法忽略了非极大抑制过程中密集建议框之间的相互作用的问题,为提升检测精度、降低漏检率,提出了一种基于polyphyletic损失函数的检测方法。该方法在损失函数中包含一个聚合损失项,以迫使建议框接近并紧凑定位相应目标,同时增加专门为密集作物场景设计的边界框排斥损失,使预测框远离周围对象,提高密集荔枝花检测鲁棒性。与Faster R-CNN、Focus Loss、AdaptiveNMS和Mask R-CNN进行对比,实验表明,该方法在标准苹果花数据集上识别精度比其他方法高2个百分点,验证了该方法检测的通用性,同时,该方法在自建荔枝花数据集的平均精度均值达到87.94%,F1值为87.07%,缺失率为13.29%,相比Faster R-CNN、Focus Loss、AdaptiveNMS和Mask R-CNN分别提高20.09、14.10、8.35、4.86个百分点,具有较高检测性能。因此,本文提出的方法能够高效地对密集荔枝花进行检测,为复杂场景下的密集作物检测提供参考。     

基于迁移学习和Mask R-CNN的稻飞虱图像分类方法

针对当前稻飞虱图像识别研究中自动化程度较低、识别精度不高的问题,提出了一种基于迁移学习和Mask R-CNN的稻飞虱图像分类方法。首先,根据稻飞虱的生物特性,采用本团队自主研发的野外昆虫图像采集装置,自动获取稻田稻飞虱及其他昆虫图像;采用VIA为数据集制作标签,将数据集分为稻飞虱和非稻飞虱两类,并通过迁移学习在Res Net50框架上训练数据;最后,基于Mask R-CNN分别对稻飞虱、非稻飞虱、存在干扰以及存在黏连和重合的昆虫图像进行分类实验,并与传统图像分类算法(SVM、BP神经网络)和Faster R-CNN算法进行对比。实验结果表明,在相同样本条件下,基于迁移学习和Mask R-CNN的稻飞虱图像分类算法能够快速、有效识别稻飞虱与非稻飞虱,平均识别精度达到0. 923,本研究可为稻飞虱的防治预警提供信息支持。     

基于注意力机制和可变形卷积的鸡只图像实例分割提取

为提高鸡只个体轮廓分割提取的精度和准确度,实现基于机器视觉技术的鸡只行为、健康、福利状态监测等精准畜牧业管理,保证相关监测技术及决策的可靠性,针对叠层笼养环境下肉鸡图像的实例分割和轮廓提取问题,提出一种优化的基于Mask R-CNN框架的实例分割方法,构建了一种鸡只图像分割和轮廓提取网络,对鸡群图像进行分割,从而实现鸡只个体轮廓的提取。该网络以注意力机制、可变形卷积的41层深度残差网络（ResNet）和特征金字塔网络（Feature pyramid networks, FPN）相融合为主干网络,提取图像特征,并经区域生成网络（Region proposal networks, RPN）提取感兴趣区域（ROI）,最后通过头部网络完成鸡只目标的分类、分割和边框回归。鸡只图像分割试验表明,与Mask R-CNN网络相比,优化后网络模型精确率和精度均值分别从78.23%、84.48%提高到88.60%、90.37%,模型召回率为77.48%,可以实现鸡只轮廓的像素级分割。本研究可为鸡只福利状态和鸡只健康状况的实时监测提供技术支撑。     

基于语义分割模型和遥感的柑橘园空间信息提取

为应用高分辨率遥感影像和卷积神经网络模型快速提取柑橘园空间信息,选择四川省柑橘重点产区蒲江县为研究区,以高分辨率Google earth图像为数据源,构建3类不同树龄的柑橘园样本数据集,训练U-net和DeepLabv3+语义分割模型,提取柑橘园空间信息。通过验证,具有不同神经网络结构的U-net和DeepLabv3+模型提取柑橘园信息总体精度分别为88.30%和86.79%,Kappa系数为0.75和0.72,二者精度相当;通过分析小地块的果园遥感识别精度,测试区最小识别图斑面积约为120 m2,大于该面积的果园遥感面积平均精度在85%以上。该研究可为经营者、农业部门使用高分辨率遥感影像和开源的深度学习分类工具快速获取果园空间信息提供参考。