基于Mask R-CNN的柑橘主叶脉显微图像实例分割模型

针对目前植物解剖表型的测量与分析过程自动化低，难以应对复杂解剖表型的提取和识别的问题，以柑橘主叶脉为研究对象，提出了一种基于掩膜区域卷积神经网络(Mask region convolutional neural network, Mask R-CNN)的主叶脉显微图像实例分割模型，以残差网络ResNet50和特征金字塔(Feature pyramid network, FPN)为主干特征提取网络，在掩膜(Mask)分支上添加一个新的感兴趣区域对齐层(Region of interest Align, RoI-Align),提升Mask分支的分割精度。结果表明，该网络架构能够精准地对柑橘主叶脉横切面中的髓部、木质部、韧皮部和皮层细胞进行识别分割。Mask R-CNN模型对髓部、木质部、韧皮部和皮层细胞的分割平均精确率(交并比(IoU)为0.50)分别为98.9%、89.8%、95.7%和97.2%,对4个组织区域的分割平均精确率均值(IoU为0.50)为95.4%。与未在Mask分支添加RoI-Align的Mask R-CNN相比，精度提升1.6个百分点。研究结果表明，Mask R-CN...     

基于形色筛选的苹果园羽化害虫粘连图像分割方法

针对苹果园害虫识别过程中的粘连问题,提出了一种基于形色筛选的害虫粘连图像分割方法。首先,采集苹果园害虫图像,聚焦于羽化害虫。害虫在羽化过程中已完成大部分生长发育,其外部形态、颜色、纹理更为稳定显著。因此,基于不同种类害虫的形色特征信息分析,来获取害虫HSV分割阈值和模板轮廓。其次,利用形状因子判定分割粘连区域,通过颜色分割法和轮廓定位分割法来实现非种间与种间粘连害虫的分割。最后,对采集的苹果园害虫图像进行了试验分析,采用基于形色筛选的分割法对单个害虫进行分割,结果表明,本文方法的平均分割率、平均分割错误率和平均分割有效率分别为101%、3.14%和96.86%,分割效果优于传统图像分割方法。此外,通过预定义的颜色阈值,本文方法实现了棉铃虫、桃蛀螟与玉米螟的精准分类,平均分类准确率分别为97.77%、96.75%与96.83%。同时,以Mask R-CNN模型作为识别模型,平均识别精度作为评价指标,分别对已用本文方法和未用本文方法分割的害虫图像进行识别试验。结果表明,已用本文方法分割的棉铃虫、桃蛀螟和玉米螟害虫图像平均识别精度分别为96.55%、94.80%与95.51%,平均识别精度分别提高16.42、16.59、16.46个百分点。这表明该方法可为果园害虫精准识别提供理论和方法基础。     

基于改进Mask R-CNN的水稻茎秆杂质分割方法研究

针对目前国内联合收割机缺乏含杂率在线检测的问题,提出一种基于改进Mask R-CNN的水稻茎秆杂质分割方法。依据茎秆杂质形状位置特征,对原始Mask R-CNN中网络层进行优化;引入图像增广技术对图像样本进行扩充,解决图像训练数据匮乏问题;利用训练后模型对验证集中图像进行分割,并与原始Mask R-CNN等算法进行对比。结果表明,改进后Mask R-CNN算法的综合评价指标F1达到91.12%,优于其他模型,且分割时间可达到3.57 s,证明其可满足实时检测要求,为后续含杂率在线检测系统实现提供技术参考。     

基于改进Mask R-CNN的笼养死鸭识别方法

针对规模化笼养肉鸭舍内死鸭识别采用人工作业方式时,存在作业效率低、劳动强度大、养殖成本高等问题,以层叠式笼养肉鸭为研究对象,提出了一种基于深度学习的笼养死鸭识别方法。为了采集数据,首先面向立体层叠式养殖环境设计了一款适用于肉鸭舍的自主巡检装备。针对笼养肉鸭舍铁丝网遮挡严重的问题,基于机器视觉对笼网进行修复,基于OpenCV对图像进行增强处理。构建了一种基于Mask R-CNN的死鸭识别模型,采用Swin Transformer对模型进行优化,解决了Mask R-CNN网络缺乏整合全局信息能力的问题。对比分析了SOLO v2、Mask R-CNN和Mask R-CNN+Swin Transformer模型识别笼内死鸭准确率。实验结果表明,在平均精度均值为90%的条件下,Mask R-CNN+Swin Transformer模型对笼内死鸭总体识别准确率可达95.8%,在自主巡检装备上的检测效果优于其他主流的目标检测算法。     

基于改进Mask R-CNN的植物表型智能检测算法

针对高通量自动化获取的植物表型性状图像的智能检测问题,采用迁移学习和改进掩膜区域卷积神经网络(Mask R-CNN)设计植物表型智能检测分割算法。首先对残差网络进行优化,并利用特征金字塔网络(FPN)对输入图像进行特征提取;然后调整候选区域提取网络(RPN)中锚框的长宽比例和阈值,并在RoIAlign中通过双线性插值法保留了特征图的空间信息;最后改进Mask检测头,并增加特征融合机制以获得高质量的掩膜。在西瓜突变体生长情况的性状表型数据集上进行训练和检测,得到结果表明：改进后的Mask R-CNN表现出更优的检测性能,与传统Mask R-CNN相比,检测精度提高22%,掩膜准确率提高2.7%,检测时间减少42 ms,为提升农业精准化水平和推动智慧农业发展提供了技术支撑。     

基于空间注意力和可变形卷积的无人机田间障碍物检测

为了解决植保无人机作业时,传统田间障碍物识别方法依赖人工提取特征,计算耗时较长,难以实现在非结构化田间环境下实时作业识别的问题,提出一种优化的Mask R-CNN模型的非结构化农田障碍物实例分割方法。以ResNet-50残差网络为基础,将空间注意力(Spatial attention, SA)引入残差结构,聚焦跟踪目标的显著性表观特征并主动抑制噪声等无用特征的影响;引入可变形卷积(Deformable convolution, DCN),通过加入偏移量,增大感受野,提高模型的鲁棒性。构建包含农田典型障碍物的数据集,通过对比试验研究在ResNet残差网络结构中的不同阶段中加入空间注意力和可变形卷积时的模型性能差异。结果表明,与Mask R-CNN原型网络相比,在ResNet的阶段2、阶段3、阶段5加入空间注意力和可变形卷积后,改进Mask R-CNN的边界框(Bbox)和掩膜(Mask)的平均精度均值(mAP)分别从64.5%、56.9%提高到71.3%、62.3%。本文提出的改进Mask R-CNN可以很好地实现农田障碍物检测,可为植保无人机在非结构化农田环境下安全高效工作提供技术支撑。     

基于迁移学习和Mask R-CNN的稻飞虱图像分类方法

针对当前稻飞虱图像识别研究中自动化程度较低、识别精度不高的问题,提出了一种基于迁移学习和Mask R-CNN的稻飞虱图像分类方法。首先,根据稻飞虱的生物特性,采用本团队自主研发的野外昆虫图像采集装置,自动获取稻田稻飞虱及其他昆虫图像;采用VIA为数据集制作标签,将数据集分为稻飞虱和非稻飞虱两类,并通过迁移学习在Res Net50框架上训练数据;最后,基于Mask R-CNN分别对稻飞虱、非稻飞虱、存在干扰以及存在黏连和重合的昆虫图像进行分类实验,并与传统图像分类算法(SVM、BP神经网络)和Faster R-CNN算法进行对比。实验结果表明,在相同样本条件下,基于迁移学习和Mask R-CNN的稻飞虱图像分类算法能够快速、有效识别稻飞虱与非稻飞虱,平均识别精度达到0. 923,本研究可为稻飞虱的防治预警提供信息支持。     

基于改进YOLO v5的宁夏草原蝗虫识别模型研究

针对草原蝗虫图像具有样本收集困难、目标较小和目标多尺度等技术难点,基于YOLO v5网络,提出了一种复杂背景下多尺度蝗虫目标检测识别模型YOLO v5-CB,用于宁夏草原常见蝗虫检测。改进模型YOLO v5-CB针对蝗虫原始样本量较少的问题,使用CycleGAN网络扩充蝗虫数据集;针对蝗虫图像中的小目标特征,使用ConvNeXt来保留小目标蝗虫的特征;为有效解决蝗虫图像尺度特征变换较大问题,在颈部特征融合使用Bi-FPN结构,来增强网络对多尺度目标的特征融合能力。实验结果表明,在对宁夏草原常见亚洲小车蝗、短星翅蝗、中华剑角蝗进行检测识别时,YOLO v5-CB的识别精度可达98.6%,平均精度均值达到96.8%,F1值为98%,与Faster R-CNN、YOLO v3、YOLO v4、YOLO v5模型相比,识别精度均有提高。将改进的蝗虫检测识别模型YOLO v5-CB与研发的分布式可扩展生态环境数据采集系统结合,构建了基于4G网络的Web端蝗虫识别平台,可对观测点的蝗虫图像进行长期实时检测。目前,该平台已在宁夏回族自治区盐池县大水坑、黄记场、麻黄山等地的草原生态环境数据获取中得到了应用,可对包括宁夏草原蝗虫信息在内的多种生态环境信息进行长期检测和跟踪,为虫情防治等提供决策依据。     

基于Mask R-CNN的玉米田间杂草检测方法

针对田间复杂环境下杂草分割精度低的问题,提出了基于Mask R-CNN的杂草检测方法。该方法采用残差神经网络Res Net-101提取涵盖杂草语义、空间信息的特征图;采用区域建议网络对特征图进行杂草与背景的初步二分类、预选框回归训练,利用非极大值抑制算法筛选出感兴趣区域;采用区域特征聚集方法(Ro IAlign),取消量化操作带来的边框位置偏差,并将感兴趣区域(Ro I)特征图转换为固定尺寸的特征图;输出模块针对每个Ro I计算分类、回归、分割损失,通过训练预测候选区域的类别、位置、轮廓,实现杂草检测及轮廓分割。在玉米、杂草数据集上进行测试,当交并比(Io U)为0. 5时,本文方法均值平均精度(m AP)为0. 853,优于Sharp Mask、Deep Mask的0. 816、0. 795,本文方法的单样本耗时为280 ms,说明本文方法可快速、准确检测分割出杂草类别、位置和轮廓,优于Sharp Mask、Deep Mask实例分割算法。在复杂背景下对玉米、杂草图像进行测试,在Io U为0. 5时,本文方法 m AP为0. 785,单样本耗时为285 ms,说明本文方法可实现复杂背景下的农田作物杂草分割。在田间变量喷洒试验中,杂草识别准确率为91%,识别出杂草并准确喷雾的准确率为85%,准确喷药的杂草雾滴覆盖密度为55个/cm2,装置对每幅图像的平均处理时间为0. 98 s,满足农药变量喷洒的控制要求。     

适应遮挡条件下奶油生菜的实例分割方法研究

利用机器视觉技术测量生菜的表型参数对探索生菜的生长规律有着非常重要的意义,而构建生菜个体的识别及轮廓分割算法是实现表型参数精准测量的重要前提;但是,在生菜培育至采收期,俯视图下生菜个体间叶片相互重叠遮挡,对个体识别和轮廓分割造成很大的阻碍。为此,改进了Mask R-CNN神经网络模型,掩膜分支采用class-agnostic模式,以ResNeXt50联合FPN替换原有的卷积主干,实现了遮挡条件下奶油生菜的个体识别和轮廓分割。为了对改进模型的分割精度进行验证分析,采用平均精度AP75和平均检测耗时作为评价指标,与原始Mask R-CNN、DeepMask、MNC分割模型在不同程度遮挡测试集上设置对比试验。结果表明：改进模型的平均精度达到98.7%,相比原模型提高了约4%,且在重度遮挡测试集上依然能够保持良好的分割精度。研究结果可为遮挡条件下植物叶片的识别和分割提供算法参考,也可为奶油生菜的表型参数提取提供技术支持。     

基于改进YOLO v4的自然环境苹果轻量级检测方法

针对苹果采摘机器人识别算法包含复杂的网络结构和庞大的参数体量,严重限制检测模型的响应速度问题,本文基于嵌入式平台,以YOLO v4作为基础框架提出一种轻量化苹果实时检测方法(YOLO v4-CA)。该方法使用MobileNet v3作为特征提取网络,并在特征融合网络中引入深度可分离卷积,降低网络计算复杂度;同时,为弥补模型简化带来的精度损失,在网络关键位置引入坐标注意力机制,强化目标关注以提高密集目标检测以及抗背景干扰能力。在此基础上,针对苹果数据集样本量小的问题,提出一种跨域迁移与域内迁移相结合的学习策略,提高模型泛化能力。试验结果表明,改进后模型的平均检测精度为92.23%,在嵌入式平台上的检测速度为15.11f/s,约为改进前模型的3倍。相较于SSD300与Faster R-CNN,平均检测精度分别提高0.91、2.02个百分点,在嵌入式平台上的检测速度分别约为SSD300和Faster R-CNN的1.75倍和12倍;相较于两种轻量级目标检测算法DY3TNet与YOLO v5s,平均检测精度分别提高7.33、7.73个百分点。因此,改进后的模型能够高效实时地对复杂果园环境中的苹果进行检测,适宜在嵌入式系统上部署,可以为苹果采摘机器人的识别系统提供解决思路。     

基于Mask R-CNN的单株柑橘树冠识别与分割

针对在复杂果园背景中难以识别分割单株果树树冠的问题,研究了基于Mask R-CNN 神经网络模型实现单株柑橘树冠识别与分割的方法。通过相机获取柑橘园图像数据,利用Mask R-CNN神经网络实现单株柑橘树冠的识别与分割,根据测试集的预测结果评估模型的性能和可适应性,并分析模型的影响因素。结果表明：参与建模的果园单株树冠识别分割准确率为97%,识别时间为0.26s,基本上可满足果园精准作业过程中的树冠识别要求;未参与建模果园的单株树冠识别分割准确率为89%,说明模型对不同品种、不同环境的果园具有一定的适应性;与SegNet模型相比,本文模型准确率、精确率和召回率均约高5个百分点,说明在非目标树冠较多的复杂果园图像中具有较好的识别分割效果。本研究可为对靶喷药、病虫害防护、长势识别与预估等果园精准作业提供重要依据。     

基于MS-YOLO v7的多尺度稻飞虱识别分类方法

智能虫情测报灯下害虫的精准识别和分类是实现稻田虫情预警的前提,为解决水稻害虫图像识别过程中存在分布密集、体态微小、易受背景干扰等造成识别精度不高的问题,提出了一种基于MS-YOLO v7（Multi-Scale-YOLO v7）轻量化稻飞虱识别分类方法。首先,采用稻飞虱害虫诱捕装置搭建稻飞虱害虫采集平台,获取的稻飞虱图像构成ImageNet数据集。然后,MS-YOLO v7目标检测算法采用GhostConv轻量卷积作为主干网络,减小模型运行的参数量;在Neck部分加入CBAM注意力机制模块,有效强调稻飞虱区别度较高的特征通道,抑制沉冗无用特征,准确提取稻飞虱图像中的关键特征,动态调整特征图中不同通道的权重;将SPPCSPS空间金字塔池化模块替换SPPFS金字塔池化模块,提高网络模型对各分类样本的特征提取能力;同时将YOLO v7模型中的SiLU激活函数替换为Mish激活函数,增强网络的非线性表达能力。试验结果表明,改进后的MS-YOLO v7在测试集上的模型平均精度均值（Mean average precision,mAP）为95.7%,精确率（Precision）为96.4%,召回率（Recall）为94.2%,与Faster R-CNN、SSD、YOLO v5、YOLO v7网络模型相比mAP分别提高2.1、3.4、2.3、1.6个百分点,F1值分别提高2.7、4.1、2.5、1.4个百分点。改进后的模型内存占用量、参数量、浮点运算数分别为63.7MB、2.85×107、7.84×1010,相比YOLO v7模型分别缩减12.5%、21.7%、25.4%,MS-YOLO v7网络模型对稻飞虱种间害虫均能实现高精度的识别与分类,具有较好的鲁棒性,可为稻田早期稻飞虱虫情预警提供技术支持。     

基于非对称混洗卷积神经网络的苹果叶部病害分割

针对苹果叶部病害由于数据集类间样本不均衡和拍摄角度、光照变化等实际成像与环境因素造成的精度低和泛化能力差的问题,本文提出了一种新型的非对称混洗卷积神经网络ASNet。首先,通过在ResNeXt骨干网络中添加改进的scSE注意力机制模块增强网络提取的特征;其次,针对多数叶片病害特征分布相对分散的问题,使用非对称混洗卷积模块代替原始的残差模块来扩大卷积核的感受野和增强特征提取能力,从而提升模型的分割精度和泛化能力;最后,在非对称混洗卷积模块中使用通道压缩和通道混洗的方式弥补了分组卷积造成的通道间关联性不足的缺陷,降低了由于叶部病害类间不均衡导致的传统网络模型精度偏低的问题。在COCO数据集评价指标下,实验结果表明,相比于骨干网络为ResNeXt-50的原始Mask R-CNN模型,本文模型的平均分割精度达到96.8%,提升了5.2个百分点,模型权重文件减小为321MB,减小了170MB。对实地采集和AI Challanger农作物病害分割挑战赛的240幅苹果叶片图像进行测试,结果表明,本文模型ASNet对苹果黑腐病、锈病与黑星病3种病害和健康叶片的平均分割精度达到94.7%。     

基于polyphyletic损失函数的荔枝花检测方法

针对密集分布的荔枝花遮挡严重导致检测困难,现有研究方法忽略了非极大抑制过程中密集建议框之间的相互作用的问题,为提升检测精度、降低漏检率,提出了一种基于polyphyletic损失函数的检测方法。该方法在损失函数中包含一个聚合损失项,以迫使建议框接近并紧凑定位相应目标,同时增加专门为密集作物场景设计的边界框排斥损失,使预测框远离周围对象,提高密集荔枝花检测鲁棒性。与Faster R-CNN、Focus Loss、AdaptiveNMS和Mask R-CNN进行对比,实验表明,该方法在标准苹果花数据集上识别精度比其他方法高2个百分点,验证了该方法检测的通用性,同时,该方法在自建荔枝花数据集的平均精度均值达到87.94%,F1值为87.07%,缺失率为13.29%,相比Faster R-CNN、Focus Loss、AdaptiveNMS和Mask R-CNN分别提高20.09、14.10、8.35、4.86个百分点,具有较高检测性能。因此,本文提出的方法能够高效地对密集荔枝花进行检测,为复杂场景下的密集作物检测提供参考。     

基于注意力机制和可变形卷积的鸡只图像实例分割提取

为提高鸡只个体轮廓分割提取的精度和准确度,实现基于机器视觉技术的鸡只行为、健康、福利状态监测等精准畜牧业管理,保证相关监测技术及决策的可靠性,针对叠层笼养环境下肉鸡图像的实例分割和轮廓提取问题,提出一种优化的基于Mask R-CNN框架的实例分割方法,构建了一种鸡只图像分割和轮廓提取网络,对鸡群图像进行分割,从而实现鸡...     

基于CRV-YOLO的苹果中心花和边花识别方法

苹果树疏花是果园生产管理中的重要环节。准确高效地识别苹果中心花和边花,是研发智能疏花机器人的前提。针对苹果疏花作业中的实际需求,提出了一种基于CRV-YOLO的苹果中心花和边花识别方法。本文基于YOLO v5s模型进行了如下改进：将C-CoTCSP结构融入Backbone,更好地学习上下文信息并提高了模型特征提取能力,提高了模型对外形相似和位置关系不明显的中心花和边花的检测性能。在Backbone中添加改进RFB结构,扩大特征提取感受野并对分支贡献度进行加权,更好地利用了不同尺度特征。采用VariFocal Loss损失函数,提高了模型对遮挡等场景下难识别样本检测能力。在3个品种1 837幅图像数据集上进行了实验,结果表明,CRV-YOLO的精确率、召回率和平均精度均值分别为95.6%、92.9%和96.9%,与原模型相比,分别提高3.7、4.3、3.9个百分点,模型受光照变化和苹果品种影响较小。与Faster R-CNN、SSD、YOLOX、YOLO v7模型相比,CRV-YOLO的精确率、平均精度均值、模型内存占用量和复杂度性能最优,召回率接近最优。研究成果可为苹果智能疏花提供技术...