基于Mask R-CNN的单株柑橘树冠识别与分割

针对在复杂果园背景中难以识别分割单株果树树冠的问题,研究了基于Mask R-CNN神经网络模型实现单株柑橘树冠识别与分割的方法.通过相机获取柑橘园图像数据,利用Mask R-CNN神经网络实现单株柑橘树冠的识别与分割,根据测试集的预测结果评估模型的性能和可适应性,并分析模型的影响因素.结果 表明:参与建模的果园单株树冠...     

基于改进Mask R-CNN的笼养死鸭识别方法

针对规模化笼养肉鸭舍内死鸭识别采用人工作业方式时,存在作业效率低、劳动强度大、养殖成本高等问题,以层叠式笼养肉鸭为研究对象,提出了一种基于深度学习的笼养死鸭识别方法。为了采集数据,首先面向立体层叠式养殖环境设计了一款适用于肉鸭舍的自主巡检装备。针对笼养肉鸭舍铁丝网遮挡严重的问题,基于机器视觉对笼网进行修复,基于OpenCV对图像进行增强处理。构建了一种基于Mask R-CNN的死鸭识别模型,采用Swin Transformer对模型进行优化,解决了Mask R-CNN网络缺乏整合全局信息能力的问题。对比分析了SOLO v2、Mask R-CNN和Mask R-CNN+Swin Transformer模型识别笼内死鸭准确率。实验结果表明,在平均精度均值为90%的条件下,Mask R-CNN+Swin Transformer模型对笼内死鸭总体识别准确率可达95.8%,在自主巡检装备上的检测效果优于其他主流的目标检测算法。     

基于改进Mask R-CNN的苹果园害虫识别方法

针对基础卷积神经网络识别苹果园害虫易受背景干扰及重要特征表达能力不强问题,提出一种基于改进Mask R-CNN的苹果园害虫识别方法。首先,基于Haar特征方法对多点采集得到的苹果园害虫图像进行迭代初分割,提取害虫单体图像样本,并对该样本进行多途径扩增,得到用于深度学习的扩增样本数据集。其次,对Mask R-CNN中的特征提取网络进行优化,采用嵌入注意力机制模块CBAM的ResNeXt网络作为改进模型的Backbone,增加模型对害虫空间及语义信息的提取,有效避免背景对模型性能的影响;同时引入Boundary损失函数,避免害虫掩膜边缘缺失及定位不准确问题。最后,以原始Mask R-CNN模型作为对照模型,平均精度均值作为评价指标进行试验。结果表明,改进Mask R-CNN模型平均精度均值达到96.52%,相比于原始Mask R-CNN模型,提高4.21个百分点,改进Mask R-CNN可精准有效识别苹果园害虫,为苹果园病虫害绿色防控提供技术支持。     

基于Mask R-CNN模型的虫害识别方法研究

为提高果园虫害远程监测自动识别的准确率与稳定性,以梨小食心虫作为研究对象,提出了基于Mask R-CNN目标检测模型的虫害识别方法。在Faster R-CNN模型基础上优化添加用以预测分割的Mask回归分支,将进行2次量化操作的Ro I Pooling层替换为使用线性插值算法的Ro I Align层,另外添加并列的FCN层,使模型具有更强大的泛化能力,可在有效检测目标的同时输出高质量的实例分割Mask。采用固定式物联网捕虫装置获取数据样本,并应用数据增广和掩模标注等方法构建数据集,经过深度学习训练,可有效提高果园虫害识别的准确性。实验表明,该方法的目标识别平均准确率达98.87%,能够对梨小食心虫进行精确、稳定、高效的识别,可为精确虫害防治提供参考。     

基于FPGA加速的Mask R-CNN稻瘟病高通量自适应识别模型研究

针对基于图像的稻瘟病现场检测技术依赖先验知识且受制于算力与田间网络状况,无法实现自适应实时检测的问题,提出一种可利用现场可编程门阵列(Field programmable gate array, FPGA)加速的Mask R-CNN(Mask region-based convolutional neural network)稻瘟病高通量自适应快速识别模型。首先将骨干网络改进为MobileNetV2,利用其倒残差模块降低计算量,提高模型并行处理能力;随后增加用于稻瘟病多尺度特征融合的特征金字塔网络模块,使模型具备多尺度自适应处理能力;最后由全卷积网络(Fully convolutional network,FCN)分支输出稻瘟病病斑的实例分割,同时使用交叉熵损失函数完成稻瘟病的定位与分类。稻瘟病实测数据集对模型的验证结果表明：当输入为全高清图像时,模型平均推理时间减少至85ms,相较GPU服务器、同级别GPU边缘计算平台,速度分别提高86.2%、63.0%。在交并比为0.6时,准确率可达98.0%,病斑捕获能力平均提升21.2%。提出的Mask R-CNN自适应快速识别模型能够在田间恶劣网络状况下实现稻瘟病的快速现场检测,具有更好的抗噪能力和鲁棒性能,为水稻病害实时检测、察打一体提供了高效实时的片上系统方案。     

基于Mask R-CNN的蘑菇成熟度检测方法

蘑菇成熟度是判断蘑菇是否可采摘的决定性依据,当前大多数蘑菇培育基地都是依靠人工经验判断蘑菇是否成熟,这不仅对人工经验要求极高,而且增加了劳动强度。针对上述问题,研究了一种基于Mask R-CNN网络的蘑菇目标检测及识别方法,对蘑菇进行单体分割从而判断其成熟度。试验结果表明,该方法能对蘑菇是否成熟做出准确判断,对推广蘑菇的智能化种植具有重要意义。      

基于迁移学习和Mask R-CNN的稻飞虱图像分类方法

针对当前稻飞虱图像识别研究中自动化程度较低、识别精度不高的问题,提出了一种基于迁移学习和Mask R-CNN的稻飞虱图像分类方法。首先,根据稻飞虱的生物特性,采用本团队自主研发的野外昆虫图像采集装置,自动获取稻田稻飞虱及其他昆虫图像;采用VIA为数据集制作标签,将数据集分为稻飞虱和非稻飞虱两类,并通过迁移学习在Res Net50框架上训练数据;最后,基于Mask R-CNN分别对稻飞虱、非稻飞虱、存在干扰以及存在黏连和重合的昆虫图像进行分类实验,并与传统图像分类算法(SVM、BP神经网络)和Faster R-CNN算法进行对比。实验结果表明,在相同样本条件下,基于迁移学习和Mask R-CNN的稻飞虱图像分类算法能够快速、有效识别稻飞虱与非稻飞虱,平均识别精度达到0. 923,本研究可为稻飞虱的防治预警提供信息支持。     

基于二值化的Faster R-CNN柑橘病虫害识别研究

为研究在自然场景下柑橘叶片病害检测和识别技术,提出一种基于二值化的Faster R-CNN(Binary Faster R-CNN)区域检测神经网络模型。改进模型将原始的Faster R-CNN全连接层神经网络转变为二进制全卷积神经网络。试验结果表明,该模型对柑橘的黑斑病、溃疡病、黄龙病、疮痂病、健康叶片的平均准确率分别为87.2%、87.6%、89.8%、86.4%和86.6%,总平均准确率为87.5%;模型识别时间相较于Faster R-CNN网络提高0.53 s,每幅图像的检测时间为0.31 s,模型大小缩小到15.3 MB,FLOPs为2.58×10⁹;同时在保证模型检测有效性的情况下可快速收敛。该方法对复杂自然环境下的柑橘叶片病害检测具有较好的识别速度和鲁棒性,对柑橘类疾病预防有重要的研究意义。     

基于改进Mask R-CNN的水稻茎秆截面参数检测方法

针对人工测量、统计作物茎秆显微切片图像中维管束数目、面积等关键参数主观性强、费时费力、效率低的问题,提出一种基于图像处理的水稻茎秆截面参数自动检测方法。首先构建了一个基于改进Mask R-CNN网络的水稻茎秆切片图像分割模型。网络以MobilenetV2和残差特征增强及自适应空间融合的特征金字塔网络为特征提取网络,同时引入PointRend增强模块,并将网络回归损失函数优化为IoU函数,最优模型的F1值为91.21%,平均精确率为94.37%,召回率为88.25%,平均交并比为90.80%,单幅图像平均检测耗时0.50 s,实现了水稻茎秆切片图像中大、小维管束区域的定位、检测和分割;通过边缘检测、形态学处理及轮廓提取,实现茎秆截面轮廓的分割提取。本文方法可实现对水稻茎秆截面面积、截面直径,大、小维管束面积,大、小维管束数量等6个参数的自动检测,检测平均相对误差不超过4.6%,可用于水稻茎秆微观结构的高通量观测。     

扰动柑橘采摘的实时识别与采摘点确定技术

对成熟柑橘果实在扰动状态下的视觉识别定位技术进行研究。利用ANSYS进行了扰动柑橘的动力学分析,结合图像处理分析结果,确定了微扰动柑橘的运动规律为类单摆运动;对采集的微扰动柑橘视频进行图像处理,设定规则选取视频中的图像,利用改进的K-means聚类分割法结合优化Hough圆拟合方法实现柑橘果实的分割;根据图像分割结果,对柑橘的二值图像进行Hough直线拟合,结合直线斜率在-0.45~0.45的约束条件,确定扰动柑橘的有效采摘点。试验结果表明该方法能有效地识别自然环境中的微扰动柑橘,确定扰动果实采摘点的准确率达85%,采摘点确定的处理时间在7.58~9.24 s范围内。     

基于Mask R-CNN的柑橘主叶脉显微图像实例分割模型

针对目前植物解剖表型的测量与分析过程自动化低,难以应对复杂解剖表型的提取和识别的问题,以柑橘主叶脉为研究对象,提出了一种基于掩膜区域卷积神经网络(Mask region convolutional neural network, Mask R-CNN)的主叶脉显微图像实例分割模型,以残差网络ResNet50和特征金字塔(Feature pyramid network, FPN)为主干特征提取网络,在掩膜(Mask)分支上添加一个新的感兴趣区域对齐层(Region of interest Align, RoI-Align),提升Mask分支的分割精度。结果表明,该网络架构能够精准地对柑橘主叶脉横切面中的髓部、木质部、韧皮部和皮层细胞进行识别分割。Mask R-CNN模型对髓部、木质部、韧皮部和皮层细胞的分割平均精确率(交并比(IoU)为0.50)分别为98.9%、89.8%、95.7%和97.2%,对4个组织区域的分割平均精确率均值(IoU为0.50)为95.4%。与未在Mask分支添加RoI-Align的Mask R-CNN相比,精度提升1.6个百分点。研究结果表明,Mask R-CN...     

丘陵果园自然环境下柑橘采摘机器人设计与试验

智慧果园是未来果园行业发展的趋势,智能化果实采摘是发展智慧果园的关键问题。为实现智能化果实采摘,本文搭建了一种适用于丘陵果园矮化栽培模式下的柑橘采摘机器人系统。针对丘陵果园垄间地面凹凸不平,存在地形倾斜角0°~20°,设计了一种自适应调平平台保持机械臂基座水平;通过视觉系统获取多幅点云图像建立果树的三维点云模型,获取果实位置信息;为避免采摘时造成果实损伤,结合柑橘类水果的采摘特点,设计了一种剪切夹持一体化的末端执行器完成柑橘采摘。针对果园自然环境的主要扰动因素（风和光照）进行分级,设置10组对比试验,结果表明：在低光照或正常光照条件下,平均果实定位准确率为82.5%,末端执行器夹取成功率为87.5%,平均采摘时间最短为12.3s/个;高光照条件下平均果实定位准确率为72%,末端执行器夹取成功率为80%,平均采摘时间最短为12.5s/个。     

巡检机器人获取柑橘树上果实完整表面信息方法研究

为监控柑橘的生长情况,提出了一种通过巡检机器人获取单个柑橘果实完整表面信息的方法。使用LabelMe为标记工具,采用类圆形和类长方形分别对柑橘果实和分段枝干进行标记,再使用Mask R-CNN模型对其进行训练与识别,可从Kinect V2相机拍摄的含有深度信息的图像中提取出柑橘果实及分段枝干的三维信息。根据柑橘果实生长情况及发生病虫害情况,〖JP2〗对柑橘果实表面进行区域化划分,并采取积分制描述其表面信息获取率。通过机械臂末端连接的CCD相机对柑橘果实进行表面信息获取,提出了获取柑橘完整表面信息的3种机械臂拍摄方案。搭建了巡检机器人实验平台,在机器人操作系统(Robot operating system,ROS)下进行了仿真,提出实验室环境下柑橘表面信息的获取流程,并在实验室环境下对巡检机器人获取柑橘完整表面信息进行了实验验证。实验结果表明,柑橘果实的横纵径比越接近1,拍摄所获取的柑橘外表面信息越完整,当采用3个拍摄位姿的拍摄方案时,在保证获取柑橘表面完整率的同时可以获得较高的避障成功率和工作效率,柑橘表面信息获取率可达94.21%,〖JP3〗机械臂平均运动时间为86.57s。本研究为农业巡检机器人获取柑橘表面情况、监控柑橘生长及病虫害信息提供了方法。     

基于改进型YOLO的复杂环境下番茄果实快速识别方法

为实现温室环境下农业采摘机器人对番茄果实的快速、精确识别,提出了一种改进型多尺度YOLO算法(IMS-YOLO)。对YOLO网络模型进行筛选和改进,设计了一种含有残差模块的darknet-20主干网络,同时融合多尺度检测模块,构建了一种复杂环境下番茄果实快速识别网络模型。该网络模型层数较少,能够提取更多特征信息,且采用多尺度检测结构,同时返回番茄果实的类别和预测框,以此提升番茄果实检测速度和精度。采用自制的番茄数据集对IMS-YOLO模型进行测试,并分别对改进前后网络的检测性能以及主干网络层数对特征提取能力的影响进行了对比试验。试验结果表明,IMS-YOLO模型对番茄图像的检测精度为97.13%,准确率为96.36%,召回率为96.03%,交并比为83.32%,检测时间为7.719 ms;对比YOLO v2和YOLO v3等网络模型,IMS-YOLO模型可以同时满足番茄果实检测的精度和速度要求。最后,通过番茄温室大棚采摘试验验证了本文模型的可行性和准确性。