基于Mask R-CNN的单株柑橘树冠识别与分割

针对在复杂果园背景中难以识别分割单株果树树冠的问题,研究了基于Mask R-CNN神经网络模型实现单株柑橘树冠识别与分割的方法.通过相机获取柑橘园图像数据,利用Mask R-CNN神经网络实现单株柑橘树冠的识别与分割,根据测试集的预测结果评估模型的性能和可适应性,并分析模型的影响因素.结果 表明:参与建模的果园单株树冠...     

融合FPN的Faster R-CNN复杂背景下棉田杂草高效识别方法

为实现田间条件下快速、准确识别棉花与杂草,该文以自然光照下田间棉花与杂草为研究对象,采用垂直向下拍摄的方式获取棉花杂草视频,按1帧/s的速率从视频中提取图像,在人工去除冗余度过多的图片后,建立1 000幅图片的数据集。对比了Faster R-CNN和YOLOv3 2种典型卷积神经网络,将Faster R-CNN卷积神经网络的深度学习模型引入到棉花杂草图像识别中,并提出一种结构优化的方法,使之适用于复杂背景下的棉田杂草识别。该文选用残差卷积网络提取图像特征,Max-pooling 为下采样方法,RPN网络中引入特征金字塔网络生成目标候选框,对卷积神经网络结构进行优化。在使用700幅图片进行训练后,通过200 幅田间棉花杂草图像识别测试,结果表明：该方法的平均目标识别准确率达95.5%,识别单幅图像的平均耗时为1.51 s,采用GPU 硬件加速后识别单幅图像的平均耗时缩短为0.09 s。优化后的Faster R-CNN卷积神经网络相对于YOLOv3平均正确率MAP高0.3以上。特别是对于小目标对象,其平均正确率之差接近0.6。所提方法对复杂背景下棉花杂草有较好的检测效果,可为精确除草提供参考。     

基于改进Faster R-CNN和Deep Sort的棉铃跟踪计数

棉铃作为棉花重要的产量与品质器官,单株铃数、铃长、铃宽等相关表型性状一直是棉花育种的重要研究内容。为解决由于叶片遮挡导致传统静态图像检测方法无法获取全部棉铃数量的问题,提出了一种以改进Faster R-CNN、Deep Sort和撞线匹配机制为主要算法框架的棉铃跟踪计数方法,以实现在动态视频输入情况下对盆栽棉花棉铃的数量统计。采用基于特征金字塔的Faster R-CNN目标检测网络,融合导向锚框、Soft NMS等网络优化方法,实现对视频中棉铃目标更精确的定位;使用Deep Sort跟踪器通过卡尔曼滤波和深度特征匹配实现前后帧同一目标的相互关联,并为目标进行ID匹配;针对跟踪过程ID跳变问题设计了掩模撞线机制以实现动态旋转视频棉铃数量统计。试验结果表明：改进Faster R-CNN目标检测结果最优,平均测量精度mAP₇₅和F1值分别为0.97和0.96,较改进前分别提高0.02和0.01;改进Faster R-CNN和Deep Sort跟踪结果最优,多目标跟踪精度为0.91,较Tracktor和Sort算法分别提高0.02和0.15;单株铃数计数结果决定系数、均方...     

基于改进Cascade R-CNN和图像增强的夜晚鱼类检测

针对光照不均、噪声大、拍摄质量不高的夜晚水下环境,为实现夜晚水下图像中鱼类目标的快速检测,利用计算机视觉技术,提出了一种基于改进Cascade R-CNN算法和具有色彩保护的MSRCP（Multi-scale Retinex with color restoration）图像增强算法的夜晚水下鱼类目标检测方法。首先针对夜晚水下环境的视频数据,根据时间间隔,截取出相应的夜晚水下鱼类图像,对截取的原始图像进行MSRCP图像增强。然后采用DetNASNet主干网络进行网络训练和水下鱼类特征信息的提取,将提取出的特征信息输入到Cascade R-CNN模型中,并使用Soft-NMS候选框优化算法对其中的RPN网络进行优化,最后对夜晚水下鱼类目标进行检测。实验结果表明,该方法解决了夜晚水下环境中的图像降质、鱼类目标重叠检测问题,实现了对夜晚水下鱼类目标的快速检测,对夜晚水下鱼类图像目标检测的查准率达到95.81%,比Cascade R-CNN方法提高了11.57个百分点。     

基于改进卷积神经网络的在体青皮核桃检测方法

采摘机器人对核桃采摘时,需准确检测到在体核桃目标。为实现自然环境下青皮核桃的精准识别,研究了基于改进卷积神经网络的青皮核桃检测方法。以预训练的VGG16网络结构作为模型的特征提取器,在Faster R-CNN的卷积层加入批归一化处理、利用双线性插值法改进RPN结构和构建混合损失函数等方式改进模型的适应性,分别采用SGD和Adam优化算法训练模型,并与未改进的Faster R-CNN对比。以精度、召回率和F1值作为模型的准确性指标,单幅图像平均检测时间作为速度性能评价指标。结果表明,利用Adam优化器训练得到的模型更稳定,精度高达97.71%,召回率为94.58%,F1值为96.12%,单幅图像检测耗时为0.227s。与未改进的Faster R-CNN模型相比,精度提高了5.04个百分点,召回率提高了4.65个百分点,F1值提升了4.84个百分点,单幅图像检测耗时降低了0.148s。在园林环境下,所提方法的成功率可达91.25%,并且能保持一定的实时性。该方法在核桃识别检测中能够保持较高的精度、较快的速度和较强的鲁棒性,能够为机器人快速长时间在复杂环境下识别并采摘核桃提供技术支撑。     

基于Mask R-CNN的番茄植株整枝操作点定位方法

针对工厂化番茄智能化整枝打叶作业需要,研究了基于Mask R-CNN模型的整枝操作点识别定位方法,以期为整枝机器人的精准操作提供依据。鉴于丛生植株中主茎和侧枝茎秆目标随机生长、形态各异,结合植株在不同生长阶段、远近视场尺度和观测视角等条件下的成像特征,构建了温室番茄植株图像样本数据集。采用学习率微调训练方法,对Mask R-CNN预训练模型进行迁移训练,建立了主茎和侧枝像素区域的识别分割模型。在对视场内同株相邻主茎和侧枝目标进行判别基础上,提出基于图像矩特征的茎秆中心线拟合方法。以中心线交点为参考,沿侧枝进行定向偏移,实现对整枝操作点图像坐标的定位。最后,通过测试试验评估该方法对目标识别和定位的效果。试验结果表明,模型对番茄主茎和侧枝目标识别的错误率、精确率和召回率分别为0.12、0.93和0.94,对整枝操作点平均定位偏差与对应主茎像素宽度的比值为0.34,模型对于近景仰视图像中目标的识别和定位效果优于其他视场的图像。该研究可为整枝机器人视觉系统的研发提供技术依据。     

基于改进Mask R-CNN的番茄侧枝修剪点识别方法

为解决番茄枝叶修剪机器人无法准确识别番茄侧枝修剪点的问题,提出基于改进Mask R-CNN模型的番茄侧枝修剪点的识别方法。将Mask R-CNN的主干网络ResNet50替换为MobileNetv3-Large来降低模型复杂度和提升运行速度,并对部分特征图添加ECA(Efficient Channel Attention)注意力机制,以提升模型精度;通过改进的Mask R-CNN模型预测番茄侧枝与主枝的分割掩膜和边框位置;针对部分单根枝条被分割成多段掩膜的问题,通过掩膜边界框宽高比区分侧枝和主枝,分析同一枝条相邻掩膜约束条件,然后将符合约束条件的掩膜进行合并连接;根据修剪点在主枝附近的特点确定修剪点所在端,然后确定靠近修剪端端点的中心点作为侧枝的修剪点。试验结果表明,改进的Mask R-CNN模型平均分割图片时间为0.319s,召回率和精确率分别为91.2%和88.6%,掩膜平均合并成功率为86.2%,修剪点识别平均准确率为82.9%。该研究为番茄枝叶修剪机器人的研发提供参考。     

融合动态机制的改进型Faster R-CNN识别田间棉花顶芽

针对田间密植环境棉花精准打顶时,棉花顶芽因其小体积特性所带来识别困难问题,该研究提出一种改进型快速区域卷积神经网络（Faster Region Convolutional Neural Networks,Faster R-CNN）目标检测算法实现大田环境棉花顶芽识别。以Faster R-CNN为基础框架,使用 RegNetX-6.4GF作为主干网络,以提高图像特征获取性能。将特征金字塔网络（Feature Pyramid Network,FPN）和导向锚框定位（Guided Anchoring,GA）机制相融合,实现锚框（Anchor）动态自适应生成。通过融合动态区域卷积神经网络（Dynamic Region Convolutional Neural Networks,Dynamic R-CNN）,实现训练阶段检测模型自适应候选区域（Proposal）分布的动态变化。最后在目标候选区域（Region of Interest,ROI）中引入目标候选区域提取器（Generic ROI Extractor,GROIE）提高图像特征融合能力。采集自然环境下7种不同棉花总计4 819张图片,建立微软常见物体图像识别库2017（Microsoft Common Objects in Context 2017,MS COCO 2017）格式的棉花顶芽图片数据集进行试验。结果表明,该研究提出方法的平均准确率均值（Mean Average Precision,MAP）为98.1%,模型的处理帧速（Frames Per Second,FPS）为10.3帧/s。其MAP在交并比（Intersection Over Union,IOU）为0.5时较Faster R-CNN、RetinaNet、Cascade R-CNN和RepPoints网络分别提高7.3%、78.9%、10.1%和8.3%。该研究算法在田间对于棉花顶芽识别具有较高的鲁棒性和精确度,为棉花精准打顶作业奠定基础。     

Detection and enumeration of wheat grains based on a deep learning method under various scenarios and scales

Grain number is crucial for analysis of yield components and assessment of effects of cultivation measures. The grain number per spike and thousand-grain weight can be measured by counting grains manually, but it is time-consuming, tedious and error-prone. Previous image processing algorithms cannot work well with different backgrounds and different sizes. This study used deep learning methods to resolve the limitations of traditional image processing algorithms. Wheat grain image datasets were collected in the scenarios of three varieties, six background and two image acquisition devices with different heights, angles and grain numbers, 1 748 images in total. All images were processed through color space conversion, image flipping and rotation. The grain was manually annotated, and the datasets were divided into training set, validation set and test set. We used the TensorFlow framework to construct the Faster Region-based Convolutional Neural Network Model. Using the transfer learning method, we optimized the wheat grain detection and enumeration model. The total loss of the model was less than 0.5 and the mean average precision was 0.91. Compared with previous grain counting algorithms, the grain counting error rate of this model was less than 3% and the running time was less than 2 s. The model can be effectively applied under a variety of backgrounds, image sizes, grain sizes, shooting angles, and shooting heights, as well as different levels of grain crowding. It constitutes an effective detection and enumeration tool for wheat grain. This study provides a reference for further grain testing and enumeration applications.     

基于Faster R-CNN的大田玉米雄穗识别及抽穗期判定研究

目前田间玉米雄穗数量监测主要依靠人工进行,效率低且易出错.为了实现在复杂的田间环境下对玉米雄穗自动识别和计数的任务,使用无人机平台和田间作物表型高通量获取平台采集的田间玉米顶视图像构建数据集,使用Resnet 50作为新的特征提取网络代替原始的VGG 16来优化Faster R-CNN模型.再根据表型平台所获取的高时序、连续图像,进一步使用改进后的模型对试验小区内玉米抽穗期前后20 d的雄穗数量进行监测,以此为依据进行抽穗期判定.该方法在田间作物表型高通量平台获取的图像数据测试集中类平均精度为90.14％,平均绝对误差为4.7328;在无人机平台获取的图像数据测试集中类平均精度为82.14％,平均绝对误差为9.6948.试验结果表明:该模型在田间作物表型高通量获取平台上的检测结果优于无人机平台,且具备一定的应用价值.