基于Mask R-CNN的柑橘主叶脉显微图像实例分割模型

针对目前植物解剖表型的测量与分析过程自动化低，难以应对复杂解剖表型的提取和识别的问题，以柑橘主叶脉为研究对象，提出了一种基于掩膜区域卷积神经网络(Mask region convolutional neural network, Mask R-CNN)的主叶脉显微图像实例分割模型，以残差网络ResNet50和特征金字塔(Feature pyramid network, FPN)为主干特征提取网络，在掩膜(Mask)分支上添加一个新的感兴趣区域对齐层(Region of interest Align, RoI-Align),提升Mask分支的分割精度。结果表明，该网络架构能够精准地对柑橘主叶脉横切面中的髓部、木质部、韧皮部和皮层细胞进行识别分割。Mask R-CNN模型对髓部、木质部、韧皮部和皮层细胞的分割平均精确率(交并比(IoU)为0.50)分别为98.9%、89.8%、95.7%和97.2%,对4个组织区域的分割平均精确率均值(IoU为0.50)为95.4%。与未在Mask分支添加RoI-Align的Mask R-CNN相比，精度提升1.6个百分点。研究结果表明，Mask R-CN...     

基于改进Mask R-CNN的水稻茎秆杂质分割方法研究

针对目前国内联合收割机缺乏含杂率在线检测的问题,提出一种基于改进Mask R-CNN的水稻茎秆杂质分割方法。依据茎秆杂质形状位置特征,对原始Mask R-CNN中网络层进行优化;引入图像增广技术对图像样本进行扩充,解决图像训练数据匮乏问题;利用训练后模型对验证集中图像进行分割,并与原始Mask R-CNN等算法进行对比。结果表明,改进后Mask R-CNN算法的综合评价指标F1达到91.12%,优于其他模型,且分割时间可达到3.57 s,证明其可满足实时检测要求,为后续含杂率在线检测系统实现提供技术参考。     

基于改进Mask R-CNN的植物表型智能检测算法

针对高通量自动化获取的植物表型性状图像的智能检测问题,采用迁移学习和改进掩膜区域卷积神经网络(Mask R-CNN)设计植物表型智能检测分割算法。首先对残差网络进行优化,并利用特征金字塔网络(FPN)对输入图像进行特征提取;然后调整候选区域提取网络(RPN)中锚框的长宽比例和阈值,并在RoIAlign中通过双线性插值法保留了特征图的空间信息;最后改进Mask检测头,并增加特征融合机制以获得高质量的掩膜。在西瓜突变体生长情况的性状表型数据集上进行训练和检测,得到结果表明：改进后的Mask R-CNN表现出更优的检测性能,与传统Mask R-CNN相比,检测精度提高22%,掩膜准确率提高2.7%,检测时间减少42 ms,为提升农业精准化水平和推动智慧农业发展提供了技术支撑。     

基于改进Mask R-CNN的苹果园害虫识别方法

针对基础卷积神经网络识别苹果园害虫易受背景干扰及重要特征表达能力不强问题，提出一种基于改进Mask R-CNN的苹果园害虫识别方法。首先，基于Haar特征方法对多点采集得到的苹果园害虫图像进行迭代初分割，提取害虫单体图像样本，并对该样本进行多途径扩增，得到用于深度学习的扩增样本数据集。其次，对Mask R-CNN中的特征提取网络进行优化，采用嵌入注意力机制模块CBAM的ResNeXt网络作为改进模型的Backbone,增加模型对害虫空间及语义信息的提取，有效避免背景对模型性能的影响；同时引入Boundary损失函数，避免害虫掩膜边缘缺失及定位不准确问题。最后，以原始Mask R-CNN模型作为对照模型，平均精度均值作为评价指标进行试验。结果表明，改进Mask R-CNN模型平均精度均值达到96.52%,相比于原始Mask R-CNN模型，提高4.21个百分点，改进Mask R-CNN可精准有效识别苹果园害虫，为苹果园病虫害绿色防控提供技术支持。     

基于迁移学习的温室番茄叶片水分胁迫诊断方法

为实时诊断番茄叶片水分胁迫程度，提出一种叶片水分胁迫程度的诊断方法，该诊断方法包括2部分：叶片分割和水分胁迫程度分类。采用以ResNet101为特征提取卷积网络的Mask R-CNN网络对背景遮挡的番茄叶片进行实例分割，通过迁移学习将Mask R-CNN在COCO数据集上预训练得到的权重用于番茄叶片的实例分割，保留原卷积网络的训练参数，只调整全连接层。利用卷积网络提取的特征，可将番茄叶片分割视为区分叶片与背景的一个二分类问题，以此来分割受到不同水分胁迫的番茄叶片图像。利用微调后的DenseNet169图像分类模型进行叶片水分胁迫程度分类，通过迁移学习将DenseNet169在ImageNet数据集上预训练得到的权重用于番茄叶片水分胁迫程度的分类，保持DenseNet169卷积层的参数不变，只训练全连接层，并对原DenseNet169全连接层进行了修改，将分类数量从1.000修改为3。试验共采集特征明显的无水分胁迫、中度胁迫和重度胁迫3类温室番茄叶片图像，共2000幅图像，建立数据集，并进行模型训练与测试。试验结果表明，训练后的Mask R-CNN叶片实例分割模型在测试集上对于单叶片和多叶片的马修斯相关系数平均为0.798，分割准确度平均可达到94.37%。经过DenseNet169网络训练的叶片水分胁迫程度分类模型在测试集上的分类准确率为94.68%，与 VGG-19、AlexNet这2种常用的深度学习分类模型进行对比，分类准确率分别提高了5.59、14.68个百分点，表明本文方法对温室番茄叶片水分胁迫程度实时诊断有较好的效果，可为构建智能化的水胁迫分析技术提供参考。     

基于RGB-D相机的蔬菜苗群体株高测量方法

为实现工厂化育苗生产线上黄瓜苗群体株高的快速无损测量,提出一种基于RGB-D(RGB-Depth)相机的温室育苗盘中蔬菜苗株高参数原位测量方法。以黄瓜苗为观测对象,在苗的正上方0. 75 m处架设RGB-D相机,以获取黄瓜苗盘的俯视彩色图像、深度图像以及彩色三维点云数据。在采集的俯视彩色三维点云中分割出单株幼苗点云集、并实现单株幼苗的定位是蔬菜苗群体株高原位测量的关键。根据RGB-D相机的成像原理,将滤波与聚类分割算法相结合,实现一种基于俯视的彩色三维点云数据处理方法,用于从穴盘幼苗群体点云集中分割出单株幼苗点云集。对黄瓜苗彩色三维点云数据的实验处理结果表明,条件滤波、颜色聚类以及统计滤波相结合的滤波算法能够更好地滤除土壤背景的点云集,欧氏距离聚类分割算法可以从滤除土壤背景后的点云中有效地分割出单株蔬菜苗点云集。最后,根据基于俯视的彩色三维点云数据的幼苗株高计算方法得出单株幼苗的株高。实验结果表明,黄瓜苗株高的平均测量误差为2. 30 mm,平均测量相对误差为7. 69%,该结果可为苗期作物群体关键生长参数的提取提供有效的解决方案。     

适应遮挡条件下奶油生菜的实例分割方法研究

利用机器视觉技术测量生菜的表型参数对探索生菜的生长规律有着非常重要的意义,而构建生菜个体的识别及轮廓分割算法是实现表型参数精准测量的重要前提;但是,在生菜培育至采收期,俯视图下生菜个体间叶片相互重叠遮挡,对个体识别和轮廓分割造成很大的阻碍。为此,改进了Mask R-CNN神经网络模型,掩膜分支采用class-agnostic模式,以ResNeXt50联合FPN替换原有的卷积主干,实现了遮挡条件下奶油生菜的个体识别和轮廓分割。为了对改进模型的分割精度进行验证分析,采用平均精度AP75和平均检测耗时作为评价指标,与原始Mask R-CNN、DeepMask、MNC分割模型在不同程度遮挡测试集上设置对比试验。结果表明：改进模型的平均精度达到98.7%,相比原模型提高了约4%,且在重度遮挡测试集上依然能够保持良好的分割精度。研究结果可为遮挡条件下植物叶片的识别和分割提供算法参考,也可为奶油生菜的表型参数提取提供技术支持。     

基于改进Mask R-CNN的水稻茎秆截面参数检测方法

针对人工测量、统计作物茎秆显微切片图像中维管束数目、面积等关键参数主观性强、费时费力、效率低的问题,提出一种基于图像处理的水稻茎秆截面参数自动检测方法。首先构建了一个基于改进Mask R-CNN网络的水稻茎秆切片图像分割模型。网络以MobilenetV2和残差特征增强及自适应空间融合的特征金字塔网络为特征提取网络,同时引入PointRend增强模块,并将网络回归损失函数优化为IoU函数,最优模型的F1值为91.21%,平均精确率为94.37%,召回率为88.25%,平均交并比为90.80%,单幅图像平均检测耗时0.50s,实现了水稻茎秆切片图像中大、小维管束区域的定位、检测和分割;通过边缘检测、形态学处理及轮廓提取,实现茎秆截面轮廓的分割提取。本文方法可实现对水稻茎秆截面面积、截面直径,大、小维管束面积,大、小维管束数量等6个参数的自动检测,检测平均相对误差不超过4.6%,可用于水稻茎秆微观结构的高通量观测。     

基于双金字塔网络的RGB-D群猪图像分割方法

为实现群养猪的视觉追踪和行为监测,针对猪舍中仔猪因拥挤堆叠等习性而导致的目标个体粘连、图像分割困难问题,提出基于双金字塔网络的RGB-D群猪图像分割方法。该方法基于实例分割Mask R-CNN框架,在特征提取网络(Res Net101)基础上改进成双金字塔特征提取网络。RGB图像和Depth图像分别提取特征后进行融合,输入区域生成网络得到预选锚(ROI)和共享特征输入Head网络,通过类别、回归和掩模3个分支,输出检测目标的位置和分类结果,实现猪舍场景下群养仔猪粘连区域的有效个体分割。网络模型训练采用2 000组图像样本,按照4∶1比例随机划分训练集和验证集。试验结果表明,双金字塔网络(Feature pyramid networks,FPN)能有效解决颜色相近、个体相似的群猪粘连问题,实现单个仔猪区域的完整分割,分割准确率达89.25%,训练GPU占有率为77.57%,与Mask R-CNN和Pig Net网络分割结果相比,分割准确率和分割速度均有较大提高。双金字塔网络模型对于多种行为状态、不同粘连程度的群猪图像中个体分割都取得了良好效果,模型泛化性和鲁棒性较好,为群养猪的个体自动追踪提供了新的途径。     

利用多时序激光点云数据提取棉花表型参数方法

当前,能够实现作物表型参数高效、准确的测量和作物生育期表型参数的动态量化研究是表型研究和育种中亟待解决的问题之一。本研究以棉花为研究对象,采用三维激光扫描LiDAR技术获取棉花植株的多时序点云数据,针对棉花植株主干的几何特性,利用随机抽样一致算法（RANSAC）结合直线模型完成主干提取,并对剩余的点云进行区域增长聚类,实现各叶片的分割;在此基础上,完成植株体积、株高、叶长、叶宽等性状参数的估计。针对多时序棉花激光点云数据,采用匈牙利算法完成相邻时序作物点云数据的对齐、叶片器官对应关系的建立。同时,对各植株表型参数动态变化过程进行了量化。本研究针对3株棉花的4个生长点的点云数据,分别完成了主干提取、叶片分割,以及表型参数测量和动态量化。试验结果表明,本研究所采用的主干提取及叶片分割方法能够实现棉花的枝干和叶片分割。提取的株高、叶长、叶宽等表型参数与人工测量值的决定系数均趋近于1.0;同时,本研究实现了棉花表型参数的动态量化过程,为三维表型技术的实现提供了一种有效的方法。     

基于SegNet与三维点云聚类的大田杨树苗叶片分割方法

准确分割单个杨树叶是无接触提取杨树苗叶表型参数的前提,针对大田杨树苗的复杂种植环境,本文提出一种基于SegNet与三维点云聚类的大田杨树苗叶片分割方法。首先对Kinect V2相机进行标定,对齐RGB与深度数据,滤除背景,获得RGB与深度数据融合数据;然后针对RGB与深度融合数据采用语义分割算法SegNet对杨树苗叶与杨树干进行分割;为了更好地分割出单个杨树叶,对分割的杨树叶区域重构出三维点云,采用基于几何距离的kd-tree对单个树叶进行分类。对采集的单株树苗与多株树苗数据进行了实验分析,采用SegNet与FCN分别对杨树苗叶区域与茎区域进行分割,结果表明,SegNet对叶、茎检测准确率分别为94.4%、97.5%,交并比分别为75.9%、67.9%,优于FCN;对叶区域采用不同距离阈值的kd-tree算法进行单叶分割分析,确定了适合杨树叶的分割阈值。实验结果表明,本文提出的分割算法不仅能分割出单株杨树苗的叶片,也能分割出多株杨树苗的单个叶片。     

基于SegNet与三维点云聚类的大田杨树苗叶片分割方法

准确分割单个杨树叶是无接触提取杨树苗叶表型参数的前提,针对大田杨树苗的复杂种植环境,本文提出一种基于SegNet与三维点云聚类的大田杨树苗叶片分割方法。首先对Kinect V2相机进行标定,对齐RGB与深度数据,滤除背景,获得RGB与深度数据融合数据;然后针对RGB与深度融合数据采用语义分割算法SegNet对杨树苗叶与杨树干进行分割;为了更好地分割出单个杨树叶,对分割的杨树叶区域重构出三维点云,采用基于几何距离的kd-tree对单个树叶进行分类。对采集的单株树苗与多株树苗数据进行了实验分析,采用SegNet与FCN分别对杨树苗叶区域与茎区域进行分割,结果表明,SegNet对叶、茎检测准确率分别为94.4%、97.5%,交并比分别为75.9%、67.9%,优于FCN;对叶区域采用不同距离阈值的kd-tree算法进行单叶分割分析,确定了适合杨树叶的分割阈值。实验结果表明,本文提出的分割算法不仅能分割出单株杨树苗的叶片,也能分割出多株杨树苗的单个叶片。     

基于深度学习的大豆生长期叶片缺素症状检测方法

为了检测作物叶片缺素,提出了一种基于神经网络的大豆叶片缺素视觉检测方法。在对大豆缺素叶片进行特征分析后,采用深度学习技术,利用Mask R-CNN模型对固定摄像头采集的叶片图像进行分割,以去除背景特征,并利用VGG16模型进行缺素分类。首先通过摄像头采集水培大豆叶片图像,对大豆叶片图像进行人工标记,建立大豆叶片图像分割任务的训练集和测试集,通过预训练确定模型的初始参数,并使用较低的学习率训练Mask RCNN模型,训练后的模型在测试集上对背景遮挡的大豆单叶片和多叶片分割的马修斯相关系数分别达到了0.847和0.788。通过预训练确定模型的初始参数,使用训练全连接层的方法训练VGG16模型,训练的模型在测试集上的分类准确率为89.42%。通过将特征明显的叶片归类为两类缺氮特征和4类缺磷特征,分析讨论了模型的不足之处。本文算法检测一幅100万像素的图像平均运行时间为0.8 s,且对复杂背景下大豆叶片缺素分类有较好的检测效果,可为农业自动化生产中植株缺素情况估计提供技术支持。     

基于注意力机制和可变形卷积的鸡只图像实例分割提取

为提高鸡只个体轮廓分割提取的精度和准确度,实现基于机器视觉技术的鸡只行为、健康、福利状态监测等精准畜牧业管理,保证相关监测技术及决策的可靠性,针对叠层笼养环境下肉鸡图像的实例分割和轮廓提取问题,提出一种优化的基于Mask R-CNN框架的实例分割方法,构建了一种鸡只图像分割和轮廓提取网络,对鸡群图像进行分割,从而实现鸡只个体轮廓的提取。该网络以注意力机制、可变形卷积的41层深度残差网络（ResNet）和特征金字塔网络（Feature pyramid networks, FPN）相融合为主干网络,提取图像特征,并经区域生成网络（Region proposal networks, RPN）提取感兴趣区域（ROI）,最后通过头部网络完成鸡只目标的分类、分割和边框回归。鸡只图像分割试验表明,与Mask R-CNN网络相比,优化后网络模型精确率和精度均值分别从78.23%、84.48%提高到88.60%、90.37%,模型召回率为77.48%,可以实现鸡只轮廓的像素级分割。本研究可为鸡只福利状态和鸡只健康状况的实时监测提供技术支撑。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。