基于U-Net模型的含杂水稻籽粒图像分割

含杂率是水稻联合收获机的重要收获性能指标之一,作业过程中收获籽粒掺杂的杂质包含作物的枝梗和茎秆等,为了探索籽粒含杂率和机器作业参数之间的关联,需要实时获取籽粒含杂率数据。该文基于机器视觉的U-Net模型对联合收获机水稻收获籽粒图像进行分割,针对传统分割算法中存在运算量大、耗时多、图像过分割严重和分割参数依赖人为经验难以应对各种复杂谷物图像等问题,采用深度学习模型多次训练学习各分割类别的像素级图像特征,提出基于U-Net深度学习模型的收获水稻籽粒图像中谷物、枝梗和茎秆的分割方法,采用改进的U-Net网络增加网络深度并加入Batch Normalization层,在小数据集上获得更丰富的语义信息,解决图像训练数据匮乏和训练过拟合问题。选取田间试验采集的50张收获水稻籽粒图像,采用Labelme方式进行标注和增强数据,裁剪1 000张256像素×256像素小样本,其中700张作为训练集,300张作为验证集,建立基于改进U-Net网络的收获水稻籽粒图像分割模型。采用综合评价指标衡量模型的分割准确度,对随机选取的60张8位RGB图像进行验证。试验结果证明,水稻籽粒的分割综合评价指标值为99.42%,枝梗的分割综合评价指标值为88.56%,茎秆的分割综合评价指标值为86.84%。本文提出的基于U-Net模型的收获水稻籽粒图像分割算法能够有效分割水稻籽粒图像中出现的谷物、枝梗和茎秆,时性更强、准确度更高,可为后续收获水稻籽粒图像的进一步识别处理提供技术支撑,为水稻联合收获机含杂率实时监测系统设计提供算法参考。     

基于OpenCV的大豆籽粒多表型参数获取算法

大豆籽粒的表型参数获取对大豆育种具有重要的作用。现有的深度学习算法获取的大豆籽粒表型性状较少,且识别表型的神经网络模型训练成本高。该研究基于OpenCV图像处理库,提出了一种提取大豆籽粒多表型参数的算法,从大豆图像中一次性获取籽粒的多种表型性状参数,同时能识别大豆的优劣品质。将每个待测大豆单株的所有籽粒拍成一张图像,首先对大豆籽粒图像进行二值化、去噪等预处理,然后采用分水岭算法和改进的目标分割算法提取图像中的大豆籽粒轮廓。根据大豆籽粒的轮廓信息,调用OpenCV图像处理函数计算大豆籽粒的个数、长轴长度、短轴长度、面积、周长等多个表型性状参数。引入圆形度识别残缺大豆籽粒,使用RGB阈值判断识别病变大豆籽粒。测试结果表明,采用该文算法计算的颗粒总数识别率为98.4%,大豆籽粒正确识别率为95.2%,破损大豆和病变大豆的识别率分别为91.25%和88.94%,籽粒的长轴长度与短轴长度的测量精度分别为96.8%、95.8%;引入多进程并行计算,该算法处理215张图片时间为248.9 s,相对于单进程计算缩短了约2/3,实现了低成本高通量的高精度大豆籽粒多表型性状参数的自动获取,为大豆籽粒自动化...     

基于深度掩码的玉米植株图像分割模型

随着深度学习技术在植物表型检测领域的应用,有监督深度学习逐渐成为植物表型信息的提取与分析的主要方法。但由于植物结构复杂、细节特征多,人工标注的成本和质量问题已成为制约技术发展的瓶颈。该研究针对玉米苗期植株图像分割问题提出一种基于深度掩码的卷积神经网络（Depth Mask Convolutional Neural Network,DM-CNN）,将深度图像自动转换深度掩码图像,并替代人工标注样本完成图像分割网络训练。试验结果表明,在相同的网络训练参数下,通过测试DM-CNN得到的平均交并比为59.13%,平均召回率为65.78%,均优于人工标注样本对应的分割结果（平均交并比为58.49%,平均召回率为64.85%）;此外,在训练样本中加入10%室外玉米苗期图像后,DM-CNN对室外测试集的平均像素精度可以达到84.54%,证明DM-CNN具有良好的泛化能力。该研究可为高通量、高精度的玉米苗期表型信息获取提供低成本解决方案及技术支持。     

基于Swin Transformer模型的玉米生长期分类

快速准确识别玉米生长的不同阶段,对于玉米种植周期的高效精准管理具有重要意义。针对大田环境下玉米生长阶段分类辨识易受复杂背景、户外光照等因素影响的问题,该研究采用无人机获取玉米不同生长阶段的图像信息,以苗期、拔节期、小喇叭口期、大喇叭口期4个生长阶段为对象,利用Swin Transformer模型引入迁移学习实现玉米不同生长阶段的快速识别。首先结合玉米垄面走向特性,将训练集旋转8次用以扩充数据集;为探究各模型在非清晰数据集上的表现,采用高斯模糊方法将测试集转换6次;最后以AlexNet,VGG16,GoogLeNet做为对比,评估Swin-T模型性能。试验结果表明,Swin-T模型在原始测试集的总体准确率为98.7%,相比于AlexNet,VGG16,GoogLeNet模型分别高出6.9、2.7和2.0个百分点;在错误分类中,大喇叭口期和小喇叭口期由于冠层特征相似,造成识别错误的概率最大;在非清晰数据集下,AlexNet,VGG16,GoogLeNet模型精度总体退化指数分别为12.4%、10.4%和15.0%,Swin-T模型总体退化指数为8.31%,并且退化均衡度、平均退化指数、最大退化准确率均表现最佳。研究结果表明：在分类精度、模糊图像输入等方面,Swin-T模型能够较好地满足实际生产中,玉米不同生长阶段分类识别的实际需求,可为玉米生长阶段的智能化监测提供技术支撑。     

基于RGB-D相机的玉米茎粗测量方法

为实现田间玉米茎粗的快速测量,提出了一种基于RGB-D(RGB-Depth)相机的玉米茎粗参数提取方法。以小喇叭口期玉米为观测对象,利用RGB-D相机获取田间玉米的彩色图像和深度图像。首先,根据玉米与背景的颜色差异,对图像进行自动阈值分割,提取图像中感兴趣区域内的信息;利用形态学"开"操作剔除图像中的噪声,得到玉米茎杆的主干。其次,对茎杆主干进行骨架化操作,检测骨架的交叉点和末端点,确定茎杆的待测量部位。然后,对该部位的点云数据进行去噪、聚类、椭圆拟合操作,得到椭圆的长轴和短轴,获得玉米的茎粗。对20株玉米进行测试,结果表明:茎粗长轴的平均测量误差为3.31 mm,标准差为3.01 mm,平均测量相对误差为10.27%,茎粗短轴的平均测量误差为3.33 mm,标准差为2.39 mm,平均测量相对误差为12.71%。该研究可为作物表型参数的快速获取提供参考。     

基于机器视觉的多个玉米籽粒胚部特征检测

为了利用机器视觉进行多个玉米种子品种的自动识别,该文提出了一种针对多个玉米籽粒进行胚部检测的方法。该方法基于阈值分割和形态学,在RGB空间,采用自动屏蔽0值像素的大津法（Otsu法）,根据B分量值对多粒玉米籽粒扫描图像进行分割,并采用改进的开闭运算对分割后的图像进行修整,最终得到多个玉米籽粒胚部区域。以4个黄玉米品种各45个籽粒为实验对象,以此方法进行胚部检测,为了验证所得胚部区域有效,提取胚部区域面积、周长分别与手工测量的面积、周长进行线性回归分析,R2的均值分别达到0.9834、0.9578;进一步提取所得胚部区域的形状参数,进行聚类识别,不同品种间的差距值反映了不同品种胚部视觉效果上的差异大小,4个品种中1种识别率为97.8%,其余3种均为100%;多个玉米胚部检测较每个籽粒单独处理的效率提高了29.59%。试验结果表明本文提出的多个玉米籽粒胚部检测方法可行。此研究结果为进一步研究玉米籽粒的胚部特征提供了有利条件,也为实现玉米品种的快速准确分类提供了参考。     

轴流螺旋滚筒式食用向日葵脱粒装置设计与试验

针对食葵脱粒过程中籽粒表皮划伤严重及未脱净率高等问题,该研究设计了一种轴流螺旋滚筒式食葵脱粒装置。脱粒元件为外径32 mm的螺旋管,对物料在脱粒空间的运移过程进行运动学与动力学分析,确定脱粒元件螺旋管螺旋升角为63°,螺距为2 800 mm。以葵花3638为对象进行台架试验,通过单因素试验探索喂入量、滚筒转速及脱粒间隙对籽粒未脱净率和破损率的影响,根据单因素试验结果,以喂入量、滚筒转速、脱粒间隙为影响因素,未脱净率和破损率为响应指标,进行二次回归正交旋转组合试验,利用Design-Expert软件建立响应指标与影响因素之间的数学模型,基于响应面法进行参数优化,获得脱粒装置在喂入量1.4 kg/s,滚筒转速300 r/min,脱粒间隙35 mm的参数组合下脱粒效果较好,此时未脱净率为0.55%,破损率1.76%。以优化参数组合进行验证试验,结果表明,未脱净率为0.59%、破损率为1.77%,与模型预测值的相对误差均小于5%。该装置未脱净率与破损率均低于现有向日葵脱粒机,满足向日葵机械化收获标准。该研究为食葵机械化收获装备的研制提供理论参考。     

基于全景图像的玉米果穗流水线考种方法及系统

为提高玉米果穗考种效率和精度,该文提出一种基于全景图像的玉米果穗流水线考种方法和系统。利用托辊传送装置实现果穗自动连续推送,基于工业相机自动检测果穗运动状态并实时采集图像,获取覆盖果穗全表面的图像序列;建立果穗运动、摄像机成像、表面拼接关系,从图像序列中抽取果穗中心畸变最小区域拼接出果穗表面全景图像;最后,结合果穗边界检测、籽粒分割和有效性鉴定等技术提取出果穗表面上有效籽粒。试验结果表明,该文方法和系统较好地平衡了玉米果穗考种的效率和精度,图像采集和计算平均效率达15穗/min和4穗/min,穗长和穗行数指标计算精度可达99%和98.89%,可为研发全自动、高通量玉米果穗表型检测装置提供有益借鉴。     

基于分裂Bregman算法的玉米种子品种识别

摘要：玉米品种的纯度和玉米产量密切相关,因此玉米品种的筛选对提高粮食产量具有非常重要的作用。基于机器视觉的自动品种筛选技术通常分为图像分割、特征获取和分类等三步。图像分割的精度直接决定了种子识别准确度。在众多的图像分割技术中,本研究尝试将图像分割变分模型及其对应的数值求解方法-分裂Bregman算法应用于玉米种子自动识别中。该方法具有精度高,分割边界封闭连续等有利于玉米特征提取的优点。此外,本文还将自适应小波配置法用于求解分裂Bregman算法中的最优条件,得到一种更为精确高效的分裂Bregman算法。进而结合改进分裂Bregman算法得到的不同玉米品种特征和支持向量机技术得到了一种新的玉米品种分类器。采用该方法对玉米品种农大108和鲁丹981进行实验,识别精度分别达到97.3%和98%,相对于由其他分割方法得到的分类结果精度（95%）要高。     

基于深度学习多源数据融合的生菜表型参数估算方法

生菜外部表型参数的无损、高精度估算对全天候生长监测意义重大。为提高生菜表型参数估算模型泛化性能,以基质培生菜为研究对象,提出了基于深度学习的融合二维RGB图像和深度（Depth）图像的生菜表型参数（湿质量、干质量、株高、直径、叶面积）高精度估算方法。采集4个生菜品种生长全过程的表型参数数据集,包含RGB图像、深度图像和人工测量的表型参数,共388个样本。对RGB图像和深度图像进行背景分割和数据归一化,输入构建的深度学习多源数据融合模型对5种表型参数进行同步回归训练。试验表明,该研究方法对5种表型参数的估算决定系数均高于0.94,平均绝对百分比误差均低于8%,而传统特征提取+机器学习方法对部分表型参数估算的平均绝对百分比误差高达13%以上,表明该研究估算方法具有较高的精度。消融试验表明融合RGB和深度图像的深度学习模型优于仅使用单源图像的模型,尤其在株高、直径和叶面积的估算上。对生菜不同品种和不同生长阶段的估算结果表明该模型适用于不同颜色、形状的生菜品种,亦对不同生长阶段、不同植株大小的生菜具有一定的适应性。因此,该研究提出的基于深度学习多源数据融合模型的生菜表型参数估算方法性能优异,对设施蔬菜生长监测和产量预估有重要的应用价值。     

改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法

基于深度神经网络的果实识别和分割是采摘机器人作业成功的关键步骤,但由于网络参数多、计算量大,导致训练时间长,当模型部署到采摘机器人上则存在运行速度慢,识别精度低等问题。针对这些问题,该研究提出了一种改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法,采用跨阶段局部网络（Cross Stage Partial Network,CSPNet）与Mask R-CNN网络中的残差网络（Residual Network,ResNet）进行融合,通过跨阶段拆分与级联策略,减少反向传播过程中重复的特征信息,降低网络计算量的同时提高准确率。在番茄果实测试集上进行试验,结果表明以层数为50的跨阶段局部残差网络（Cross Stage Partial ResNet50,CSP- ResNet50）为主干的改进Mask R-CNN模型对绿熟期、半熟期、成熟期番茄果实分割的平均精度均值为95.45%,F1分数为91.2%,单张图像分割时间为0.658 s。该方法相比金字塔场景解析网络（Pyramid Scene Parsing Network,PSPNet）、DeepLab v3+模型和以ResNet50为主干的Mask R-CNN模型平均精度均值分别提高了16.44、14.95和2.29个百分点,相比以ResNet50为主干的Mask R-CNN模型分割时间减少了1.98%。最后将以CSP- ResNet50为主干的改进Mask R-CNN模型部署到采摘机器人上,在大型玻璃温室中开展不同成熟度番茄果实识别试验,该模型识别正确率达到90%。该研究在温室环境下对不同成熟度番茄果实具有较好的识别性能,可为番茄采摘机器人精准作业提供依据。     

基于改进Cascade Mask R-CNN与协同注意力机制的群猪姿态识别

猪体姿态识别有助于实现猪只健康状况预警、预防猪病爆发,是当前研究热点。针对复杂场景下群猪容易相互遮挡、粘连,姿态识别困难的问题,该研究提出一种实例分割与协同注意力机制相结合的两阶段群猪姿态识别方法。首先,以Cascade Mask R-CNN作为基准网络,结合HrNetV2和FPN模块构建猪体检测与分割模型,解决猪体相互遮挡、粘连等问题,实现复杂环境下群猪图像的高精度检测与分割;在上述提取单只猪基础上,构建了基于协同注意力机制(coordinate attention,CA)的轻量级猪体姿态识别模型(CA-MobileNetV3),实现猪体姿态的精准快速识别。最后,在自标注数据集上的试验结果表明,在猪体分割与检测环节,该研究所提模型与MaskR-CNN、MSR-CNN模型相比,在AP_0.50、AP_0.75、AP_0.50:0.95和AP_{0.5:0.95-large}指标上最多提升了1.3、1.5、6.9和8.8个百分点,表现出最优的分割与检测性能。而在猪体姿态识别环节,所提CA-MobileNetV3模...     

基于CSS-Cascade Mask R-CNN的有遮挡多片烟叶部位识别

烟叶的部位信息是进行烟叶分级的重要参考信息,准确识别烟叶部位对实现烟叶智能分级具有重要意义。在实际的烟叶智能分级应用中,为了提高分级效率,需要对多片烟叶等级进行同步识别。受现行上料方式的限制,同步识别的多片烟叶间往往存在局部遮挡的问题,给烟叶的目标检测和部位识别带来挑战。该研究提出一种基于改进Cascade Mask R-CNN,融合通道、非局部和空间注意力机制（channel-nonlocal-space attation）,并引入柔性极大值抑制检测框交并操作（soft non-max-suppression）与斯库拉交并比损失函数（SIoU）的目标检测与识别模型（CSS-Cascade Mask R-CNN）。该模型对Cascade Mask R-CNN进行了三方面的改进：一是在其骨干网络Resent101上同时引入通道、非局部、空间3种注意力机制,使网络更加关注未被遮挡且部位特征明显区域的显著度;二是将Cascade Mask R-CNN中的损失函数SmoothL1Loss替换为SIoU损失函数,将预测框与真实框之间的方向差异引入到模型训练中提高模型检测精度;三是在筛选候选框时将常规的非极大抑制（non-max-suppression）替换为柔性非极大抑制,以避免删除候选框造成信息丢失。试验结果表明,利用提出的模型对有遮挡多片烟叶进行检测和部位识别,检测框平均准确率均值（bbox_mAP50）达到了80.2%,与改进前的Cascade Mask R-CNN模型相比提高了7.5个百分点。提出的模型与多个主流的目标检测模型（YOLO VX、YOLO V3、YOLO V5、Mask R-CNN、Cascade R-CNN）相比,也分别高出7.1、10.2、5.8、9.2、8.4个百分点,尤其是对较难区分的下部烟叶优势明显,因此研究结果可以为有遮挡多片烟叶部位的检测识别提供参考。     

基于自生成标签的玉米苗期图像实例分割

在植物图像实例分割任务中，由于植物种类与形态的多样性，采用全监督学习时人们很难获得足量、有效且低成本的训练样本。为解决这一问题，该研究提出一种基于自生成标签的玉米苗期图像实例分割网络（automatic labelling based instance segmentation network，AutoLNet），在弱监督实例分割模型的基础上加入标签自生成模块，利用颜色空间转换、轮廓跟踪和最小外接矩形在玉米苗期图像（俯视图）中生成目标边界框（弱标签），利用弱标签代替人工标签参与网络训练，在无人工标签条件下实现玉米苗期图像实例分割。试验结果表明，自生成标签与人工标签的距离交并比和余弦相似度分别达到95.23%和94.10%，标签质量可以满足弱监督训练要求；AutoLNet输出预测框和掩膜的平均精度分别达到68.69%和35.07%，与人工标签质量相比，预测框与掩膜的平均精度分别提高了10.83和3.42个百分点，与弱监督模型（DiscoBox和Box2Mask）相比，预测框平均精度分别提高了11.28和8.79个百分点，掩膜平均精度分别提高了12.75和10.72个百分点；与全监督模型（CondInst和Mask R-CNN）相比，AutoLNet的预测框平均精度和掩膜平均精度可以达到CondInst模型的94.32%和83.14%，比Mask R-CNN模型的预测框和掩膜平均精度分别高7.54和3.28个百分点。AutoLNet可以利用标签自生成模块自动获得图像中玉米植株标签，在无人工标签的前提下实现玉米苗期图像的实例分割，可为大田环境下的玉米苗期图像实例分割任务提供解决方案和技术支持。     

采用改进Mask R-CNN算法定位鲜食葡萄疏花夹持点

为实现鲜食葡萄疏花机械化与自动化,该研究提出了一种鲜食葡萄疏花夹持点定位方法。首先基于ResNeXt骨干网络并融合路径增强,改进Mask R-CNN模型,解决鲜食葡萄花穗、果梗目标较小难以检测的问题;进而针对花穗、果梗生长姿态的复杂性与不确定性,提出一种集合逻辑算法,该算法采用IoU函数剔除重复检测的花穗与果梗,建立花穗、果梗对,并对果梗掩模进行形态学开运算,利用集合关系获取主果梗掩模,确定以主果梗质心附近的中心点为果梗的夹持点。最后,随机选取测试集中的图像进行试验。试验结果表明：果梗夹持点平均定位准确率为83.3%,平均定位时间为0.325 s,夹持点x、y方向定位误差及定位总误差最大值分别为10、12和16像素,能够满足鲜食葡萄疏花的定位精度与速度要求,可为实现鲜食葡萄疏花机械化与自动化提供理论支撑。     

基于改进Mask R-CNN的番茄侧枝修剪点识别方法

为解决番茄枝叶修剪机器人无法准确识别番茄侧枝修剪点的问题,提出基于改进Mask R-CNN模型的番茄侧枝修剪点的识别方法。将Mask R-CNN的主干网络ResNet50替换为MobileNetv3-Large来降低模型复杂度和提升运行速度,并对部分特征图添加ECA(Efficient Channel Attention)注意力机制,以提升模型精度;通过改进的Mask R-CNN模型预测番茄侧枝与主枝的分割掩膜和边框位置;针对部分单根枝条被分割成多段掩膜的问题,通过掩膜边界框宽高比区分侧枝和主枝,分析同一枝条相邻掩膜约束条件,然后将符合约束条件的掩膜进行合并连接;根据修剪点在主枝附近的特点确定修剪点所在端,然后确定靠近修剪端端点的中心点作为侧枝的修剪点。试验结果表明,改进的Mask R-CNN模型平均分割图片时间为0.319s,召回率和精确率分别为91.2%和88.6%,掩膜平均合并成功率为86.2%,修剪点识别平均准确率为82.9%。该研究为番茄枝叶修剪机器人的研发提供参考。     

基于改进Mask R-CNN模型的植物叶片分割方法

通过图像处理对植物叶片进行分割是研究植物表型性状的基础,但叶片间相互遮挡、叶片边缘特征不明显以及幼叶目标过小会对叶片分割效果造成很大的障碍.针对上述问题,该研究提出了一种基于改进Mask R-CNN模型的植物叶片分割方法,通过引入级联检测模块对模型检测分支进行改进,以提高遮挡叶片检测质量;利用注意力机制和一个2层3×3...     

基于RGB图像与深度学习的冬小麦田间长势参数估算系统

为准确、快速获取冬小麦田间长势信息,该研究设计并实现了一种基于深度学习的冬小麦田间长势参数估算系统。该系统主要包含长势参数估算模块和麦穗计数模块。长势参数估算模块基于残差网络ResNet18构建长势参数估算模型,实现了冬小麦苗期叶面积指数（Leaf Area Index,LAI）和地上生物量（Above Ground Biomass,AGB）的估算,并基于迁移学习进行泛化能力测试;麦穗计数模块基于Faster R-CNN并结合非极大值抑制（Non Maximum Suppression,NMS）构建麦穗计数模型,实现了开花期麦穗准确计数。结果表明,针对2017-2018和2018-2019两个生长季数据,基于ResNet18的长势参数估算模型对LAI估算的决定系数分别为0.83和0.80,对AGB估算的决定系数均为0.84,优于基于传统卷积神经网络（Convolutional Neural Networks,CNN）、VGG16和GoogLeNet构建的估算模型,并且泛化能力测试表明该模型对数据的季节性差异鲁棒。基于Faster R-CNN的麦穗计数模型,在利用NMS优化后决定系数从0.66增至0.83,提升了25.8%,NRMSE从0.19降至0.05,下降了73.7%。相较于基于CNN构建的分类计数模型,基于Faster R-CNN+NMS的麦穗计数模型表现更优,决定系数为0.83,提升了33.87%,单个麦穗识别时间为1.009 s,效率提升了20.55%。综上所述,该系统能够满足冬小麦田间长势参数估算需求,为冬小麦田间精细化管理提供支撑。     

复杂环境下柿子和苹果绿色果实的优化SOLO分割算法

为了实现果园复杂环境下柿子和苹果绿色果实的精准分割,该研究提出了一种基于SOLO的绿色果实优化分割算法。首先,利用分离注意力网络（ResNeSt）设计SOLO算法的主干网络,用于提取绿色果实特征;其次,为更好地应对绿色果实特征的多尺度问题,引入特征金字塔网络（Feature Pyramid Networks,FPN）,构造ResNeSt+FPN组合结构;最后,将SOLO算法分为类别预测和掩码生成2个分支,类别预测分支在预测语义类别的同时,掩码生成分支实现了对绿色果实的实例分割。试验结果表明,优化SOLO分割算法的平均召回率和精确率分别达到94.84%和96.16%,平均每张绿色果实图像在图形处理器（Graphics Processing Unit,GPU）上的分割时间为0.14 s。通过对比试验可知,优化SOLO分割算法的召回率分别比优化掩膜区域卷积神经网络算法（Optimized Mask Region Convolutional Neural Network,Optimized Mask R-CNN）、SOLO算法、掩膜区域卷积神经网络算法（Mask Region Convolutional Neural Network,Mask R-CNN）和全卷积实例感知语义分割算法（Fully Convolutional Instance-aware Semantic Segmentation,FCIS）提高了1.63、1.74、2.23和6.52个百分点,精确率分别提高了1.10、1.47、2.61和6.75个百分点,分割时间缩短了0.06、0.04、0.11和0.13 s。该研究算法可为其他果蔬的果实分割提供理论借鉴,扩展果园测产和机器采摘的应用范围。