基于深度掩码的玉米植株图像分割模型

随着深度学习技术在植物表型检测领域的应用,有监督深度学习逐渐成为植物表型信息的提取与分析的主要方法。但由于植物结构复杂、细节特征多,人工标注的成本和质量问题已成为制约技术发展的瓶颈。该研究针对玉米苗期植株图像分割问题提出一种基于深度掩码的卷积神经网络（Depth Mask Convolutional Neural Network,DM-CNN）,将深度图像自动转换深度掩码图像,并替代人工标注样本完成图像分割网络训练。试验结果表明,在相同的网络训练参数下,通过测试DM-CNN得到的平均交并比为59.13%,平均召回率为65.78%,均优于人工标注样本对应的分割结果（平均交并比为58.49%,平均召回率为64.85%）;此外,在训练样本中加入10%室外玉米苗期图像后,DM-CNN对室外测试集的平均像素精度可以达到84.54%,证明DM-CNN具有良好的泛化能力。该研究可为高通量、高精度的玉米苗期表型信息获取提供低成本解决方案及技术支持。     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM(convolutional block attention module),改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

基于优化Transformer网络的绿色目标果实高效检测模型

果园环境中,检测目标果实易受复杂背景、果实姿态和颜色等因素影响,为提高绿色目标果实检测的精度与效率,满足果园智能测产和自动化采摘要求,本研究针对不同光照环境和果实姿态,提出一种适于样本数量不足的绿色目标果实高效检测模型.该模型采用优化Transformer结构,首先借助卷积神经网络(Convolutional Neur...     

基于深度学习的甜味剂分类模型

针对开发甜味剂过程中筛选百万级别甚至千万级别的天然或合成分子需要大量时间和资金的问题,该研究提出了一种基于深度学习的甜味剂分类模型.首先对数据集进行了扩增和优化,生成分子指纹以及分子图片,然后将注意力机制加入到DenseNet结构中,对分子特征和提取的特征进行融合.在20029个分子图像和分子指纹数据集上进行训练,并在...     

基于移位窗口Transformer网络的玉米田间场景下杂草识别

针对实际复杂田间场景中作物与杂草识别准确性与实时性差,易受交叠遮挡影响,像素级数据标注难以大量获取等问题,该研究提出基于移位窗口Transformer网络（Shifted Window Transformer,Swin Transformer）的高效识别方法,在实现作物语义分割的基础上快速分割杂草。首先建立玉米语义分割模型,引入Swin Transformer主干并采用统一感知解析网络作为其高效语义分割框架;改进Swin Transformer主干调整网络参数,生成4种改进模型,通过精度与速度的综合对比分析确定最佳模型结构;基于玉米形态分割,建立改进的图像形态学处理组合算法,实时识别并分割全部杂草区域。测试结果表明,该研究4种改进模型中,Swin-Tiny-UN达到最佳精度-速度平衡,平均交并比为94.83%、平均像素准确率为97.18%,推理速度为18.94帧/s。对于模拟实际应用的视频数据,平均正确检测率为95.04%,平均每帧检测时间为5.51′10-2 s。该方法有效实现了玉米与杂草的实时准确识别与精细分割,可为智能除草装备的研发提供理论参考。     

基于深度学习的玉米籽粒破损在线检测技术

玉米籽粒破损是制约中国玉米籽粒直收技术推广应用的瓶颈问题,如何快速准确地获取玉米收获过程中籽粒损伤情况是玉米智能化收获的关键。为了解决这一问题,该研究提出一种基于深度学习的玉米籽粒破损检测装置及方法,该方法采用籽粒单层化装置不断获取高质量玉米籽粒集图像数据,并通过深度学习分割、分类两阶段模型实现破损玉米籽粒检测。图像分割阶段通过深度学习经典实例分割模型（Mask R-CNN）完成区域内玉米籽粒单体分割;而图像分类则由该研究基于残差模块提出的新型网络模型（BCK-CNN）实现。为了评价BCK-CNN分类模型的有效性,将其和其他典型深度学习分类模型进行对比测试,并利用可视化的技术评估了不同模型对玉米籽粒的分类性能。结果表明：BCK-CNN模型对完整、破损玉米籽粒的分类准确性分别达到96.5%、94.2%。另外,选取平均相对误差为评价指标,通过模拟试验对比验证了该检测方法对破损玉米籽粒的检测性能。结果表明：相较于人工计算籽粒破损率,该研究提出的破损玉米籽粒检测方法计算得到的平均相对误差仅4.02%;且将其部署在移动工控机上对单周期玉米籽粒集图像检测时间可以控制在1.2 s内,研究结果为玉米收获过程中破损籽粒高效精准检测提供参考。     

基于深度学习的玉米拔节期冠层识别

为了满足田间玉米植株快速识别与检测的需求,针对玉米拔节期提出了基于深度学习的冠层识别方法,比较并选取了适于玉米植株精准识别和定位的网络模型,并研制了玉米植株快速识别和定位检测装置。首先拍摄玉米苗期和拔节期图像共计3 000张用于训练深度学习模型,针对拔节期玉米叶片交叉严重的问题,提出了以玉米株心取代玉米整株对象的标记策略。其次在Google Colab云平台训练SSDLite-MobileDet网络模型。为了实现田间快速检测,开发了基于树莓派4B+Coral USB的玉米冠层快速检测装置。结果表明,田间玉米冠层识别模型精度达到91%,检测视频的帧率达到89帧/s以上。研究成果可为田间玉米高精度诊断和精细化作业管理奠定基础。     

基于深度卷积神经网络的番茄主要器官分类识别方法

为实现番茄不同器官的快速、准确检测,提出一种基于深度卷积神经网络的番茄主要器官分类识别方法。在VGGNet基础上,通过结构优化调整,构建了10种番茄器官分类网络模型,在番茄器官图像数据集上,应用多种数据增广技术对网络进行训练,测试结果表明各网络的分类错误率均低于6.392%。综合考虑分类性能和速度,优选出一种8层网络用于番茄主要器官特征提取与表达。用筛选出的8层网络作为基本结构,设计了一种番茄主要器官检测器,结合Selective Search算法生成番茄器官候选检测区域。通过对番茄植株图像进行检测识别,试验结果表明,该检测器对果、花、茎的检测平均精度分别为81.64%、84.48%和53.94%,能够同时对不同成熟度的果和不同花龄的花进行有效识别,且在检测速度和精度上优于R-CNN和Fast R-CNN。     

基于自生成标签的玉米苗期图像实例分割

在植物图像实例分割任务中,由于植物种类与形态的多样性,采用全监督学习时人们很难获得足量、有效且低成本的训练样本。为解决这一问题,该研究提出一种基于自生成标签的玉米苗期图像实例分割网络（automatic labelling based instance segmentation network,AutoLNet）,在弱监督实例分割模型的基础上加入标签自生成模块,利用颜色空间转换、轮廓跟踪和最小外接矩形在玉米苗期图像（俯视图）中生成目标边界框（弱标签）,利用弱标签代替人工标签参与网络训练,在无人工标签条件下实现玉米苗期图像实例分割。试验结果表明,自生成标签与人工标签的距离交并比和余弦相似度分别达到95.23%和94.10%,标签质量可以满足弱监督训练要求;AutoLNet输出预测框和掩膜的平均精度分别达到68.69%和35.07%,与人工标签质量相比,预测框与掩膜的平均精度分别提高了10.83和3.42个百分点,与弱监督模型（DiscoBox和Box2Mask）相比,预测框平均精度分别提高了11.28和8.79个百分点,掩膜平均精度分别提高了12.75和10.72个百分点;与全监督模型（CondInst和Mask R-CNN）相比,AutoLNet的预测框平均精度和掩膜平均精度可以达到CondInst模型的94.32%和83.14%,比Mask R-CNN模型的预测框和掩膜平均精度分别高7.54和3.28个百分点。AutoLNet可以利用标签自生成模块自动获得图像中玉米植株标签,在无人工标签的前提下实现玉米苗期图像的实例分割,可为大田环境下的玉米苗期图像实例分割任务提供解决方案和技术支持。     

改进ResNet18网络模型的羊肉部位分类与移动端应用

针对传统图像分类模型泛化性不强、准确率不高以及耗时等问题,该研究构建了一种用于识别不同部位羊肉的改进ResNet18网络模型,并基于智能手机开发了一款可快速识别不同部位羊肉的应用软件。首先,使用数据增强方式对采集到的羊背脊、羊前腿和羊后腿肉的原始手机图像进行数据扩充;其次,在ResNet18网络结构中引入附加角裕度损失函数（ArcFace）作为特征优化层参与训练,通过优化类别的特征以增强不同部位羊肉之间的类内紧度和类间差异,同时将ResNet18网络残差结构中的传统卷积用深度可分离卷积替换以减少网络参数量,提高网络运行速度;再次,探究了不同优化器、学习率和权重衰减系数对网络收敛速度和准确率的影响并确定模型参数;最后,将该网络模型移植到安卓（Android）手机以实现不同部位羊肉的移动端检测。研究结果表明,改进ResNet18网络模型测试集的准确率高达97.92%,相比ResNet18网络模型提高了5.92个百分点;把改进ResNet18网络模型部署到移动端后,每张图片的检测时间约为0.3 s。该研究利用改进ResNet18网络模型结合智能手机图像实现了不同部位羊肉的移动端快速准确分类,为促进羊肉的智能化检测及羊肉市场按质论价提供了技术支持。     

基于SVM和区域生长结合算法的南方主要蔬菜害虫分类识别

该文基于支持向量机（support vector machine,SVM）与区域生长结合算法,设计了对黄曲条跳甲、烟粉虱、小菜蛾、蓟马这四类蔬菜害虫进行分类识别的检测算法。该方案将识别过程融入到分割中,采用网格法进行区域生长种子点的选取,简化图像处理的步骤。该文每种蔬菜害虫训练样本图像为60幅,测试样本为40幅。试验展示,基于其形态、颜色特征,该算法可以将南方重大蔬菜害虫正确分割识别出来,对黄曲条跳甲、烟粉虱、小菜蛾、蓟马成功率为分别为96.4%、93.2%、95.4%、98.2%,算法达到了对多种害虫进行分类的效果,有较好的应用前景。     

基于深层神经网络的猪声音分类

猪的声音能够反映生猪的应激状态以及健康状况,同时声音信号也是最容易通过非接触方式采集到的生物特征之一。深层神经网络在图像分类研究中显示了巨大优势。谱图作为一种可视化声音时频特征显示方式,结合深层神经网络分类模型,可以提高声音信号分类的精度。现场采集不同状态的猪只声音,研究适用于深层神经网络结构的最优谱图生成方法,构建了猪只声音谱图的数据集,利用Mobile Net V2网络对3种状态猪只声音进行分类识别。通过分析对比不同谱图参数以及网络宽度因子和分辨率因子,得出适用于猪只声音分类的最优模型。识别精度方面,通过与支持向量机,随机森林,梯度提升决策树、极端随机树4种模型进行对比,验证了算法的有效性,异常声音分类识别精度达到97.3%。该研究表明,猪只的异常发声与其异常行为相关,因此,对猪只的声音进行识别有助于对其进行行为监测,对建设现代化猪场具有重要意思。     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。     

基于轻量级神经网络MobileNetV3-Small的鲈鱼摄食状态分类

在集约化水产养殖过程中,饲料投喂是控制养殖成本,提高养殖效率的关键。室外环境复杂多变且难以控制,适用于此环境的移动设备计算能力较弱,通过识别鱼类摄食状态实现智能投喂仍存在困难。针对此种现象,该研究选取了轻量级神经网络MobileNetV3-Small对鲈鱼摄食状态进行分类。通过水上摄像机采集水面鲈鱼进食图像,根据鲈鱼进食规律选取每轮投喂后第80～110秒的图片建立数据集,经训练后的MobileNetV3-Small网络模型在测试集的准确率达到99.60%,召回率为99.40%,精准率为99.80%,F1分数为99.60%。通过与ResNet-18, ShuffleNetV2和MobileNetV3-Large深度学习模型相比,MobileNetV3-Small模型的计算量最小为582 M,平均分类速率最大为39.21帧/s。与传统机器学习模型KNN（K-Nearest Neighbors）、SVM（Support Vector Machine）、GBDT（Gradient Boosting Decision Tree）和Stacking相比,MobileNetV3-Small模型的综合准确率高出12.74、23.85、3.60和2.78个百分点。为进一步验证该模型有效性,在室外真实养殖环境进行投喂试验。结果显示,与人工投喂相比,基于该分类模型决策的鲈鱼投喂方式的饵料系数为1.42,质量增加率为5.56%。在室外真实养殖环境下,MobileNetV3-Small模型对鲈鱼摄食状态有较好的分类效果,基于该分类模型决策的鲈鱼投喂方式在一定程度上能够代替养殖人员进行决策,为室外集约化养殖环境下的高效智能投喂提供了参考。     

深度多分支模型融合网络的胡萝卜缺陷识别与分割

缺陷检测是胡萝卜上市销售前的重要环节,开裂缺陷区域的分割提取是开裂胡萝卜修整的必要条件.基于图像处理的传统的胡萝卜表面缺陷识别算法复杂,通用性、鲁棒性较差.该研究提出一种集胡萝卜缺陷种类识别(C-Net)和开裂缺陷分割(S-Net)为一体的深度多分支模型融合网络(CS-Net).C-Net将预训练的ResNet-50作...     

基于自注意力机制与无锚点的仔猪姿态识别

在猪场养殖过程中,仔猪姿态识别对其健康状况和环境热舒适度监测有重要意义。仔猪个体较小,喜欢聚集、扎堆,且姿态随意性较大,给姿态识别带来困难。为此,该研究结合Transformer网络与无锚点目标检测头,提出了一种新的仔猪姿态识别模型TransFree（Transformer + Anchor-Free）。该模型使用Swin Transformer作为基础网络,提取仔猪图像的局部和全局特征,然后经过一个特征增强模块（Feature Enhancement Module,FEM）进行多尺度特征融合并得到高分辨率的特征图,最后将融合后的特征图输入Anchor-Free检测头进行仔猪的定位和姿态识别。以广东佛山市某商业猪场拍摄的视频作为数据源,从12个猪栏的拍摄视频中选取9栏作为训练集,3栏作为测试集,训练集中仔猪的俯卧、侧卧和站立3类姿态总计19 929个样本,测试集中3类姿态总计5 150个样本。在测试集上,TransFree模型的仔猪姿态识别精度达到95.68%,召回率达到91.18%,F1-score达到93.38%;相较于CenterNet、Faster R-CNN和YOLOX-L目标检测网络,F1-score分别提高了2.32、4.07和2.26个百分点。该文提出的TransFree模型实现了仔猪姿态的高精度识别,为仔猪行为识别提供了技术参考。