基于深度卷积神经网络的田间麦穗密度估计及计数

小麦的最终产量可由单位面积的小麦麦穗数侧面反映,为了快速准确统计小麦麦穗数,该研究给出一种在单幅图像上利用深度卷积神经网络估计田间麦穗密度图并进行麦穗计数的方法。首先对采集的田间小麦图像进行直方图均衡化及阈值分割预处理,以减少图像中光照及一些复杂背景对计数的影响;然后根据灌浆期田间小麦图像麦穗密集的特点,引入拥挤场景识别网络（Congested Scene Recognition Network,CSRNet）构建麦穗密度图估计模型,并采用迁移学习方法,利用小麦图像公开数据集对模型进行预训练,再用所采集的小麦图像数据集进行模型参数调整和优化;利用得到的模型生成单幅小麦图像的麦穗密度图,根据密度图中所有密度值的总和对图像进行麦穗计数。最后根据对单幅麦穗图像的试验数据,构建田间麦穗计数函数模型,实现田间小麦麦穗数估计。通过对所采集的安农170、苏麦188、乐麦608和宁麦24这4个品种共296幅小麦图像进行试验,平均绝对误差（Mean Absolute Error,MAE）和均方根误差（Root Mean Squared Error,RMSE）分别为16.44和17.89,4个品种小麦的麦穗计数值与真实值的决定系数R2均在0.9左右,表明该方法对单幅图像小麦麦穗计数精度较高。此外,通过对田间小麦麦穗数进行估计试验,结果表明,随面积的增大麦穗估计的误差越小,研究结果可以为小麦的产量自动估计提供参考。     

基于无人机图像的多尺度感知麦穗计数方法

小麦是世界上重要的粮食作物,其产量的及时、准确预估对世界粮食安全至关重要,小麦穗数是估产的重要数据,因此该研究通过构建普适麦穗计数网络（Wheat Ear Counting Network,WECnet）对灌浆期小麦进行精准的计数与密度预估。选用多个国家不同品种的麦穗图像进行训练,并且对数据集进行增强,以保证麦穗多样性。在原始人群计数网络CSRnet基础上,针对小麦图像特点构建WECnet网络。在网络前端,通过使用VGG19的前12层进行特征提取,同时与上下文语义特征进行融合,充分提取麦穗的特征信息。后端网络使用不同空洞率的卷积加大感受野,输出高质量的密度图。为了验证模型的可迁移性与普适性,该研究通过基于全球小麦数据集训练好的模型对无人机实拍的麦田图像进行计数。试验结果表明：在全球小麦数据集上,WECnet训练模型的决定系数、均方根误差（Root Mean Square Error,RMSE）与平均绝对误差（Mean Absolute Error,MAE）分别达到了0.95、6.1、4.78。在无人机拍摄图像计数中,决定系数达到0.886,整体错误率仅为0.23%,平均单幅小麦图像计数时间为32 ms,计数速度与精度均表现优异。结果表明,普适田间小麦计数模型WECnet可以对无人机获取图像中小麦的准确计数及密度预估提供数据参考。     

改进YOLOv5测量田间小麦单位面积穗数

单位面积穗数是决定小麦产量的主要因素之一。针对人工清点小麦穗数的方法容易受主观因素影响、效率低和图像处理方法鲜有进行系统部署等问题,提出一种注意力模块（Convolutional Block Attention Module,CBAM）与YOLOv5相结合的CBAM-YOLOv5网络结构,通过对特征图进行自适应特征细化,实现更准确的单位面积穗数测量。该研究以本地采集小麦图像数据和网络公开小麦图像数据为数据集,设置输入图像分辨率为1 280,得到CBAM-YOLOv5模型,可以达到0.904的F1分数和0.902的平均精度,测试集计数的平均相对误差为2.56%,平均每幅图像耗时0.045 s,综合对比,CBAM-YOLOv5模型具有显著优势。模型放置于服务器,结合手机端软件和辅助装置,形成单位面积穗数测量系统,实现育种小区麦穗图像实时采集、处理和计数,计数的平均相对误差为2.80%,抗环境干扰性强。该研究方法与装置可以实现田间小麦单位面积穗数的实时在线检测,降低主观误差,具有较高的准确率及较强的鲁棒性,为小麦单位面积穗数快速、准确估测提供一种新的技术和装备支撑。     

融合卷积神经网络与视觉注意机制的苹果幼果高效检测方法

果实表型数据高通量、自动获取是果树新品种育种研究的基础,实现幼果精准检测是获取生长数据的关键。幼果期果实微小且与叶片颜色相近,检测难度大。为了实现自然环境下苹果幼果的高效检测,采用融合挤压激发块(Squeeze-and-Excitation block, SE block)和非局部块(Non-Local block, NL block)两种视觉注意机制,提出了一种改进的YOLOv4网络模型(YOLOv4-SENL)。YOLOv4模型的骨干网络提取高级视觉特征后,利用SE block在通道维度整合高级特征,实现通道信息的加强。在模型改进路径聚合网络(Path Aggregation Network, PAN)的3个路径中加入NL block,结合非局部信息与局部信息增强特征。SE block和NL block两种视觉注意机制从通道和非局部两个方面重新整合高级特征,强调特征中的通道信息和长程依赖,提高网络对背景与果实的特征捕捉能力。最后由不同尺寸的特征图实现不同大小幼果的坐标和类别计算。经过1 920幅训练集图像训练,网络在600幅测试集上的平均精度为96.9%,分别比SSD、Faster R-CNN和YOLOv4模型的平均精度提高了6.9百分点、1.5百分点和0.2百分点,表明该算法可准确地实现幼果期苹果目标检测。模型在480幅验证集的消融试验结果表明,仅保留YOLOv4-SENL中的SE block比YOLOv4模型精度提高了3.8百分点;仅保留YOLOv4-SENL中3个NL block视觉注意模块比YOLOv4模型的精度提高了2.7百分点;将YOLOv4-SENL中SE block与NL blocks相换,比YOLOv4模型的精度提高了4.1百分点,表明两种视觉注意机制可在增加少量参数的基础上显著提升网络对苹果幼果的感知能力。该研究结果可为果树育种研究获取果实信息提供参考。     

基于小麦群体图像的田间麦穗计数及产量预测方法

在田间小麦测产时,需人工获取田间单位面积内的麦穗数和穗粒数,耗时耗力。为了快速测量小麦田间单位面积内的产量,该文利用特定装置以田间麦穗倾斜的方式获取田间麦穗群体图像,通过转换图像颜色空间RGB→HSI,提取饱和度S分量图像,然后把饱和度S分量图像转换成二值图像,再经细窄部位粘连去除算法进行初步分割,再由边界和区域的特征参数判断出粘连的麦穗图像,并利用基于凹点检测匹配连线的方法实现粘连麦穗的分割,进而识别出图像中的麦穗数量;通过计算图像中每个麦穗的面积像素点数并由预测公式得到每个麦穗的籽粒数,进而计算出每幅图像上所有麦穗的预测籽粒数,然后计算出0.25 m2区域内对应的4幅图像上的预测籽粒数;同时根据籽粒千粒质量数据,计算得到该区域内的产量信息。该文在识别3个品种田间麦穗单幅图像中麦穗数量的平均识别精度为91.63%,籽粒数的平均预测精度为90.73%;对3个品种0.25 m2区域的小麦麦穗数量、总籽粒数及产量预测的平均精度为93.83%、93.43%、93.49%。运用该文方法可以实现小麦田间单位面积内的产量信息自动测量。     

基于改进YOLOv5s的名优绿茶品质检测

针对实际检测过程中茶叶数量多、体积小、茶叶之间颜色和纹理相似等特点,该研究提出了一种基于YOLOv5s的名优绿茶品质检测算法。首先,该算法在骨干网络层引入膨胀卷积网络,通过增大感受野的方式增强茶叶微小特征的提取。其次,改进特征融合进程,基于通道注意力和空间注意力抑制无关信息的干扰,构建CBAM注意力机制优化检测器。接着根据Swin transformer网络结构在多个维度对小尺度茶叶的特征进行交互和融合。最后,配合SimOTA匹配算法动态分配茶叶正样本,提高不同品质茶叶的识别能力。结果表明,改进后的算法精准度、召回率、平均精度均值、模型体积、检测速度分别为97.4%、89.7%、91.9%、7.11MB和51帧/s,相较于基础的YOLOv5s平均精度均值提高了3.8个百分点,检测速度提高了7帧/s。利用相同数据集在不同目标检测模型上进行对比试验,与Faster-RCNN、SSD、YOLOv3、YOLOv4等模型相比,平均精度均值分别提升10.8、22.9、18.6、8.4个百分点,进一步验证了该研究方法的有效性和可靠性。     

采用改进YOLOv4算法的大豆单株豆荚数检测方法

大豆单株豆荚数检测是考种的重要环节,传统方法通过人工目测的方式获取豆荚类型和数量,该方法费时费力且误差较大。该研究利用大豆单株表型测量仪采集到的表型数据,通过融合K-means聚类算法与改进的注意力机制模块,对YOLOv4目标检测算法进行了改进,使用迁移学习预训练,获取最优模型对测试集进行预测。试验结果表明,该研究模型的平均准确率为80.55%,数据扩充后准确率达到了84.37%,比育种专家目测准确率提高了0.37个百分点,若不考虑5粒荚,该研究模型的平均准确率为95.92%,比YOLOv4模型提高了10.57个百分点,具有更强的检测性能。在简单背景的摆盘豆荚检测中,该研究模型预测的平均准确率达到了99.1%,比YOLOv4模型提高了1.81个百分点,研究结果表明该模型在不同场景下的大豆豆荚检测中具有较强的泛化能力,可为大豆人工智能育种提供参考。     

利用改进的YOLOv5s检测莲蓬成熟期

为解决莲田环境下不同成熟期莲蓬的视觉感知问题,该研究提出了一种改进YOLOv5s的莲蓬成熟期检测方法。首先,通过在主干特征网络中引入BoT(bottleneck transformer)自注意力机制模块,构建融合整体与局部混合特征的映射结构,增强不同成熟期莲蓬的区分度;其次,采用高效交并比损失函数EIoU(efficient IoU)提高了边界框回归定位精度,提升模型的检测精度;再者,采用K-means++聚类算法优化初始锚框尺寸的计算方法,提高网络的收敛速度。试验结果表明,改进后YOLOv5s模型在测试集下的精确率P、召回率R、平均精度均值mAP分别为98.95%、97.00%、98.30%,平均检测时间为6.4ms,模型尺寸为13.4M。与YOLOv3、 YOLOv3-tiny、 YOLOv4-tiny、 YOLOv5s、YOLOv7检测模型对比,平均精度均值mAP分别提升0.2、1.8、1.5、0.5、0.9个百分点。基于建立的模型,该研究搭建了莲蓬成熟期视觉检测试验平台,将改进YOLOv5s模型部署在移动控制器Raspberry Pi 4B中,对4种距离范围下获取的莲蓬场景图像...     

改进YOLOv5s和迁移学习对番茄穴盘苗的分级检测

为了提高番茄穴盘苗分级检测精度,该研究提出了改进YOLOv5s目标检测模型,并通过迁移学习对番茄穴盘病苗识别精度进行优化。采用轻量级网络EfficientNetv2的Backbone部分作为特征提取网络,保留YOLOv5s中的SPPF空间金字塔池化模块,压缩模型参数数量以减少计算量;更改模型Neck部分原始上采样模块为CARAFE轻量级上采样模块,在引入很少参数量的情况下提高模型精度;同时将PANet替换为BiFPN,引入特征权重信息,增强不同尺度特征融合能力;引入有效多尺度注意力机制(efficient multi-scale attention,EMA),提高对番茄苗的关注,减少背景干扰;替换CIoU损失函数为SIoU损失函数,考虑真实框与预测框之间的方向匹配,提高模型收敛效果。试验结果表明,改进的YOLOv5s目标检测模型经过迁移学习训练后,平均精度均值达到95.6%,较迁移学习前提高了0.7个百分点;与原YOLOv5s模型相比,改进YOLOv5s模型平均精度均值提升2.6个百分点;改进YOLOv5s模型的参数量、计算量和权重大小分别为原YOLOv5s模型的53.1%、20.0%...     

改进Mask R-CNN的真实环境下鱼体语义分割

鱼体语义分割是实现鱼体三维建模和语义点云、计算鱼体生长信息的基础。为了提高复杂环境下鱼体语义分割精度,该研究提出了SA-Mask R-CNN模型,即融合SimAM注意力机制的Mask R-CNN。在残差网络的每一层引入注意力机制,利用能量函数为每一个神经元分配三维权重,以加强对鱼体关键特征的提取;使用二次迁移学习方法对模型进行训练,即首先利用COCO数据集预训练模型在Open Images DatasetV6鱼类图像数据集完成第一次迁移学习,然后在自建数据集上完成第二次迁移学习,利用具有相似特征空间的2个数据集进行迁移学习,在一定程度上缓解了图像质量不佳的情况下鱼体语义分割精度不高的问题。在具有真实养殖环境特点的自建数据集上进行性能测试,结果表明,SA-Mask R-CNN网络结合二次迁移学习方法的交并比达93.82%,综合评价指标达96.04%,分割效果优于SegNet和U-Net++,较引入SENet和CBAM注意力模块的Mask R-CNN交并比分别提升了1.79个百分点和0.33个百分点,综合评价指标分别提升了2.03个百分点和0.38个百分点,模型参数量分别减小了4.7和5MB。研究结果可为鱼体点云计算提供参考。     

快速精准识别棚内草莓的改进YOLOv4-Tiny模型

为了实现棚内草莓果实的快速精准识别,该研究提出一种基于改进YOLOv4-Tiny的草莓检测模型。首先,为了大幅度减少模型计算量,采用轻量型网络GhostNet作为特征提取网络,并在GhostBottleneck结构中嵌入卷积注意力模块以加强网络的特征提取能力;其次,在颈部网络中添加空间金字塔池化模块和特征金字塔网络结构,融合多尺度特征提升小目标草莓的检测效果;最后,采用高效交并比损失作为边界框回归损失函数,加速网络收敛并提高模型的检测准确率。结果表明,改进YOLOv4-Tiny模型权重大小仅为4.68 MB,平均每幅图片的检测时间为5.63 ms,在测试集上的平均精度均值达到92.62%,相较于原YOLOv4-Tiny模型提升了5.77个百分点。与主流的目标检测模型SSD、CenterNet、YOLOv3、YOLOv4和YOLOv5s相比,改进YOLOv4-Tiny模型平均精度均值分别高出9.11、4.80、2.26、1.22、1.91个百分点,并且模型权重大小和检测速度方面均具有绝对优势,该研究可为后续果实智能化采摘提供技术支撑。     

基于轻量型卷积神经网络的马铃薯种薯芽眼检测算法

马铃薯种薯芽眼属于小目标物体,识别难度大、要求高。为了在试验台(芽眼识别装置)上快速、准确地完成识别任务,该研究提出一种基于轻量型卷积神经网络的芽眼检测模型。首先,为了降低模型的计算量和聚焦小目标物体,替换YOLOv4的主干网络CSPDarkNet-53为GhostNetV2轻量型特征提取网络;其次,在YOLOv4的颈部网络中,使用深度可分离卷积(depthwise separable convolution,DW)模块代替普通卷积块进一步降低模型计算量;最后,更改边界框损失函数为具有角度代价的边界框损失函数(SIoU),避免因预测框的位置不确定,而影响模型收敛速度和整体检测性能。结果表明,改进后芽眼检测模型参数量为12.04 M,使用笔记本电脑CPU检测单张图片的时间为0.148 s,从试验台收集的测试数据显示平均精度为89.13%。相对于其他主干特征提取网络CSPDarkNet-53、MobileNetV1、MobileNetV2、MobileNetV3、GhostNetV1,其检测精度分别高出1.85、0.75、2.67、4.17、1.89个百分点;与同类目标检测模型SSD、Fa...     

基于改进YOLOv3-Tiny的番茄苗分级检测

为了提高番茄苗分选移栽分级检测精度,该研究提出了YOLOv3-Tiny目标检测改进模型.首先建立了番茄穴盘苗数据集,使用K-means++算法重新生成数据集锚定框,提高网络收敛速度和特征提取能力;其次为目标检测模型添加SPP空间金字塔池化,将穴孔局部和整体特征融合,提高了对弱苗的召回率;同时加入路径聚合网络(PANet...     

基于YOLO＿X和迁移学习的无人机影像玉米雄穗检测

玉米雄穗表型信息的获取对研究玉米长势及产量起着非常重要的作用,为实现复杂田间环境玉米雄穗的精确识别和计数,该研究使用无人机采集试验田的玉米雄穗影像,基于FasterR-CNN、SSD、YOLO＿X目标检测模型,使用迁移学习方法实现玉米雄穗的高精度识别,并分析了模型对不同品种和不同种植密度的玉米雄穗检测效果。试验结果表明,基于迁移学习的FasterR-CNN、SSD、YOLO＿X的目标检测效果相比于未使用迁移学习的模型有明显提升,其中,迁移学习后YOLO＿X的识别精确度为97.16%,平均精度为93.60%,准确度为99.84%,对数平均误检率为0.22,识别效果最好;不同玉米品种对模型的适应性有所差异,其中郑单958对模型适应性最好,Faster R-CNN、SSD、YOLO＿X的决定系数R²分别为0.9474、0.9636、0.9712;不同种植密度下玉米雄穗的检测效果有所差异,在29985,44 978,67 466,89 955株/hm²种植密度下,模型对郑单958检测的平均绝对误差分别为0.19、0.31、0.37、0.75,随着种植...     

基于优选YOLOv7模型的采摘机器人多姿态火龙果检测系统

为了检测复杂自然环境下多种生长姿态的火龙果,该研究基于优选YOLOv7模型提出一种多姿态火龙果检测方法,构建了能区分不同姿态火龙果的视觉系统。首先比较了不同模型的检测效果,并给出不同设备的建议模型。经测试,YOLOv7系列模型优于YOLOv4、YOLOv5和YOLOX的同量级模型。适用于移动设备的YOLOv7-tiny模型的检测准确率为83.6%,召回率为79.9%,平均精度均值（mean average precision,mAP）为88.3%,正视角和侧视角火龙果的分类准确率为80.4%,推理一张图像仅需1.8 ms,与YOLOv3-tiny、YOLOv4-tiny和YOLOX-tiny相比准确率分别提高了16.8、4.3和4.8个百分点,mAP分别提高了7.3、21和3.9个百分点,与EfficientDet、SSD、Faster-RCNN和CenterNet相比mAP分别提高了8.2、5.8、4.0和42.4个百分点。然后,该研究对不同光照条件下的火龙果进行检测,结果表明在强光、弱光、人工补光条件下均保持着较高的精度。最后将基于YOLOv7-tiny的火龙果检测模型部署到Jetson Xavier NX上并针对正视角火龙果进行了验证性采摘试验,结果表明检测系统的推理分类时间占完整采摘动作总时间的比例约为22.6%,正视角火龙果采摘成功率为90%,验证了基于优选YOLOv7的火龙果多姿态检测系统的性能。     

基于改进YOLOv5s的日光温室损伤等级遥感影像检测方法

针对目前日光温室损伤程度的统计方法普遍依靠人工目视导致的检测效率低、耗时长、精确度低等问题，该研究提出了一种基于改进YOLOv5s的日光温室损伤等级遥感影像检测模型。首先，采用轻量级MobileNetV3作为主干特征提取网络，减少模型的参数量；其次，利用轻量级的内容感知重组特征嵌入模块（content aware reassembly feature embedding，CARAFE）更新模型的上采样操作，增强特征信息的表达能力，并引入显式视觉中心块（explicit visual center block，EVCBlock）替换和更新颈部层，进一步提升检测精度；最后将目标边界框的原始回归损失函数替换为EIoU（efficient intersection over union）损失函数，提高模型的检测准确率。试验结果表明，与基准模型相比，改进后模型的参数数量和每秒浮点运算次数分别减少了17.91和15.19个百分点，准确率和平均精度均值分别提升了0.4和0.8个百分点；经过实地调查，该模型的平均识别准确率为84.00%，优于Faster R-CNN、SSD、Centernet、YOLOv3等经典目标检测算法。日光温室损伤等级快速识别方法可以快速检测日光温室的数量、损伤等级等信息，减少设施农业管理中的人力成本，为现代化设施农业的建设、管理和改造升级提供信息支持。     

融入全局相应归一化注意力机制的YOLOv5农作物害虫识别模型

针对YOLOv5(you only look once version five)模型在农作物害虫密集目标上的检测效果无法满足实际需求,以及训练过程中模型收敛速度较慢等问题,该研究提出了融入全局响应归一化(global response normalization,GRN)注意力机制的YOLOv5农作物害虫识别模型(YOLOv5-GRNS)。设计了融入GRN注意力机制的编码器(convolution three,C3)模块,提高对密集目标的识别精度;利用形状交并比(shape intersection over union,SIoU)损失函数提高模型收敛速度和识别精度;在公开数据集IP102(insect pests 102)的基础上,筛选出危害陕西省主要农作物的8种害虫类型,构建了新数据集IP8-CW(insect pests eight for corn and wheat)。改进后的模型在新IP8-CW和完整的IP102两种数据集上进行了全面验证。对于IP8-CW,全类别平均准确率(mean average precision,mAP)mAP@.5和mAP@.5:.95分别达到了72.3%和47.0%。该研究还对YOLOv5-GRNS模型进行了类激活图分析,不仅从识别精度,而且从可解释性的角度,验证了对农作物害虫、尤其是密集目标的优秀识别效果。此外,模型还兼具参数量少、运算量低的优势,具有良好的嵌入式设备应用前景。     

采用轻量级网络MobileNetV2的酿酒葡萄检测模型

为提高高分辨率田间葡萄图像中小目标葡萄检测的速度和精度,该研究提出了一种基于轻量级网络的酿酒葡萄检测模型（Wine Grape Detection Model,WGDM）。首先,采用轻量级网络MobileNetV2取代YOLOv3算法的骨干网络DarkNet53完成特征提取,加快目标检测的速度;其次,在多尺度检测模块中引入M-Res2Net模块,提高检测精度;最后,采用平衡损失函数和交并比损失函数作为改进的定位损失函数,增大目标定位的准确性。试验结果表明,提出的WGDM模型在公开的酿酒葡萄图像数据集的测试集上平均精度为81.2%,网络结构大小为44 MB,平均每幅图像的检测时间为6.29 ms;与单发检测器（Single Shot Detector,SSD）、YOLOv3、YOLOv4和快速区域卷积神经网络（Faster Regions with Convolutional Neural Network,Faster R-CNN）4种主流检测模型相比,平均精度分别提高8.15%、1.10%、3.33%和6.52%,网络结构分别减小了50、191、191和83 MB,平均检测时间分别减少了4.91、7.75、14.84和158.20 ms。因此,该研究提出的WGDM模型对田间葡萄果实具有更快速、更准确的识别与定位,为实现葡萄采摘机器人的高效视觉检测提供了可行方法。