基于部分亲和场的行走奶牛骨架提取模型

在奶牛关键点预测的基础上,通过点、线重构奶牛骨架结构,可为奶牛跛行检测、发情行为分析、运动量估测等提供重要参考。本研究基于部分亲和场,以养殖场监控摄像头拍摄的视频为原始数据,使用1 600幅图像训练了奶牛骨架提取模型,实现了奶牛站立、行走状态下关键点信息和部分亲和场信息的预测,并通过最优匹配连接对奶牛骨架结构进行准确提取。为了验证该模型的性能,采用包含干扰因素的100幅单目标奶牛和100幅双目标奶牛图像进行了测试。结果表明,该模型对单目标行走奶牛骨架提取的置信度为78.90%,双目标行走奶牛骨架提取的置信度较单目标下降了10.96个百分点。计算了不同关键点相似性(Object keypoint similarity,OKS)下的模型准确率,当OKS为0.75时,骨架提取准确率为93.40%,召回率为94.20%,说明该模型具有较高的准确率。该方法可以提取视频中奶牛骨架,在无遮挡时具有高置信度和低漏检率,当遮挡严重时置信度有所下降。该模型的单目标和双目标图像帧处理速度分别为3.30、3.20 f/s,基本相同。本研究可为多目标奶牛骨架提取提供参考。     

基于YOLON网络的多形态油茶果实夜间检测方法研究

【目的】提出了一种YOLON目标检测网络,为油茶果采收装置夜间非结构化环境下果实目标的精准识别提供技术支持。【方法】在改进YOLOv3的基础上建立YOLON目标检测网络,先在图像输入端添加照度调整模块(LA)对输入图像的照度进行自适应调整,以加强前景图像特征的显著程度,利用特征提取网络对输入图像进行多次卷积以得到对应的特征图;然后在特征融合层添加夜间隐性知识模块(NPK),以先验信息的形式辅助网络预测,提高夜间果实目标的识别准确性;最后对网络特征图进行解码处理得到对应的目标检测框,从而完成对夜间油茶果实目标的检测。为验证所提出网络的有效性,采用准确率(P)、召回率(R)、平均精度均值(mAP)和综合评价指标(F1)对YOLON及对比网络YOLOv3、YOLOv4、YOLOv5s的检测效果进行定量评价。【结果】用YOLON和各对比网络在夜间油茶果数据集上进行训练和测试,YOLON网络的P、R、mAP、F1分别为94.00%,83.63%,94.37%和89.00%,mAP分别较YOLOv3、YOLOv4、YOLOv5s提高2.32%,4.93%和2.33%;对不同果实数量油茶果图像进行测试,YOLON在单果、双果和多果测试数据集上均有较好表现,其对这3类果实目标检测的mAP为98.34%,分别较YOLOv3、YOLOv4、YOLOv5s提高2.17%,8.99%和4.35%;对整树小尺寸油茶果实的检测效果,YOLON的mAP可达93.56%,分别较YOLOv3、YOLOv4、YOLOv5s高1.24%,8.66%和5.57%;在对整树油茶果实图像进行检测时,YOLON的平均置信度为0.69,分别较YOLOv3、YOLOv4、YOLOv5s高0.09,0.22和0.14;此外,用YOLON对夜间采集的处于重叠、遮挡、复杂背景等多态耦合下的油茶果实图像进行检测,也均具有较高的检测置信度。【结论】YOLON可以满足油茶果采收机器人果实定位精度的要求,将其应用于油茶果夜间图像的检测是可行的。     

基于YOLO v5s的自然场景油茶果识别方法

针对油茶果体积小、分布密集、颜色多变等特点,为实现自然复杂场景下油茶果的快速精准定位,并依据果实的疏密分布,确定恰当的自动振荡采收装置夹持位置,利用YOLO v5s卷积神经网络模型,开展了自然环境下油茶果图像检测方法研究,用3 296幅油茶果图像制作PASCAL VOC的数据集,对网络进行了150轮训练,得到的最优权值模型准确率为90.73%,召回率为98.38%,综合评价指标为94.4%,平均检测精度为98.71%,单幅图像检测时间为12.7 ms,模型占内存空间为14.08 MB。与目前主流的一阶检测算法YOLO v4-tiny和RetinaNet相比,其精确率分别提高了1.99个百分点和4.50个百分点,召回率分别提高了9.41个百分点和10.77个百分点,时间分别降低了96.39%和96.25%。同时结果表明,该模型对密集、遮挡、昏暗环境和模糊虚化情况下的果实均能实现高精度识别与定位,具有较强的鲁棒性。研究结果可为自然复杂环境下油茶果机械采收及小目标检测等研究提供借鉴。