改进帧间差分-深度学习识别群养猪只典型行为

群养猪行为是评估猪群对环境适应性的重要指标。猪场环境中，猪只行为识别易受不同光线和猪只粘连等因素影响，为提高群养猪只行为识别精度与效率，该研究提出一种基于改进帧间差分-深度学习的群养猪只饮食、躺卧、站立和打斗等典型行为识别方法。该研究以18只50～115日龄长白猪为研究对象，采集视频帧1 117张，经图像增强共得到4 468张图像作为数据集。首先，选取Faster R-CNN、SSD、Retinanet、Detection Transformer和YOLOv5五种典型深度学习模型进行姿态检测研究，通过对比分析，确定了最优姿态检测模型；然后，对传统帧间差分法进行了改进，改进后帧间差分法能有效提取猪只完整的活动像素特征，使检测结果接近实际运动猪只目标；最后，引入打斗活动比例（Proportion of Fighting Activities, PFA）和打斗行为比例（Proportion of Fighting Behavior, PFB）2个指标优化猪只打斗行为识别模型，并对模型进行评价，确定最优行为模型。经测试，YOLOv5对群养猪只典型姿态检测平均精度均值达93.80%，模型大小为14.40 MB，检测速度为32.00帧/s，检测速度满足姿态实时检测需求，与Faster R-CNN、SSD、Retinanet和Detection Transformer模型相比，YOLOv5平均精度均值分别提高了1.10、3.23、4.15和21.20个百分点，模型大小分别减小了87.31%、85.09%、90.15%和97.10%。同时，当两个优化指标PFA和PFB分别设置为10%和40%时，猪只典型行为识别结果最佳，识别准确率均值为94.45%。结果表明，该方法具有准确率高、模型小和识别速度快等优点。该研究为群养猪只典型行为精准高效识别提供方法参考。     

基于改进YOLOv5s的果园环境葡萄检测

为了快速精准地识别复杂果园环境下的葡萄目标，该研究基于YOLOv5s提出一种改进的葡萄检测模型（MRWYOLOv5s）。首先，为了减少模型参数量，采用轻量型网络MobileNetv3作为特征提取网络，并在MobileNetv3的bneck结构中嵌入坐标注意力模块（coordinate attention,CA）以加强网络的特征提取能力；其次，在颈部网络中引入RepVGG Block，融合多分支特征提升模型的检测精度，并利用RepVGG Block的结构重参数化进一步加快模型的推理速度；最后，采用基于动态非单调聚焦机制的损失（wise intersection over union loss,WIoU Loss）作为边界框回归损失函数，加速网络收敛并提高模型的检测准确率。结果表明，改进的MRW-YOLOv5s模型参数量仅为7.56 M，在测试集上的平均精度均值（mean average precision,mAP）达到97.74%，相较于原YOLOv5s模型提升了2.32个百分点，平均每幅图片的检测时间为10.03 ms，比原YOLOv5s模型减少了6.13 ms。与主流的目标检测模型S...     

基于优选YOLOv7模型的采摘机器人多姿态火龙果检测系统

为了检测复杂自然环境下多种生长姿态的火龙果,该研究基于优选YOLOv7模型提出一种多姿态火龙果检测方法,构建了能区分不同姿态火龙果的视觉系统。首先比较了不同模型的检测效果,并给出不同设备的建议模型。经测试,YOLOv7系列模型优于YOLOv4、YOLOv5和YOLOX的同量级模型。适用于移动设备的YOLOv7-tiny模型的检测准确率为83.6%,召回率为79.9%,平均精度均值（mean average precision,mAP）为88.3%,正视角和侧视角火龙果的分类准确率为80.4%,推理一张图像仅需1.8 ms,与YOLOv3-tiny、YOLOv4-tiny和YOLOX-tiny相比准确率分别提高了16.8、4.3和4.8个百分点,mAP分别提高了7.3、21和3.9个百分点,与EfficientDet、SSD、Faster-RCNN和CenterNet相比mAP分别提高了8.2、5.8、4.0和42.4个百分点。然后,该研究对不同光照条件下的火龙果进行检测,结果表明在强光、弱光、人工补光条件下均保持着较高的精度。最后将基于YOLOv7-tiny的火龙果检测模型部署到Jetson Xavier NX上并针对正视角火龙果进行了验证性采摘试验,结果表明检测系统的推理分类时间占完整采摘动作总时间的比例约为22.6%,正视角火龙果采摘成功率为90%,验证了基于优选YOLOv7的火龙果多姿态检测系统的性能。     

融合重参数化和注意力机制的猪脸关键点检测方法

面部对齐是猪脸识别中至关重要的步骤,而实现面部对齐的必要前提是对面部关键点的精准检测。生猪易动且面部姿态多变,导致猪脸关键点提取不准确,且目前没有准确快捷的猪脸关键点检测方法。针对上述问题,该研究提出了生猪面部关键点精准检测模型YOLO-MOB-DFC,将人脸关键点检测模型YOLOv5Face进行改进并用于猪脸关键点检测。首先,使用重参数化的MobileOne作为骨干网络降低了模型参数量;然后,融合解耦全连接注意力模块捕捉远距离空间位置像素之间的依赖性,使模型能够更多地关注猪面部区域,提升模型的检测性能;最后,采用轻量级上采样算子CARAFE充分感知邻域内聚合的上下文信息,使关键点提取更加准确。结合自建的猪脸数据集进行模型测试,结果表明,YOLO-MOB-DFC的猪脸检测平均精度达到99.0%,检测速度为153帧/s,关键点的标准化平均误差为2.344%。相比RetinaFace模型,平均精度提升了5.43%,模型参数量降低了78.59%,帧率提升了91.25%,标准化平均误差降低了2.774%;相较于YOLOv5s-Face模型,平均精度提高了2.48%,模型参数量降低了18.29%,标准化平均误差降低了0.567%。该文提出的YOLO-MOB-DFC模型参数量较少,连续帧间的标准化平均误差波动更加稳定,削弱了猪脸姿态多变对关键点检测准确性的影响,同时具有较高的检测精度和检测效率,能够满足猪脸数据准确、快速采集的需求,为高质量猪脸开集识别数据集的构建以及非侵入式生猪身份智能识别奠定基础。     

基于改进YOLOv5s的自然环境下茶叶病害识别方法

针对现有目标检测模型对自然环境下茶叶病害识别易受复杂背景干扰、早期病斑难以检测等问题，该研究提出了YOLOv5-CBM茶叶病害识别模型。YOLOv5-CBM以YOLOv5s模型为基础，在主干特征提取阶段，将一个带有Transformer的C3模块和一个CA（coordinate attention）注意力机制融入特征提取网络中，实现对病害特征的提取。其次，利用加权双向特征金字塔（BiFPN）作为网络的Neck，通过自适应调节每个尺度特征的权重，使网络在获得不同尺寸特征时更好地将其融合，提高识别的准确率。最后，在检测端新增一个小目标检测头，解决了茶叶病害初期病斑较小容易出现漏检的问题。在包含有3种常见茶叶病害的数据集上进行试验，结果表明，YOLOv5-CBM对自然环境下的初期病斑检测效果有明显提高，与原始YOLOv5s模型相比，对早期茶饼病和早期茶轮斑病识别的平均精度分别提高了1.9和0.9个百分点，对不同病害检测的平均精度均值达到了97.3%，检测速度为8ms/幅，均优于其他目标检测算法。该模型具有较高的识别准确率与较强的鲁棒性，可为茶叶病害的智能诊断提供参考。     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM（convolutional block attention module）,改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,与Faster RCNN、YOLOv5s、YOLOv5m相比,检测平均准确率分别提升了18.9、7.2和5.9个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

基于多尺度融合注意力机制的群猪检测方法

群猪检测是现代化猪场智慧管理的关键环节。针对群猪计数过程中,小目标或被遮挡的猪只个体易漏检的问题,研究提出了基于多尺度融合注意力机制的群猪检测方法,首先基于YOLOv7模型构建了群猪目标检测网络YOLOpig,该网络设计了融合注意力机制的小目标尺度检测网络结构,并基于残差思想优化了最大池化卷积模块,实现了对被遮挡与小目标猪只个体的准确检测;其次结合GradCAM算法进行猪只检测信息的特征可视化,验证群猪检测试验特征提取的有效性。最后使用目标跟踪算法StrongSORT实现猪只个体的准确跟踪,为猪只的检测任务提供身份信息。研究以育肥阶段的长白猪为测试对象,基于不同视角采集的视频数据集进行测试,验证了YOLOpig网络结合StongSORT算法的准确性和实时性。试验结果表明,该研究提出的YOLOpig模型精确率、召回率及平均精度分别为90.4%、85.5%和92.4%,相较于基础YOLOv7模型平均精度提高了5.1个百分点,检测速度提升7.14%,比YOLOv5、YOLOv7tiny和 YOLOv8n 3种模型的平均精度分别提高了12.1、16.8和5.7个百分点,验证该文模型可以实现群猪的有效检测,满足养殖场管理需要。     

农业车辆双目视觉障碍物感知系统设计与试验

为保证智能化农业机械在自主导航过程中的安全可靠性,该研究将嵌入式AI计算机Jetson TX2作为运算核心,设计一套基于双目视觉的农业机械障碍物感知系统。使用深度卷积神经网络对作业环境中的障碍物进行识别,并提出一种基于改进YOLOv3的深度估计方法。将双目相机抓取的左右图像分别输入至改进的YOLOv3模型中进行障碍物检测,并将输出的目标检测框信息进行目标匹配和视差计算,完成对障碍物的识别、定位和深度估计。试验结果表明,该系统能够对障碍物进行准确识别,平均准确率和召回率分别达到89.54%和90.18%;改进YOLOv3模型的深度估计误差均值、误差比均值较原始YOLOv3模型分别降低25.69%、25.65%,比Hog+SVM方法分别降低41.9%、41.73%;动态场景下系统对障碍物深度估计的平均误差比为4.66%,平均耗时0.573s,系统在深度预警时能够及时开启电控液压转向模块进行安全避障。研究结果可为农业机械的自主导航提供有效的环境感知依据。     

改进YOLOv5识别复杂环境下棉花顶芽

为提高复杂环境下棉花顶芽识别的精确率,提出了一种基于YOLOv5s的改进顶芽识别模型。建立了田间复杂环境下棉花顶芽数据集,在原有模型结构上增加目标检测层,提高了浅层与深层的特征融合率,避免信息丢失。同时加入CPP-CBAM注意力机制与SIOU边界框回归损失函数,进一步加快模型预测框回归,提升棉花顶芽检测准确率。将改进后的目标检测模型部署在Jetson nano开发板上,并使用TensorRT对检测模型加速,测试结果显示,改进后的模型对棉花顶芽识别平均准确率达到了92.8%。与Fast R-CNN、YOLOv3、YOLOv5s、YOLOv6等算法相比,平均准确率分别提升了2.1、3.3、2、2.4个百分点,该检测模型适用于复杂环境下棉花顶芽的精准识别,为后续棉花机械化精准打顶作业提供技术理论支持。     

采用改进CNN对生猪异常状态声音识别

猪只声音能够体现出其生长状态,该研究针对人工监测猪只声音造成的猪只疾病误判以及耗时耗力等问题,研究基于卷积神经网络（Convolutional Neural Network,CNN）的生猪异常状态声音识别方法。该研究首先设计猪只声音实时采集系统,并利用4G通讯技术将声音信息上传至云服务器,基于专业人员指导制作猪只异常声音（生病、打架、饥饿等）数据集,提取猪只异常声音的梅尔谱图特征信息;其次引入多种注意力机制对CNN进行改进,并对CBAM（Convolutional Block Attention Module）注意力机制进行优化,提出_CBAM-CNN网络模型;最后将_CBAM-CNN网络模型分别与引入SE_NET（Squeeze and Excitation Network）、ECA_NET（Efficient Channel Attention Networks）和CBAM注意力机制的CNN神经网络进行对比,试验结果表明该文提出的_CBAM-CNN网络模型在最优参数为128维梅尔频率、2 048点FFT（Fast Fourier Transform）点数、512点窗移下的梅尔谱图特征下相较于其他模型对猪只异常声音识别效果最佳,识别率达到94.46%,验证了算法的有效性。该研究有助于生猪养殖过程中对猪只异常行为的监测,并对智能化、现代化猪场的建设具有重要意义。     

基于自注意力机制与无锚点的仔猪姿态识别

在猪场养殖过程中,仔猪姿态识别对其健康状况和环境热舒适度监测都有着重要意义。仔猪个体较小,喜欢聚集、扎堆,且姿态随意性较大,给姿态识别带来困难。为此,该文结合Transformer网络与无锚点目标检测头,提出了一种新的仔猪姿态识别模型TransFree（Transformer + Anchor-Free）。该模型使用Swin Transformer作为基础网络,提取仔猪图像的局部和全局特征,然后经过一个特征增强模块（Feature Enhancement Module,FEM）进行多尺度特征融合并得到高分辨率的特征图,最后将融合后的特征图输入Anchor-Free检测头进行仔猪的定位和姿态识别。该文以广东佛山市某商业猪场拍摄的视频作为数据源,从12个猪栏的拍摄视频中选取9栏作为训练集,3栏作为测试集,训练集中仔猪的俯卧、侧卧和站立3类姿态总计19 929个样本,测试集中3类姿态总计5 150个样本。在测试集上,TransFree模型的仔猪姿态识别精度达到95.68%,召回率达到91.18%,F1-score达到93.38%;相较于CenterNet、Faster R-CNN和YOLOX-L目标检测网络,F1-score分别提高了2.32、4.07和2.26个百分点。该文提出的TransFree模型实现了仔猪姿态的高精度识别,为仔猪行为识别提供了技术参考。     

基于YOLOX-NGS的群养猪只攻击行为识别

为解决复杂猪舍环境下猪只堆叠和粘连导致群养猪只攻击行为识别准确率低和有效性差的问题，该研究提出一种改进的YOLOX模型，引入攻击活动比例（P_AA）和攻击行为比例（P_AB）2个优化指标，对群养猪只的撞击、咬耳和咬尾等典型攻击行为进行识别。首先，为提高模型特征提取能力添加归一化注意力模块获取YOLOX颈部的全局信息；其次，将YOLOX中的IoU损失函数替换为GIoU损失函数，以提升识别精度；最后，为保证模型的实时性将空间金字塔池化结构SPP轻量化为SPPF，增强检测效率。试验结果表明，改进的YOLOX模型平均精度达97.57%，比YOLOX模型提高6.8个百分点。此外，当P_AA和P_AB阈值分别为0.2和0.4时，识别准确率达98.55%，有效解决因猪只攻击行为动作连续导致单帧图像行为识别可信度低的问题。研究结果表明，改进的YOLOX模型融合P_AA和P_AB能够实现高精度的猪只攻击行为识别，为群养生猪智能化监测提供有效参考和技术支持。     

基于改进Cascade Mask R-CNN与协同注意力机制的群猪姿态识别

猪体姿态识别有助于实现猪只健康状况预警、预防猪病爆发,是当前研究热点。针对复杂场景下群猪容易相互遮挡、粘连,姿态识别困难的问题,该研究提出一种实例分割与协同注意力机制相结合的两阶段群猪姿态识别方法。首先,以Cascade Mask R-CNN作为基准网络,结合HrNetV2和FPN模块构建猪体检测与分割模型,解决猪体相互遮挡、粘连等问题,实现复杂环境下群猪图像的高精度检测与分割;在上述提取单只猪基础上,构建了基于协同注意力机制(coordinate attention,CA)的轻量级猪体姿态识别模型(CA-MobileNetV3),实现猪体姿态的精准快速识别。最后,在自标注数据集上的试验结果表明,在猪体分割与检测环节,该研究所提模型与MaskR-CNN、MSR-CNN模型相比,在AP_0.50、AP_0.75、AP_0.50:0.95和AP_{0.5:0.95-large}指标上最多提升了1.3、1.5、6.9和8.8个百分点,表现出最优的分割与检测性能。而在猪体姿态识别环节,所提CA-MobileNetV3模...     

基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位

为提高苹果采摘机器人的工作效率和环境适应性,使其能全天候的在不同光线环境下对遮挡、粘连和套袋等多种情况下的果实进行识别定位,该文提出了基于YOLOv3(you only look once)深度卷积神经网络的苹果定位方法。该方法通过单个卷积神经网络(one-stage)遍历整个图像,回归目标的类别和位置,实现了直接端到端的目标检测,在保证效率与准确率兼顾的情况下实现了复杂环境下苹果的检测。经过训练的模型在验证集下的m AP(meanaverageprecision)为87.71%,准确率为97%,召回率为90%,IOU(intersection over union)为83.61%。通过比较YOLOv3与Faster RCNN算法在不同数目、不同拍摄时间、不同生长阶段、不同光线下对苹果的实际检测效果,并以F1为评估值对比分析了4种算法的差异,试验结果表明YOLOv3在密集苹果的F1高于YOLOv2算法4.45个百分点,在其他环境下高于Faster RCNN将近5个百分点,高于HOG+SVM(histogram of oriented gradient+support vector machine)将近10个百分点。并且在不同硬件环境验证了该算法的可行性,一幅图像在GPU下的检测时间为16.69 ms,在CPU下的检测时间为105.21 ms,实际检测视频的帧率达到了60帧/s和15帧/s。该研究可为机器人快速长时间高效率在复杂环境下识别苹果提供理论基础。     

利用无人机航拍视频结合YOLOv3模型和SORT算法统计云杉数量

准确、快速地统计苗木数量对苗圃的运营和管理具有重要意义,是提高苗圃运营和管理水平的有效方式。为快速准确统计完整地块内苗木数量,该研究选取云杉为研究对象,以无人机航拍完整地块云杉视频为数据源,提出一种基于YOLOv3（You Only Look Once v3,YOLOv3）和SORT（Simple Online and Realtime Tracking,SORT）的云杉数量统计方法。主要内容包括数据采集、YOLOv3检测模型构建、SORT跟踪算法和越线计数算法设计。以平均计数准确率（Mean Counting Accuracy,MCA）、平均绝对误差（Mean Absolute Error,MAE）、均方根误差（Root Mean Square Error,RMSE）和帧率（Frame Rate,FR）为评价指标,该方法对测试集中对应6个不同试验地块的视频内云杉进行数量统计的平均计数准确率MCA为92.30%,平均绝对误差MAE为72,均方根误差RMSE为98.85,帧率FR 11.5 帧/s。试验结果表明该方法能够快速准确统计完整地块的云杉数量。相比SSD+SORT算法,该方法在4项评价指标优势显著,平均计数准确率MCA高12.36%,帧率FR高7.8 帧/s,平均绝对误差MAE和均方根误差RMSE分别降低125.83和173.78。对比Faster R-CNN+SORT算法,该方法在保证准确率的基础上更加快速,平均计数准确率MCA仅降低1.33%,但帧率FR提高了10.1 帧/s。该研究从无人机航拍视频的角度为解决完整地块的苗木数量统计问题做出了有效探索。     

基于边界脊线识别的群养猪黏连图像分割方法

猪体图像的前景分割和黏连猪体的分离是实现群养猪数量自动盘点和猪只个体行为智能识别的关键。为实现群养猪黏连图像的自动分割,该文采用决策树分割算法提取视频图像帧的猪体前景区域,计算各连通区域的复杂度,根据复杂度确定黏连猪体区域,利用标记符控制的分水岭分割算法处理黏连猪体图像,检测待选的边界脊线,通过检验待选边界脊线的分割效果和形状特征(包括线性度和Harris拐点数目),识别出猪体黏连分割线,实现黏连猪体的分离。结果表明,决策树分割算法(decision-tree-based segmentation model,DTSM)能够有效地去除复杂背景,前景分割效果良好。黏连猪体分离结果显示,基于边界脊线识别的黏连猪体分离准确率达到了89.4%,并较好地保留了猪体轮廓。通过计算分割后猪体连通区域的中心点,并对中心点进行德洛内剖分,初步实现了猪只的定位和栏内分布的可视化。6 min的监控视频处理结果显示,该文方法各帧图像的盘点平均误差为0.58,盘点准确率为98.33%,能够正确统计出栏内猪只数量。该研究可为实现基于监控视频的群养猪自动盘点和个体行为识别提供新的技术手段。     

改进AVSlowFast音视频融合模型对哺乳期母猪关键行为的识别

哺乳期母猪的自动行为监测对于保障母猪健康并及时发现异常状态具有重要意义。为了在识别母猪行为中整合视觉和听觉信号蕴含的信息,该研究提出了一种基于音视频特征多模态融合的哺乳期母猪关键行为识别方法。首先,引入三分支结构的AVSlowFast模型作为基础网络,通过视频慢通道、视频快通道、音频通道有效挖掘在视觉和听觉2种模态下的相关行为特征,并基于多层次侧向连接深入融合视听觉模态信息。在此基础上,该研究在特征融合后期引入高斯上下文变换器通道注意力模块,在不新增模型参数的条件下进一步优化高维多模态三维特征的融合效果,提高行为识别的准确率。该研究以哺乳期母猪为对象,采集实际养殖环境中的音频与视频数据进行试验,试验结果表明基于改进AVSlowFast音视频融合模型识别进食、哺乳、睡眠、拱栏、饮水、日常活动6种关键行为的平均精确率与召回率分别为94.3%和94.6%。与基于SlowFast的单模态行为识别方法相比,该研究提出的方法对6种行为识别的平均F1分数上显著提升了12.7%,为实现畜禽多模态行为监测提供了一种有效思路。