群养猪侵略性行为的深度学习识别方法

为了解决因传统机器视觉和图像处理方法的局限性以及复杂的猪体姿态和猪舍环境导致对群养猪侵略性行为识别的有效性、准确率较低的问题,该文基于深度学习的方法,提出使用3DCONV的群养猪侵略性行为识别算法-3DConvNet。分3个批次采集18头9.6 kg左右的大白仔猪视频图像,选用第一批次中包含28 d内各个时段的撕咬、撞击、追逐、踩踏4大类,咬耳、咬尾、咬身、头撞头、头撞身、追逐以及踩踏7小类侵略性行为以及吃食、饮水、休息等非侵略性行为共计740段(27114帧)视频作为训练集和验证集,训练集和验证集比例为3:1。结果表明,3DConvNet网络模型在训练集上的识别准确度达96.78%,在验证集上识别准确度达95.70%。该文算法模型对于不同训练集批次的猪只以及不良照明条件下依然能准确识别侵略性行为,算法模型泛化性能良好。与C3D模型进行对比,该文提出的网络模型准确率高出43.47个百分点,单帧图像处理时间为0.50 s,可满足实时检测的要求。研究结果可为猪场养殖环境中针对猪只侵略性行为检测提供参考。     

改进Faster R-CNN的群养猪只圈内位置识别与应用

群养圈栏内猪只的位置分布是反映其健康福利的重要指标。为解决传统人工观察方式存在的人力耗费大、观察时间长和主观性强等问题,实现群养猪只圈内位置的高效准确获取,该研究以三原色(Red Green Blue,RGB)图像为数据源,提出了改进的快速区域卷积神经网络(Faster Region Convolutional Neural Networks,Faster R-CNN)的群养猪只圈内位置识别算法,将时间序列引入候选框区域算法,设计Faster R-CNN和轻量化CNN网络的混合体,将残差网络(Residual Network,ResNet)作为特征提取卷积层,引入PNPoly算法判断猪只在圈内的所处区域。对育成和育肥2个饲养阶段的3个猪圈进行24 h连续98 d的视频录像,从中随机提取图像25 000张作为训练集、验证集和测试集,经测试该算法识别准确率可达96.7%,识别速度为每帧0.064s。通过该算法获得了不同猪圈和日龄的猪群位置分布热力图、分布比例和昼夜节律,猪圈饲养面积的增加可使猪群在实体地面的分布比例显著提高(P<0.05)。该方法可为猪只群体行为实时监测提供技术参考。     

基于深度学习的番茄授粉机器人目标识别与检测

针对植物工厂中对番茄花朵授粉作业的自动化和智能化需求,为克服当前机器人在授粉作业过程中因番茄花朵小、姿态朝向各异而导致的检测精度不高和授粉策略不完善等难题,该研究提出了一种由目标检测、花期分类和姿态识别相结合的番茄花朵检测分类算法--TFDC-Net（Tomato Flower Detection and Classification Network）。在目标检测阶段,提出了一种改进的YOLOv5s网络模型ACW_YOLOv5s,通过在YOLOv5s网络中添加卷积块注意力模块（Convolutional Block Attention Module,CBAM）并采用加权框融合（Weighted Boxes Fusion,WBF）方法,使模型的准确率达到0.957,召回率达到0.942,mAP0.5为0.968,mAP0.5-0.95为0.620,各项指标相较于原YOLOv5s网络模型分别提高了0.028、0.004、0.012、0.066,并改善了目标漏检和误检的状况。进而,针对不同花期的花朵以及花蕊不同姿态朝向的授粉问题,采用EfficientNetV2分类网络分别对3种不同花期和5种不同花蕊姿态朝向的花朵进行训练,分别得到花期分类模型及姿态识别模型,通过选取300张花期图片和200张姿态图片对其进行测试,花期分类模型和姿态分类模型的总体准确率分别为97.0%和90.5%。将研究提出的TFDC-Net算法应用于自主研发的授粉机器人中进行试验验证,结果表明,该算法能够实现对番茄花朵的目标检测、花期分类和姿态识别。在此基础上,通过坐标转换对目标快速定位,利用机器人机械臂末端执行器对番茄花朵中的花蕊完成了精准授粉,验证了该算法的有效性。该研究可实现对番茄花朵的目标识别与检测,有助于进一步推动授粉机器人的研发与应用。     

基于改进Cascade Mask R-CNN与协同注意力机制的群猪姿态识别

猪体姿态识别有助于实现猪只健康状况预警、预防猪病爆发,是当前研究热点。针对复杂场景下群猪容易相互遮挡、粘连,姿态识别困难的问题,该研究提出一种实例分割与协同注意力机制相结合的两阶段群猪姿态识别方法。首先,以Cascade Mask R-CNN作为基准网络,结合HrNetV2和FPN模块构建猪体检测与分割模型,解决猪体相互遮挡、粘连等问题,实现复杂环境下群猪图像的高精度检测与分割;在上述提取单只猪基础上,构建了基于协同注意力机制（coordinate attention,CA）的轻量级猪体姿态识别模型（CA?MobileNetV3）,实现猪体姿态的精准快速识别。最后,在自标注数据集上的试验结果表明,在猪体分割与检测环节,该研究所提模型与Mask R-CNN、MS R-CNN模型相比,在AP0.50、AP0.75、AP0.50:0.95和AP0.5:0.95-large 指标上最多提升了1.3、1.5、6.9和8.8个百分点,表现出最优的分割与检测性能。而在猪体姿态识别环节,所提CA?MobileNetV3模型在跪立、站立、躺卧、坐立4种姿态类上的准确率分别为96.5%、99.3%、98.5%和98.7%,其性能优于主流的MobileNetV3、ResNet50、DenseNet121和VGG16模型,由此可知,该研究模型在复杂环境下群猪姿态识别具有良好的准确性和有效性,为实现猪体姿态的精准快速识别提供方法支撑。     

基于YOLOX-NGS的群养猪只攻击行为识别

为解决复杂猪舍环境下猪只堆叠和粘连导致群养猪只攻击行为识别准确率低和有效性差的问题,该研究提出一种改进的YOLOX模型,引入攻击活动比例（P_AA）和攻击行为比例（P_AB）2个优化指标,对群养猪只的撞击、咬耳和咬尾等典型攻击行为进行识别。首先,为提高模型特征提取能力添加归一化注意力模块获取YOLOX颈部的全局信息;其次,将YOLOX中的IoU损失函数替换为GIoU损失函数,以提升识别精度;最后,为保证模型的实时性将空间金字塔池化结构SPP轻量化为SPPF,增强检测效率。试验结果表明,改进的YOLOX模型平均精度达97.57%,比YOLOX模型提高6.8个百分点。此外,当P_AA和P_AB阈值分别为0.2和0.4时,识别准确率达98.55%,有效解决因猪只攻击行为动作连续导致单帧图像行为识别可信度低的问题。研究结果表明,改进的YOLOX模型融合P_AA和P_AB能够实现高精度的猪只攻击行为识别,为群养生猪智能化监测提供有效参考和技术支持。     

基于深度学习的玉米拔节期冠层识别

为了满足田间玉米植株快速识别与检测的需求,针对玉米拔节期提出了基于深度学习的冠层识别方法,比较并选取了适于玉米植株精准识别和定位的网络模型,并研制了玉米植株快速识别和定位检测装置。首先拍摄玉米苗期和拔节期图像共计3 000张用于训练深度学习模型,针对拔节期玉米叶片交叉严重的问题,提出了以玉米株心取代玉米整株对象的标记策略。其次在Google Colab云平台训练SSDLite-MobileDet网络模型。为了实现田间快速检测,开发了基于树莓派4B+Coral USB的玉米冠层快速检测装置。结果表明,田间玉米冠层识别模型精度达到91%,检测视频的帧率达到89帧/s以上。研究成果可为田间玉米高精度诊断和精细化作业管理奠定基础。     

基于边界脊线识别的群养猪黏连图像分割方法

猪体图像的前景分割和黏连猪体的分离是实现群养猪数量自动盘点和猪只个体行为智能识别的关键。为实现群养猪黏连图像的自动分割,该文采用决策树分割算法提取视频图像帧的猪体前景区域,计算各连通区域的复杂度,根据复杂度确定黏连猪体区域,利用标记符控制的分水岭分割算法处理黏连猪体图像,检测待选的边界脊线,通过检验待选边界脊线的分割效果和形状特征(包括线性度和Harris拐点数目),识别出猪体黏连分割线,实现黏连猪体的分离。结果表明,决策树分割算法(decision-tree-based segmentation model,DTSM)能够有效地去除复杂背景,前景分割效果良好。黏连猪体分离结果显示,基于边界脊线识别的黏连猪体分离准确率达到了89.4%,并较好地保留了猪体轮廓。通过计算分割后猪体连通区域的中心点,并对中心点进行德洛内剖分,初步实现了猪只的定位和栏内分布的可视化。6 min的监控视频处理结果显示,该文方法各帧图像的盘点平均误差为0.58,盘点准确率为98.33%,能够正确统计出栏内猪只数量。该研究可为实现基于监控视频的群养猪自动盘点和个体行为识别提供新的技术手段。     

基于Isomap和支持向量机算法的俯视群养猪个体识别

针对俯视群养猪视频序列,提出了一种利用机器视觉技术对猪个体进行识别的方法。首先对采集的俯视群养猪视频序列进行前景检测与目标提取,获得各单只猪个体,其后建立训练样本,提取猪个体颜色、纹理及形状特征,组合构建表征猪个体的特征向量,接着对组合特征利用Isomap算法做特征融合,在最大程度保留有效识别信息的基础上降低特征维数,最后利用优化核函数的支持向量机分类器进行训练与识别。试验选取了900帧图像,试验结果表明该文所提方法切实有效,猪个体最高识别率为92.88%。该文从机器视觉角度探索了俯视群养猪的个体识别,有别于传统的RFID猪个体识别,该研究为无应激的猪个体识别提供了新思路,也为进一步探索群养猪个体行为分析等奠定了基础。     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM(convolutional block attention module),改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

基于改进轻量化YOLOv4模型的虾只肉壳辨识方法

为实现虾只机械剥壳环节裸肉虾与带壳虾自动分选,该研究提出一种基于改进YOLOv4模型的虾只肉壳辨识方法。将YOLOv4模型中CSP-Darknet53网络替换为GhostNet网络,增强模型自适应特征提取能力及简化模型参数计算量。在YOLOv4主干特征提取网络Resblock模块中引入轻量级注意力机制,增强主干特征提取网络的特征提取能力。将YOLOv4模型中GIoU损失函数替换为CIoU损失函数,提高模型预测框的回归效果。为检测改进效果进行了不同模型对比验证,轻量化结果表明改进YOLOv4模型参数量最少、计算量最小;消融试验表明改进YOLOv4模型的平均精度均值为92.8%,比YOLOv4模型提升了6.1个百分点。不同场景下应用改进YOLOv4模型进行虾只肉壳辨识性能试验。结果表明：同品种不同环境的虾只肉壳辨识总体平均准确率为95.9 %,同品种不同剥壳方式的虾只肉壳辨识准确率平均值为90.4 %,不同品种虾只肉壳辨识准确率平均值为87.2 %。研究结果可为裸肉虾与带壳虾自动分选提供技术支撑。     

基于改进YOLOv4-Tiny的蓝莓成熟度识别方法

为实现自然环境下蓝莓果实成熟度的精确快速识别,该研究对YOLOv4-Tiny网络结构进行改进,提出一种含有注意力模块的目标检测网络（I-YOLOv4-Tiny）。该检测网络采用CSPDarknet53-Tiny网络模型作为主干网络,将卷积注意力模块（Convolution Block Attention Module,CBAM）加入到YOLOv4-Tiny网络结构的特征金字塔（Feature Pyramid Network,FPN）中,通过对每个通道的特征进行权重分配来学习不同通道间特征的相关性,加强网络结构深层信息的传递,从而降低复杂背景对目标识别的干扰,且该检测网络的网络层数较少,占用内存低,以此提升蓝莓果实检测的精度与速度。对该研究识别方法进行性能评估与对比试验的结果表明,经过训练的I-YOLOv4-Tiny目标检测网络在验证集下的平均精度达到97.30%,能有效地利用自然环境中的彩色图像识别蓝莓果实并检测果实成熟度。对比YOLOv4-Tiny、YOLOv4、SSD-MobileNet、Faster R-CNN目标检测网络,该研究在遮挡与光照不均等复杂场景中,平均精度能达到96.24%。平均检测时间为5.723 ms,可以同时满足蓝莓果实识别精度与速度的需求。I-YOLOv4-Tiny网络结构占用内存仅为24.20 M,为采摘机器人与早期产量预估提供快速精准的目标识别指导。     

基于迁移学习与YOLOv8n的田间油茶果分类识别

为降低视觉引导式油茶果采摘机器人采摘被遮挡油茶果时造成的果树和抓取装置损伤,该研究提出了一种基于迁移学习和YOLOv8n算法的油茶果分类识别方法,将油茶果分成无遮挡和遮挡两类。首先,采用COCO128目标检测数据集作为源域,苹果数据集为辅助域的迁移学习方法训练模型。其次,将学习方法、训练数据量、学习率和训练轮数这4种因素组合,共进行了52组YOLOv8n检测性能的消融试验。最后,将YOLOv8n模型与YOLOv3-tiny、YOLOv5n和YOLOv7-tiny等模型进行比较。试验结果表明,随机权重初始化方式受训练数据量和学习率影响较大,学习率为0.01时模型检测效果最好;而迁移学习方法仅用随机权重初始化1/2的数据量即可达到与其相当的平均精度均值;迁移学习方式下,YOLOv8n模型的平均精度均值最高达到92.7%,比随机权重初始化方式提升1.4个百分点。与YOLOv3-tiny、YOLOv5n和YOLOv7-tiny等模型相比,YOLOv8n模型的平均精度均值分别提高24.0、1.7和0.4个百分点,研究结果可为YOLOv8n模型训练参数优化和油茶果分类识别提供参考。     

基于深度学习的森林虫害无人机实时监测方法

无人机遥感是监测森林虫害的先进技术,但航片识别的实时性尚不能快速定位虫害爆发中心、追踪灾情发生发展。该文针对受红脂大小蠹危害的油松林,使用基于深度学习的目标检测技术,提出一种无人机实时监测方法。该方法训练精简的SSD300目标检测框架,无需校正拼接,直接识别无人机航片。改进的框架使用深度可分离卷积网络作为基础特征提取器,针对航片中目标尺寸删减预测模块,优化默认框的宽高比,降低模型的参数量和运算量,加快检测速度。试验选出的最优模型,测试平均查准率可达97.22%,在移动图形工作站图形处理器加速下,单张航片检测时间即可缩短至0.46 s。该方法简化了无人机航片的检测流程,可实现受害油松的实时检测和计数,提升森林虫害早期预警能力。     

基于改进Faster R-CNN识别深度视频图像哺乳母猪姿态

猪舍场景下,昼夜交替光线变化、热灯光照影响,及仔猪与母猪的粘连等因素,给全天候哺乳母猪姿态自动识别带来很大困难。该文以深度视频图像为数据源,提出基于改进Faster R-CNN的哺乳母猪姿态识别算法。将残差结构引入ZF网络,设计ZF-D2R网络,以提高识别精度并保持实时性;将Center Loss监督信号引入Faster R-CNN训练中,以增强类内特征的内聚性,提升识别精度。对28栏猪的视频图像抽取站立、坐立、俯卧、腹卧和侧卧5类姿态共计7 541张图像作为训练集,另取5类姿态的5 000张图像作为测试集。该文提出的改进模型在测试集上对哺乳母猪的站立、坐立、俯卧、腹卧和侧卧5类姿态的识别平均准确率分别达到96.73%、94.62%、86.28%、89.57%和99.04%,5类姿态的平均准确率均值达到93.25%。在识别精度上,比ZF网络和层数更深的VGG16网络的平均准确率均值分别提高了3.86和1.24个百分点。识别速度为0.058 s/帧,比VGG16网络速度提高了0.034 s。该文方法在提高识别精度的同时保证了实时性,可为全天候母猪行为识别提供技术参考。     

基于YOLO＿X和迁移学习的无人机影像玉米雄穗检测

玉米雄穗表型信息的获取对研究玉米长势及产量起着非常重要的作用,为实现复杂田间环境玉米雄穗的精确识别和计数,该研究使用无人机采集试验田的玉米雄穗影像,基于FasterR-CNN、SSD、YOLO＿X目标检测模型,使用迁移学习方法实现玉米雄穗的高精度识别,并分析了模型对不同品种和不同种植密度的玉米雄穗检测效果。试验结果表明,基于迁移学习的FasterR-CNN、SSD、YOLO＿X的目标检测效果相比于未使用迁移学习的模型有明显提升,其中,迁移学习后YOLO＿X的识别精确度为97.16%,平均精度为93.60%,准确度为99.84%,对数平均误检率为0.22,识别效果最好;不同玉米品种对模型的适应性有所差异,其中郑单958对模型适应性最好,Faster R-CNN、SSD、YOLO＿X的决定系数R²分别为0.9474、0.9636、0.9712;不同种植密度下玉米雄穗的检测效果有所差异,在29985,44 978,67 466,89 955株/hm²种植密度下,模型对郑单958检测的平均绝对误差分别为0.19、0.31、0.37、0.75,随着种植...     

基于卷积神经网络与迁移学习的油茶病害图像识别

传统的植物病害图像识别准确率严重依赖于耗时费力的人工特征设计。该文利用深度卷积神经网络强大的特征学习和特征表达能力来自动学习油茶病害特征,并借助迁移学习方法将Alex Net模型在Image Net图像数据集上学习得到的知识迁移到油茶病害识别任务。对油茶叶片图像进行阈值分割、旋转对齐、尺度缩放等预处理后,按照病害特征由人工分为藻斑病、软腐病、煤污病、黄化病和健康叶5个类别。每个类别各选取750幅图像组成样本集,从样本集中随机选择80%的样本用作训练集,剩余20%用作测试集。利用随机裁剪、旋转变换和透视变换对训练集进行数据扩充,以模拟图像采集的不同视角和减少网络模型的过拟合。在Tensor Flow深度学习框架下,基于数据扩充前后的样本集,对Alex Net进行全新学习和迁移学习。试验结果表明,迁移学习能够明显提高模型的收敛速度和分类性能;数据扩充有助于增加数据的多样性,避免出现过拟合现象;在迁移学习和数据扩充方式下的分类准确率高达96.53%,对藻斑病、软腐病、煤污病、黄化病、健康叶5类病害的F1得分分别达到94.28%、94.67%、97.31%、98.34%和98.03%。该方法具有较高的识别准确率,对平移、旋转具有较强的鲁棒性,可为植物叶片病害智能诊断提供参考。