面向温室移动机器人的无监督视觉里程估计方法

针对温室移动机器人自主作业过程中,对视觉里程信息的实际需求及视觉里程估计因缺少几何约束而易产生尺度不确定问题,提出一种基于无监督光流的视觉里程估计方法。根据双目视频局部图像的几何关系,构建了局部几何一致性约束及相应光流模型,优化调整了光流估计网络结构;在网络训练中,采用金字塔层间知识自蒸馏损失,解决层级光流场缺少监督信号的问题;以轮式移动机器人为试验平台,在种植番茄温室场景中开展相关试验。结果表明,与不采用局部几何一致性约束相比,采用该约束后,模型的帧间及双目图像间光流端点误差分别降低8.89%和8.96%;与不采用层间知识自蒸馏相比,采用该处理后,两误差则分别降低11.76%和11.45%;与基于现有光流模型的视觉里程估计相比,该方法在位姿跟踪中的相对位移误差降低了9.80%;与多网络联合训练的位姿估计方法相比,该误差降低了43.21%;该方法可获得场景稠密深度,深度估计相对误差为5.28%,在1 m范围内的位移平均绝对误差为3.6 cm,姿态平均绝对误差为1.3o,与现有基准方法相比,该方法提高了视觉里程估计精度。研究结果可为温室移动机器人视觉系统设计提供技术参考。     

基于自监督学习的番茄植株图像深度估计方法

深度估计是智能农机视觉系统实现三维场景重建和目标定位的关键。该文提出一种基于自监督学习的番茄植株图像深度估计网络模型,该模型直接应用双目图像作为输入来估计每个像素的深度。设计了3种面向通道分组卷积模块,并利用其构建卷积自编码器作为深度估计网络的主体结构。针对手工特征衡量2幅图像相似度不足的问题,引入卷积特征近似性损失作为损失函数的组成部分。结果表明:基于分组卷积模块的卷积自编码器能够有效提高深度估计网络的视差图精度;卷积特征近似性损失函数对提高番茄植株图像深度估计的精度具有显著作用,精度随着参与损失函数计算的卷积模块层数的增加而升高,但超过4层后,其对精度的进一步提升作用不再明显;当双目图像采样距离在9.0 m以内时,该文方法所估计的棋盘格角点距离均方根误差和平均绝对误差分别小于2.5和1.8 cm,在3.0 m以内时,则分别小于0.7和0.5 cm,模型计算速度为28.0帧/s,与已有研究相比,2种误差分别降低了33.1%和35.6%,计算速度提高了52.2%。该研究可为智能农机视觉系统设计提供参考。     

基于稠密自编码器的无监督番茄植株图像深度估计模型

深度信息获取是温室移动机器人实现自主作业的关键。该研究提出一种基于稠密卷积自编码器的无监督植株图像深度估计模型。针对因视角差异和遮挡而产生的像素消失问题,引入视差置信度预测,抑制图像重构损失产生的问题梯度,设计了基于可分卷积的稠密自编码器作为模型的深度神经网络。以深度估计误差、阈值精度等为判据,在番茄植株双目图像上开展训练和测试试验,结果表明,抑制问题梯度回传可显著提高深度估计精度,与问题梯度抑制前相比,估计深度的平均绝对误差和均方根误差分别降低了55.2%和33.0%,将网络预测的多尺度视差图接入编码器并将其上采样到输入图像尺寸后参与图像重构和损失计算的处理方式对提高预测精度是有效的,2种误差进一步降低了23.7%和27.5%;深度估计误差随空间点深度的减小而显著降低,当深度在9 m以内时,估计深度的平均绝对误差14.1 cm,在3 m以内时,则7 cm。与已有研究相比,该研究估计深度的平均相对误差和平均绝对误差分别降低了46.0%和26.0%。该研究可为温室移动机器人视觉系统设计提供参考。     

基于改进YOLOv4模型的橙果识别与定位方法

为提高橙果采摘定位精度和作业速度,提出一种便于迁移至移动终端的改进YOLOv4模型,可从RealSense深度相机所成彩色图像中获取果实质心二维坐标,经配准提取对应深度图中质心点深度值,实现果实的三维空间定位。改进YOLOv4模型以MobileNet v2为主干网络,在颈部结构中使用深度可分离卷积替换普通卷积,实现模型轻量化并提高检测速度。训练后的改进模型对513张独立橙果测试集数据的识别平均精度达97.24%,与原始YOLOv4模型相比,平均检测时间减少11.39 ms,模型大小减少197.5 M。与经典Faster RCNN、SSD模型相比,检测平均精度分别提高了2.85和3.30个百分点,模型大小分别减少了474.5和44.1 M。与轻量化模型YOLOv4-tiny相比,召回率提升了4.79个百分点,较Ghostnet-YOLOv4,检测速度提升了27.64个百分点。为验证该改进算法实用性,应用改进模型获取果园中78个橙果的位置信息,结果表明：果实二维识别成功率达98.72%,水平方向及垂直方向的平均绝对百分比误差均在1%以内。果实三维定位成功率达96.15%,深度信息平均绝对百分比误差为2.72%,满足采摘机械手精准定位需求。该方法为复杂场景下采摘作业实现提供了鲁棒性强、实时性好、精准度高的目标定位途径。     

融合2D-3D卷积特征识别哺乳母猪姿态转换

母猪姿态转换影响仔猪存活率,且动作幅度与持续时间存在差异,准确识别难度大。该研究提出一种融合2D-3D卷积特征的卷积网络(2D+3D-CNet,2D+3D Convolutional Network)识别深度图像母猪姿态转换。以视频段为输入,引入注意力机制SE模块和3D空洞卷积,以提升3D卷积网络姿态转换的时空特征提取能力,用2D卷积提取母猪的空间特征;经特征融合后,动作识别分支输出母猪转换概率,姿态分类分支输出4类姿态概率,结合这两个输出结果识别8类姿态转换,减少了人工标注数据集的工作量;最后设计动作分数,优化母猪姿态转换的时间定位。在测试集上,2D+3D-CNet姿态转换识别精度为97.95%、召回率为91.67%、测试速度为14.39帧/s,精度、召回率和时间定位精度均高于YOWO、FRCNN-HMM和MOC-D方法。该研究结果实现了母猪姿态转换高精度识别。     

基于姿态与时序特征的猪只行为识别方法

生猪行为监测是生猪养殖管理过程中的一个重要环节。该研究提出了基于姿态与时序特征的猪只行为识别方法。首先采集和标注猪栏内猪只图像，分别构建了猪只目标检测数据集、猪只关键点数据集和猪只行为识别数据集；利用构建的数据集，分别训练了基于YOLOv5s的猪只检测模型、基于轻量化OpenPose算法的猪只姿态估计模型和基于ST-GCN算法的猪只行为识别模型，并搭建了猪只行为识别系统。经测试，文中训练的YOLOv5s猪只检测模型mAP（mean Average Precision）最高达到0.995，姿态估计模型平均精度和平均召回率达到93%以上，基于ST-GCN的猪只行为识别模型的平均准确率为86.67%。文中构建的猪只行为识别系统中基于LibTorch推理猪只检测模型和猪只姿态估计模型的单帧推理耗时分别约为14和65 ms，单只猪行为识别推理耗时约为8 ms，每提取200帧连续姿态进行一次行为识别推理，平均17 s更新一次行为识别结果。证明提出的基于姿态与时序特征的猪只行为识别方法具有一定可行性，为群养猪场景下的猪只行为识别提供了思路。     

基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位

为提高苹果采摘机器人的工作效率和环境适应性,使其能全天候的在不同光线环境下对遮挡、粘连和套袋等多种情况下的果实进行识别定位,该文提出了基于YOLOv3(you only look once)深度卷积神经网络的苹果定位方法。该方法通过单个卷积神经网络(one-stage)遍历整个图像,回归目标的类别和位置,实现了直接端到端的目标检测,在保证效率与准确率兼顾的情况下实现了复杂环境下苹果的检测。经过训练的模型在验证集下的m AP(meanaverageprecision)为87.71%,准确率为97%,召回率为90%,IOU(intersection over union)为83.61%。通过比较YOLOv3与Faster RCNN算法在不同数目、不同拍摄时间、不同生长阶段、不同光线下对苹果的实际检测效果,并以F1为评估值对比分析了4种算法的差异,试验结果表明YOLOv3在密集苹果的F1高于YOLOv2算法4.45个百分点,在其他环境下高于Faster RCNN将近5个百分点,高于HOG+SVM(histogram of oriented gradient+support vector machine)将近10个百分点。并且在不同硬件环境验证了该算法的可行性,一幅图像在GPU下的检测时间为16.69 ms,在CPU下的检测时间为105.21 ms,实际检测视频的帧率达到了60帧/s和15帧/s。该研究可为机器人快速长时间高效率在复杂环境下识别苹果提供理论基础。     

改进帧间差分-深度学习识别群养猪只典型行为

群养猪行为是评估猪群对环境适应性的重要指标。猪场环境中，猪只行为识别易受不同光线和猪只粘连等因素影响，为提高群养猪只行为识别精度与效率，该研究提出一种基于改进帧间差分-深度学习的群养猪只饮食、躺卧、站立和打斗等典型行为识别方法。该研究以18只50～115日龄长白猪为研究对象，采集视频帧1 117张，经图像增强共得到4 468张图像作为数据集。首先，选取Faster R-CNN、SSD、Retinanet、Detection Transformer和YOLOv5五种典型深度学习模型进行姿态检测研究，通过对比分析，确定了最优姿态检测模型；然后，对传统帧间差分法进行了改进，改进后帧间差分法能有效提取猪只完整的活动像素特征，使检测结果接近实际运动猪只目标；最后，引入打斗活动比例（Proportion of Fighting Activities, PFA）和打斗行为比例（Proportion of Fighting Behavior, PFB）2个指标优化猪只打斗行为识别模型，并对模型进行评价，确定最优行为模型。经测试，YOLOv5对群养猪只典型姿态检测平均精度均值达93.80%，模型大小为14.40 MB，检测速度为32.00帧/s，检测速度满足姿态实时检测需求，与Faster R-CNN、SSD、Retinanet和Detection Transformer模型相比，YOLOv5平均精度均值分别提高了1.10、3.23、4.15和21.20个百分点，模型大小分别减小了87.31%、85.09%、90.15%和97.10%。同时，当两个优化指标PFA和PFB分别设置为10%和40%时，猪只典型行为识别结果最佳，识别准确率均值为94.45%。结果表明，该方法具有准确率高、模型小和识别速度快等优点。该研究为群养猪只典型行为精准高效识别提供方法参考。     

基于改进卷积神经网络的多种植物叶片病害识别

针对训练收敛时间长,模型参数庞大的问题,该文将传统的卷积神经网络模型进行改进,提出一种批归一化与全局池化相结合的卷积神经网络识别模型.通过对卷积层的输入数据进行批归一化处理,以便加速网络收敛.进一步缩减特征图数目,并采用全局池化的方法减少特征数.通过设置不同尺寸的初始层卷积核和全局池化层类型,以及设置不同初始化类型和激活函数,得到8种改进模型,用于训练识别14种不同植物共26类病害并选出最优模型.改进后最优模型收敛时间小于传统卷积神经网络模型,仅经过3次训练迭代,就能达到90%以上的识别准确率;参数内存需求仅为2.6 MB,平均测试识别准确率达到99.56%,查全率和查准率的加权平均分数为99.41%.改进模型受叶片的空间位置的变换影响较小,能识别多种植物叶片的不同病害.该模型具有较高的识别准确率及较强的鲁棒性,该研究可为植物叶片病害的识别提供参考.     

基于相机位姿恢复与神经辐射场理论的果树三维重建方法

针对传统立体视觉三维重建技术难以准确表征果树多尺度复杂表型细节的问题，该研究提出了一种基于相机位姿恢复技术与神经辐射场理论的果树三维重建方法，设计了一套适用于标准果园环境的果树图像采集设备和采集方案。首先，环绕拍摄果树全景视频并以抽帧的方式获取果树多视角图像；其次，使用运动结构恢复算法进行稀疏重建以计算果树图像位姿；然后，训练果树神经辐射场，将附有位姿的多视角果树图像进行光线投射法分层采样和位置编码后输入多层感知机，通过体积渲染监督训练过程以获取收敛且能反映果树真实形态的辐射场；最后，导出具有高精度与高表型细节的果树三维实景点云模型。试验表明，该研究构建的果树点云能准确表征从植株尺度的枝干、叶冠等宏观结构到器官尺度的果实、枝杈、叶片乃至叶柄、叶斑等微观结构。果树整体精度达到厘米级，其中胸径、果径等参数达到毫米级精度，尺度一致性误差不超过5%。相较于传统的立体视觉三维重建方法，重建时间缩短39.50%，树高、冠幅、胸径和地径4个树形参数的尺度一致性误差分别降低了77.06%、83.61%、45.47%和62.23%。该方法能构建具有高精度、高表型细节的果树点云模型，为数字果树技术的应用奠定基础。     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。     

基于卷积神经网络的奶牛个体身份识别方法

视频分析技术已越来越多地应用于检测奶牛行为以给出养殖管理决策,基于图像处理的奶牛个体身份识别方法能够进一步提高奶牛行为视频分析的自动化程度。为实现基于图像处理的无接触、高精确度、适用性强的奶牛养殖场环境下的奶牛个体有效识别,提出用视频分析方法提取奶牛躯干图像,用卷积神经网络准确识别奶牛个体的方法。该方法采集奶牛直线行走时的侧视视频,用帧间差值法计算奶牛粗略轮廓,并对其二值图像进行分段跨度分析,定位奶牛躯干区域,通过二值图像比对跟踪奶牛躯干目标,得到每帧图像中奶牛躯干区域图像。通过理论分析和试验验证,确定了卷积神经网络的结构和参数,并将躯干图像灰度化后经插值运算和归一化变换为48×48大小的矩阵,作为网络的输入进行个体识别。对30头奶牛共采集360段视频,随机选取训练数据60 000帧和测试数据21 730帧。结果表明,在训练次数为10次时,代价函数收敛至0.0060,视频段样本的识别率为93.33%,单帧图像样本的识别率为90.55%。该方法可实现养殖场中奶牛个体无接触精确识别,具有适用性强、成本低的特点。     

基于CNN-BiLSTM的棉花产量预测方法

针对传统的作物产量估算方法在模型泛化方面的不足及缺少时序特征和空间特征的问题,该研究以机采棉为研究对象,结合无人机遥感平台与深度学习技术对棉花进行多期遥感观测与估产。以棉花苗期、蕾期和花期的影像为时间序列数据集,构建基于卷积神经网络（Convolutional Neural Network,CNN）和双向长短期记忆（Bidirectional Long Short-Term Memory,BiLSTM）的混合模型（CNN-BiLSTM）进行棉花产量预估,提高时间维度和空间维度方面的特征提取能力,并分别验证CNN和BiLSTM的性能以及不同网络深度对估产的影响。研究结果表明,CNN和BiLSTM深度分别为14和1的CNN14-BiLSTM模型准确率最高,对比单一结构的BiLSTM该模型决定系数从0.851提升至0.885,其均方根误差和平均绝对百分比误差也均明显下降,在2.3 m×2.3 m的样方内,结果分别为147.167 g和6.711%。该研究实现了基于时间序列的棉花产量估算,可为类似的作物产量估算提供参考。     

基于特征递归融合YOLOv4网络模型的春见柑橘检测与计数

春见柑橘个体小、单株果树柑橘密集、柑橘之间的形态与颜色相似度高且易被树叶严重遮挡,这些特点给春见柑橘检测与计数带来了较大困难。该研究以实际春见果园环境中的春见柑橘作为检测与计数对象,提出了一种以春见柑橘为检测目标的基于特征递归融合YOLOv4网络模型（YOLOv4 network model with recursive fusion of features,FR-YOLOv4）。针对春见柑橘尺寸小的特点,FR-YOLOv4网络模型的主干特征提取网络采用了感受野更小的CSPResNest50网络,降低了小尺寸目标的特征图传不到目标检测器中的可能性;针对春见柑橘被遮挡和密集分布的情况,采用了递归特征金字塔（Recursive Feature Pyramid,RFP）网络来进行特征递归融合,提高了对果园环境下春见柑橘的检测精度。试验结果表明：FR-YOLOv4网络模型对于果园环境中春见柑橘的平均检测精度为94.6%,视频检测帧率为51帧/s。FR-YOLOv4网络模型相比于YOLOv4、单次多框检测器（Single Shot Multi-Box Detector,SSD）、CenterNet和更快速卷积神经网络（Faster- Region-Convolutional Neural Networks,Faster R-CNN）的平均检测精度分别提高了8.9、29.3、14.1和16.2个百分点,视频检测帧率分别比SSD、Faster R-CNN提高了17帧/s和33帧/s。FR-YOLOv4网络模型对于实际果园环境中春见柑橘的检测精度高,具备检测实时性,适用于春见果园中春见柑橘检测与计数。     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM（convolutional block attention module）,改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,与Faster RCNN、YOLOv5s、YOLOv5m相比,检测平均准确率分别提升了18.9、7.2和5.9个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

面向海洋牧场智能化建设的海珍品实时检测方法

海珍品检测对海洋牧场的智能化建设至关重要,在实时性和准确性方面仍有待提高。该研究提出一种改进的YOLOv3海珍品检测方法。利用深度可分离卷积替代YOLOv3中的标准卷积,得到一个轻量化网络模型DSC-YOLO(Depthwise Separable Convolution-YOLO);在数据预处理方面,采用图像增强方法 UGAN提升海珍品图像清晰度,采用Mosaic数据增广方法丰富数据的多样性。在海珍品数据集上的试验结果显示,相较YOLOv3而言,所提模型大小减少70%,推理时间降低16%,召回率R提高了2.7%,平均准确率提高了2.4%,F1分数提高了0.4%。可见该方法模型小、实时性好,具有部署到移动设备上的潜力。