基于稠密自编码器的无监督番茄植株图像深度估计模型

深度信息获取是温室移动机器人实现自主作业的关键。该研究提出一种基于稠密卷积自编码器的无监督植株图像深度估计模型。针对因视角差异和遮挡而产生的像素消失问题,引入视差置信度预测,抑制图像重构损失产生的问题梯度,设计了基于可分卷积的稠密自编码器作为模型的深度神经网络。以深度估计误差、阈值精度等为判据,在番茄植株双目图像上开展训练和测试试验,结果表明,抑制问题梯度回传可显著提高深度估计精度,与问题梯度抑制前相比,估计深度的平均绝对误差和均方根误差分别降低了55.2%和33.0%,将网络预测的多尺度视差图接入编码器并将其上采样到输入图像尺寸后参与图像重构和损失计算的处理方式对提高预测精度是有效的,2种误差进一步降低了23.7%和27.5%;深度估计误差随空间点深度的减小而显著降低,当深度在9 m以内时,估计深度的平均绝对误差14.1 cm,在3 m以内时,则7 cm。与已有研究相比,该研究估计深度的平均相对误差和平均绝对误差分别降低了46.0%和26.0%。该研究可为温室移动机器人视觉系统设计提供参考。     

面向温室移动机器人的无监督视觉里程估计方法

针对温室移动机器人自主作业过程中,对视觉里程信息的实际需求及视觉里程估计因缺少几何约束而易产生尺度不确定问题,提出一种基于无监督光流的视觉里程估计方法。根据双目视频局部图像的几何关系,构建了局部几何一致性约束及相应光流模型,优化调整了光流估计网络结构;在网络训练中,采用金字塔层间知识自蒸馏损失,解决层级光流场缺少监督信号的问题;以轮式移动机器人为试验平台,在种植番茄温室场景中开展相关试验。结果表明,与不采用局部几何一致性约束相比,采用该约束后,模型的帧间及双目图像间光流端点误差分别降低8.89%和8.96%;与不采用层间知识自蒸馏相比,采用该处理后,两误差则分别降低11.76%和11.45%;与基于现有光流模型的视觉里程估计相比,该方法在位姿跟踪中的相对位移误差降低了9.80%;与多网络联合训练的位姿估计方法相比,该误差降低了43.21%;该方法可获得场景稠密深度,深度估计相对误差为5.28%,在1 m范围内的位移平均绝对误差为3.6 cm,姿态平均绝对误差为1.3o,与现有基准方法相比,该方法提高了视觉里程估计精度。研究结果可为温室移动机器人视觉系统设计提供技术参考。     

基于改进HRNet的单幅图像苹果果树深度估计方法

针对苹果自动采收获取果树深度信息的实际需求,以及目前单幅图像深度估计算法存在的空间分辨率低和边缘模糊问题,提出一种基于改进高分辨率网络（High-Resoultion Net, HRNet）的单幅图像苹果果树深度估计模型。首先基于HRNet构建多分支并行的编码器网络,提取多尺度特征,并通过引入密集连接机制强化特征传递过程中的连续性;为了减少冗余特征造成的噪声干扰,使用卷积注意力模块在通道及像素层级对融合特征进行重标定,强化特征图结构信息。在解码器网络中,使用条纹细化模块自适应地优化特征图的边界细节信息,突出边缘特征,改善边缘模糊问题,最后经上采样生成深度图。在NYU Depth V2公共数据集和果园深度数据集上进行试验。试验结果表明,引入密集连接机制,添加卷积注意力模块、条纹细化模块均能提升模型性能。提出的改进HRNet网络在果园深度数据集上的平均相对误差、均方根误差、对数平均误差、深度边缘准确误差和边缘完整性误差分别为0.123、0.547、0.051、3.90和10.76,在不同阈值下的准确率达到了0.850、0.975、0.993;在主观视觉上,改进HRNet网络生成的深度图有清晰的边缘以及较多的纹理细节。本文方法在客观指标和主观效果上均有良好的表现。     

融合坐标注意力机制的轻量级玉米花丝检测

玉米花丝性状是玉米生长状态的重要表征,也是决定玉米果穗生长进而影响玉米产量的重要因素。为了提升无人巡检机器人视觉系统对玉米花丝的检测精度和速度,该研究提出一种融合坐标注意力机制的轻量级目标检测网络YOLOX-CA。将坐标注意力机制（coordinate attention,CA）模块嵌入到YOLOX-s主干特征网络（Backbone）部分,以加强对关键特征的提取,提升检测精度;在颈部特征加强网络（Neck）部分,将特征金字塔结构中的普通卷积,更改为深度可分离卷积,在降低网络参数量的同时保证精度不丢失;在预测头（Head）部分引入GIoU(generalized intersection over union)改进定位损失函数计算,得到更为精准的预测结果。基于自建玉米花丝数据集训练和测试网络,试验结果表明,YOLOX-CA网络平均检测精确度达到97.69%,参数量低至8.35 M。在同一试验平台下,相较于YOLOX-s、YOLOv3、YOLOv4等目前主流的目标检测网络,平均检测精确度分别提升了2.21、3.22和0.64个百分点;相较于YOLOv3、YOLOv4,每帧推理时间分别缩短4...     

农业车辆双目视觉障碍物感知系统设计与试验

为保证智能化农业机械在自主导航过程中的安全可靠性,该研究将嵌入式AI计算机Jetson TX2作为运算核心,设计一套基于双目视觉的农业机械障碍物感知系统。使用深度卷积神经网络对作业环境中的障碍物进行识别,并提出一种基于改进YOLOv3的深度估计方法。将双目相机抓取的左右图像分别输入至改进的YOLOv3模型中进行障碍物检测,并将输出的目标检测框信息进行目标匹配和视差计算,完成对障碍物的识别、定位和深度估计。试验结果表明,该系统能够对障碍物进行准确识别,平均准确率和召回率分别达到89.54%和90.18%;改进YOLOv3模型的深度估计误差均值、误差比均值较原始YOLOv3模型分别降低25.69%、25.65%,比Hog+SVM方法分别降低41.9%、41.73%;动态场景下系统对障碍物深度估计的平均误差比为4.66%,平均耗时0.573s,系统在深度预警时能够及时开启电控液压转向模块进行安全避障。研究结果可为农业机械的自主导航提供有效的环境感知依据。     

采用改进YOLOv4-tiny的复杂环境下番茄实时识别

实时识别番茄的成熟度是番茄自主采摘车的关键功能。现有目标识别算法速度慢、对遮挡番茄和小番茄识别准确率低。因此,该研究提出一种基于改进YOLOv4-tiny模型的番茄成熟度识别方法。在头部网络（Head network）部分增加一个76×76的检测头（y3）来提高小番茄的识别准确率。为了提高被遮挡番茄的识别准确率,将卷积注意力模块（Convolution Block Attention Module,CBAM）集成到YOLOv4-tiny模型的骨干网络（Backbone network）部分。在深层卷积中使用Mish激活函数替代ReLU激活函数以保证提取特征的准确性。使用密集连接的卷积网络（Densely Connected Convolution Networks, DCCN）来加强全局特征融合,并建立红风铃番茄成熟度识别的数据集。试验结果表明,与YOLOv3、YOLOv4、YOLOv4-tiny、YOLOv5m和YOLOv5l模型相比,改进YOLOv4-tiny-X模型的平均精度均值（mean Average Precision, mAP）分别提高了30.9、0.2、0.7、5.4和4.9个百分点,在Nvidia GTX 2060 GPU 上达到111帧/s的速度,平均精度均值达到97.9%。不同模型的实时测试可视化结果表明,改进模型能够有效解决遮挡和小番茄识别准确率低的问题,可为番茄采摘车研制提供参考。     

基于深度卷积神经网络的番茄主要器官分类识别方法

为实现番茄不同器官的快速、准确检测,提出一种基于深度卷积神经网络的番茄主要器官分类识别方法。在VGGNet基础上,通过结构优化调整,构建了10种番茄器官分类网络模型,在番茄器官图像数据集上,应用多种数据增广技术对网络进行训练,测试结果表明各网络的分类错误率均低于6.392%。综合考虑分类性能和速度,优选出一种8层网络用于番茄主要器官特征提取与表达。用筛选出的8层网络作为基本结构,设计了一种番茄主要器官检测器,结合Selective Search算法生成番茄器官候选检测区域。通过对番茄植株图像进行检测识别,试验结果表明,该检测器对果、花、茎的检测平均精度分别为81.64%、84.48%和53.94%,能够同时对不同成熟度的果和不同花龄的花进行有效识别,且在检测速度和精度上优于R-CNN和Fast R-CNN。     

基于自监督学习的温室移动机器人位姿跟踪

为实现温室环境下机器人行进过程中的位置及姿态跟踪,该研究提出一种基于时序一致性约束的自监督位姿变换估计模型。模型用软遮罩,处理视频帧间静止造成的位姿预测值收缩现象,进一步用归一化遮罩,解决非刚体场景和目标遮挡问题。设计了一种星型扩张卷积,并基于该卷积,为模型构建自编码器。在采集自种植作物为番茄的日光温室视频数据上开展训练和测试试验。结果表明,与不采用遮罩处理的模型相比,采用软遮罩的模型,位置和姿态估计相对误差分别减少5.06个百分点和11.05个百分点,采用归一化遮罩的模型,这2项误差则分别减少4.15个百分点和3.86个百分点,2种遮罩均可显著提高模型精度;星型扩张卷积对降低模型误差是有效的,在网络参数不变的前提下,该卷积使姿态估计相对误差减少7.54个百分点;时序一致性约束使姿态估计均方根误差下降36.48%,每百帧累积姿态角误差降低54.75%,该约束可用于提高模型精度及稳定性;该研究的位置及姿态估计相对误差分别为8.29%和5.71%,与Monodepth2相比,减少了8.61%和6.83%。该研究可为温室移动机器人导航系统设计提供参考。     

采用机器视觉与自适应卷积神经网络检测花生仁品质

该文以花生质量自动化检测为研究目标,提出了一种基于机器视觉与自适应卷积神经网络的花生质量检测方法。构建花生图像数据库用于识别花生的常见缺陷,包括霉变、破碎、干瘪等;然后建立卷积神经网络自动提取花生图像特征。为避免深层网络训练时间过长,分别将二次函数与正态分布模型引入网络损失中,同时从网络的损失与权值2方面提出自适应学习率,并分别结合梯度下降与梯度上升法更新网络。为提高模型的泛化能力,引进迁移学习算法,分别在网络的特征层与分类层后加入领域自适应,实现跨领域与跨任务的检测。试验结果表明,该方法对花生常见缺陷的平均识别率达99.7%,与传统的深度网络相比实现了更高的收敛速度与识别精度。     

基于面向通道分组卷积网络的番茄主要器官实时识别

番茄器官的实时准确识别是实现自动采摘、靶向施药等自动化生产的关键。该文提出一种基于面向通道分组卷积网络的番茄主要器官实时识别网络模型,该模型直接用特征图预测番茄器官目标边界和类型。以统计可分性、计算速度等为判据,并结合样本扩增训练,分析了该网络和几种典型网络在番茄器官图像处理上的性能,以此筛选出识别网络的基础结构,在基础结构后面分别附加带dropout层的面向通道分组卷积模块和全卷积层作为识别网络的总体架构。试验结果表明:用面向通道分组卷积网络作为识别网络的基础结构,可在显著提高网络召回率、识别速度和精度的前提下,大幅降低模型的大小,该结构网络对花、果、茎识别的平均精度分别为96.52%、97.85%和82.62%,召回率分别为77.39%、69.33%和64.23%,识别速度为62帧/s;与YOLOv2相比,该文识别网络召回率提高了14.03个百分点,精度提高了2.51个百分点。     

基于RGB和深度双模态的温室番茄图像语义分割模型

图像语义分割作为计算机视觉领域的重要技术,已经被广泛用于设施环境下的植物表型检测、机器人采摘、设施场景解析等领域。由于温室环境下未成熟番茄果实与其茎叶之间具有相似颜色,会导致图像分割精度不高等问题。本研究提出一种基于混合Transformer编码器的“RGB+深度”（RGBD）双模态语义分割模型DFST（depth-fusion semantic transformer）,试验在真实温室光照情况下获得深度图像,对深度图像做HHA编码并结合彩色图像输入模型进行训练,经过HHA编码的深度图像可以作为一种辅助模态与RGB图像进行融合并进行特征提取,利用轻量化的多层感知机解码器对特征图进行解码,最终实现图像分割。试验结果表明,DFST模型在测试集的平均交并比可达96.99%,对比不引入深度图像的模型,其平均交并比提高了1.37个百分点;对比使用卷积神经网络作为特征提取主干网络的RGBD语义分割模型,其平均交并比提高了2.43个百分点。结果证明,深度信息有助于提高彩色图像的语义分割精度,可以明显提高复杂场景语义分割的准确性和鲁棒性,同时也证明了Transformer结构作为特征提取网络在图像语义分割中也表现出了良好的性能,可为温室环境下的番茄图像语义分割任务提供解决方案和技术支持。     

基于ResNeXt单目深度估计的幼苗植株高度测量方法

幼苗高度是幼苗培育过程中的重要性状,是幼苗生长状况和优良性状筛选的重要参考指标.针对目前研究多选用专业测量工具、使用带有标记的测量手段这一现状,该研究提出了一种基于单目图像深度估计技术的幼苗高度无参测量方法.首先以NYU Depth Dataset V2深度数据集为基础,以ResNeXt 101网络为深度估计网络主体实...     

基于图像显著性分析与卷积神经网络的茶园害虫定位与识别

为实现在茶园环境中快速、准确地识别害虫目标,该文提出了一种基于卷积神经网络的深度学习模型来进行害虫定位和识别的方法。该文通过对整个图像进行颜色衰减加速运算,结合超像素区域之间的空间影响,计算各个超区域的显著性值,进而提供害虫目标的潜在区域,最终结合Grab Cut算法进行害虫目标的定位和分割。对于分割后的害虫目标,通过优化后的卷积神经网络进行表达和分类,并进一步对卷积神经网络的结构进行了约减。通过对23种茶园主要害虫的识别,试验结果表明,识别准确率在优化前后分别为0.915和0.881,优化后的模型内存需求和运行耗时分别降低至6 MB和0.7 ms,取得了较好的识别效果。     

基于叶绿素荧光成像技术的番茄苗热害胁迫智能识别方法

为实现作物热害胁迫状态快速、无损和智能化识别,该研究设计了一套叶绿素荧光图像采集装置,并提出一种基于叶绿素荧光成像技术的番茄苗热害胁迫智能识别方法。以不同热害阶段下的番茄苗叶片作为研究对象,通过搭建的叶绿素荧光图像采集设备获取具有单一背景的叶片原始荧光图像,将获取的12组荧光参数值结合Spearman等级相关性分析得到相关性最高的非调节性能量耗散的量子产量Y（NO）,对其进行图像预处理后构建番茄苗叶片热害图像数据集。对AlexNet模型进行改进,引入批量归一化（Batch Normalization,BN）方法加快模型的收敛速度,选择Mish激活函数提高模型的表达能力,同时使用全局平均池化层（Golbal Average Pooling,GAP）替换全连接层和深度可分离卷积替换传统卷积的方法减少模型参数量,以提升模型运行速度,通过Adam优化算法更新梯度。研究结果表明,改进AlexNet模型性能最优,平均识别精度达98.8%,平均测试耗时为11.6 ms,模型权重空间仅为1.13 MB。相比未改进AlexNet模型,平均测试耗时下降23.2%,模型权重空间下降99.5%。该研究为番茄苗早期热害胁迫检测和胁迫等级划分提供了一种方法,也为其他作物夏季热害监测和防控提供技术参考。     

基于注意力机制及多尺度特征融合的番茄叶片缺素图像分类方法

针对番茄早期缺素性状不明显及各生长期特征差异较大所导致的特征区域尺寸不一致、难提取、难辩别等问题,提出了一种基于注意力机制及多尺度特征融合卷积神经网络的番茄叶片缺素图像分类方法（Multi-Scale Feature Fusion Convolutional Neural Networks Based On Atte ntion Mechanism,MSFF-AM-CNNs）。首先根据番茄叶片缺素特点提出了多尺度特征融合结构（Multi-Scale Feature Fusion Module,MSFF Module）;其次在DenseNet基础上,结合浅层网络主要提取纹理、细节特征,深层网络主要提取轮廓、形状特征的特点分别提出具有针对性的特征提取方法,通过不同形式引入注意力机制及多尺度特征融合结构,使全局多尺度信息融合多个特征通道、选择性地强调信息特征并达到对特征精准定位的功能;同时引入Focal Loss函数以减少易分类样本的权重。试验结果表明,MSFF-AM-CNNs的平均召回率、平均F1得分、平均准确率较原模型DenseNet-121均大幅提升,其中缺氮和缺钾叶片的准确率分别提高了8.06和6.14个百分点,召回率分别提高了6.31和5.00个百分点,F1得分分别提高了7.25和5.55个百分点,平均识别准确率可达95.92%,具有较高的识别准确率及广泛的适用性,能够满足番茄叶片缺素图像的高精度分类需求,可为植物叶片缺素识别提供参考。