复杂背景下果园视觉导航路径提取算法

为解决果园视觉导航机器人行间自主行进和调头问题,提出了基于Mask R-CNN的导航线提取方法和基于随机采样一致性(Random sample consensus, RANSAC)算法的树行线提取方法。首先,基于Mask R-CNN模型对道路与树干进行识别,提取道路分割掩码和树干边界框坐标;其次,在生成行间导航线的基础上,采用改进RANSAC算法提取前排树行线;然后,计算树干边界框坐标点到前排行线的距离,筛选后排树干坐标点,采用最小二乘法拟合生成后排树行线;最后,通过分析前后排树行信息判断调头方向,结合本文提出的行末端距离计算与调头路径规划方法,规划车辆的调头路线。实验结果表明：在不同光照、杂草、天气环境下的6种果园场景中,模型的平均分割精度和边界框检测精度都为97.0%,导航目标点提取的平均偏差不超过5.3%,树行线检测准确率不低于87%,调头后车辆距道路中心的平均偏差为7.8 cm,可为果园环境下的视觉自主导航提供有效参考。     

基于U-Net网络的果园视觉导航路径识别方法

针对视觉导航系统在果园环境中面临的图像背景复杂、干扰因素多等问题,提出了一种基于U-Net网络的果园视觉导航路径识别方法。使用Labelme对采集图像中的道路信息进行标注,制作果园数据集;基于U-Net语义分割算法在数据增强的基础上对全卷积神经网络进行训练,得到道路分割模型;根据生成的道路分割掩码进行导航信息提取,生成路径拟合中点;基于样条曲线拟合原理对拟合中点进行多段三次B样条曲线拟合,完成导航路径的识别;最后进行了实验验证。结果表明,临界阈值为0.4时,语义分割模型在弱光、普通光以及强光照条件下的分割交并比分别为89.52%、86.45%、86.16%,能够平稳实现果园道路像素级分割;边缘信息提取与路径识别方法可适应不同视角下的道路掩码形状,得到较为平顺的导航路径;在不同光照和视角条件下,平均像素误差为9.5像素,平均距离误差为0.044 m,已知所在果园道路宽度约为3.1 m,平均距离误差占比为1.4%;果园履带底盘正常行驶速度一般在0～1.4 m/s之间,单幅图像平均处理时间为0.154 s。在当前果园环境和硬件配置下,本研究可为视觉导航任务提供有效参考。     

移动目标位姿同步跟踪技术研究

以农业车辆或者采矿装备等移动目标为对象,以实现移动目标在未知环境中自主运动为目的,进行了基于三轴加速度和陀螺仪的移动目标位姿同步跟踪研究。首先建立移动目标运动学模型,探寻姿态角与位置解算的耦合规律,利用加速度和角加速度进行位姿导航参数计算,并在搭建的定位原型系统上对所提定位定姿算法进行验证。实验结果表明,静态测试时横滚角φ、俯仰角β及偏航角θ的误差分别为0.33°、0.26°和0.38°,动态测试时姿态角跟踪误差分别为1.01°、0.64°和0.83°;静态测试时三维加速度下的平均位置误差分别为0.76、0.52和0.56 m,利用零速校正消除了运行时的累计误差,能够对移动目标运动轨迹进行有效跟踪。     

基于定向摄像头的大拱棚运输车视觉导航研究

针对大拱棚中运输车导航问题,提出了一种适用性更高的导航方法。为了规避叶间空隙对Hough直线变换精度造成的影响,使用道路尽头横向中心点作为导航信息标定点,搭建摄像头云台使得摄像头视轴始终与道路平行。使用色度法对作物与道路进行分割处理,通过面积筛选所得的轮廓点集,能够准确计算出道路尽头的横向中心点像素坐标,从而得到运输车的位姿信息。通过运动学建模对运输车进行了轨迹仿真,得到了运输车不同速度下对识别误差的动态响应。基于Raspberry Pi平台搭建了导航信息提取装置,在不同道路长度的拱棚中对比了本文方法与Hough变换法的识别精度,并使用不同类型摄像头进行了静态导航信息提取实验,同时在不同速度进行了运输车的直线行驶实验。静态实验表明,相比于传统Hough变换,该导航方法能够显著提高识别精度,使用长焦摄像头比普通摄像头识别精度平均提高了25.7%,导航线平均识别偏差为2.4cm,检测速率为240ms/f,具有较高的精度和实时性。行驶实验表明,该导航方法在不同速度下均能保证较小的稳态误差,能够满足生产要求。     

基于TMS320DM642的农业机器人视觉导航路径检测

在农田非结构化自然环境下,通过机器视觉提取导航线的处理算法,利用透视投影变换得到摄像机相对于导航路径的偏移距离和偏移角,成功地在TMS320DM642系统上得到实现,并对程序进行了基于C语言的代码优化.试验结果表明,偏移角的最大误差为2°,横向偏移距离最大误差为5 cm.     

基于TMS320DM642的农业机器人视觉导航路径检

在农田非结构化自然环境下，通过机器视觉提取导航线的处理算法，利用透视投影变换得到摄像机相对于导航路径的偏移距离和偏移角，成功地在TMS320DM642系统上得到实现，并对程序进行了基于C语言的代码优化。试验结果表明，偏移角的最大误差为2°，横向偏移距离最大误差为     

基于改进DeepLabv3+的火龙果园视觉导航路径识别方法

针对视觉导航系统应用在火龙果园环境中面临干扰因素多、图像背景复杂、复杂模型难以部署等问题,本文提出了一种基于改进DeepLabv3+网络的火龙果园视觉导航路径识别方法。首先,采用MobileNetV2取代传统DeepLabv3+的主干特征提取网络Xception,并将空间金字塔池化模块(Atrous spatial pyramid pooling, ASPP)中的空洞卷积替换成深度可分离卷积(Depthwise separable convolution,DSC),在提升模型检测速率的同时大幅减少了模型的参数量和内存占用量;其次,在特征提取模块处引入坐标注意力机制(Coordinate attention,CA),增强了模型的特征提取能力;最后,通过设计的导航路径提取算法对网络模型分割出的道路掩码区域拟合出导航路径。实验结果表明：改进后的DeepLabv3+的平均交并比和平均像素准确率分别达到95.80%和97.86%,相较原模型分别提升0.79、0.41个百分点。同时,模型内存占用量只有15.0MB,和原模型相比降低97.00%,与Pspnet和U-net模型相比则分别降低91.57%、 91.02%。另外,导航路径识别精度测试结果表明平均像素误差为22像素、平均距离误差7.58cm。已知所在果园道路宽度为3m,平均距离误差占比为2.53%。因此,本文研究方法可为解决火龙果园视觉导航任务提供有效参考。     

基于改进Mask R-CNN的水稻茎秆杂质分割方法研究

针对目前国内联合收割机缺乏含杂率在线检测的问题,提出一种基于改进Mask R-CNN的水稻茎秆杂质分割方法。依据茎秆杂质形状位置特征,对原始Mask R-CNN中网络层进行优化;引入图像增广技术对图像样本进行扩充,解决图像训练数据匮乏问题;利用训练后模型对验证集中图像进行分割,并与原始Mask R-CNN等算法进行对比。结果表明,改进后Mask R-CNN算法的综合评价指标F1达到91.12%,优于其他模型,且分割时间可达到3.57 s,证明其可满足实时检测要求,为后续含杂率在线检测系统实现提供技术参考。     

基于Mask R-CNN的柑橘主叶脉显微图像实例分割模型

针对目前植物解剖表型的测量与分析过程自动化低，难以应对复杂解剖表型的提取和识别的问题，以柑橘主叶脉为研究对象，提出了一种基于掩膜区域卷积神经网络(Mask region convolutional neural network, Mask R-CNN)的主叶脉显微图像实例分割模型，以残差网络ResNet50和特征金字塔(Feature pyramid network, FPN)为主干特征提取网络，在掩膜(Mask)分支上添加一个新的感兴趣区域对齐层(Region of interest Align, RoI-Align),提升Mask分支的分割精度。结果表明，该网络架构能够精准地对柑橘主叶脉横切面中的髓部、木质部、韧皮部和皮层细胞进行识别分割。Mask R-CNN模型对髓部、木质部、韧皮部和皮层细胞的分割平均精确率(交并比(IoU)为0.50)分别为98.9%、89.8%、95.7%和97.2%,对4个组织区域的分割平均精确率均值(IoU为0.50)为95.4%。与未在Mask分支添加RoI-Align的Mask R-CNN相比，精度提升1.6个百分点。研究结果表明，Mask R-CN...     

基于Mask R-CNN的复杂背景下柑橘树枝干识别与重建

为了获取自然环境下完整柑橘果树枝干信息,以引导采摘机器人进行避障采摘作业,提出了一种基于Mask R-CNN模型与多参数变量约束的柑橘果树枝干识别与重建方法。该方法采用网格化的标记方式对果树枝干进行标记,完成了对柑橘果树枝干的小区域识别;然后对该模型获得的离散mask进行最小外接矩处理,以获得更精确的目标区域;接着利用多参数变量约束完成同一枝干mask(掩码)的划分;最后为了使重建枝干更符合实际枝干的生长姿态,以及完善未识别区域的检测,对同一枝干mask中心点进行了四次多项式拟合。实验结果表明,模型在测试集下的平均识别精确率为98. 15%,平均召回率为81. 09%,果树单条枝干平均拟合误差为11. 47%,果树枝干整体平均重建准确率为88. 64%。     

基于Mask R-CNN的单株柑橘树冠识别与分割

针对在复杂果园背景中难以识别分割单株果树树冠的问题，研究了基于Mask R-CNN 神经网络模型实现单株柑橘树冠识别与分割的方法。通过相机获取柑橘园图像数据，利用Mask R-CNN神经网络实现单株柑橘树冠的识别与分割，根据测试集的预测结果评估模型的性能和可适应性，并分析模型的影响因素。结果表明：参与建模的果园单株树冠识别分割准确率为97%，识别时间为0.26s，基本上可满足果园精准作业过程中的树冠识别要求；未参与建模果园的单株树冠识别分割准确率为89%，说明模型对不同品种、不同环境的果园具有一定的适应性；与SegNet模型相比，本文模型准确率、精确率和召回率均约高5个百分点，说明在非目标树冠较多的复杂果园图像中具有较好的识别分割效果。本研究可为对靶喷药、病虫害防护、长势识别与预估等果园精准作业提供重要依据。     

基于RGB-D相机的黄瓜苗3D表型高通量测量系统研究

传统的人工种苗表型测量方式存在效率低、主观性强、误差大、破坏种苗等问题，提出了一种使用RGB-D相机的黄瓜苗表型无损测量方法。研制了自动化多视角图像采集平台，布署两台Azure Kinect相机同时拍摄俯视和侧视两个视角的彩色、深度、红外和RGB-D对齐图像。使用Mask R-CNN网络分割近红外图像中的叶片和茎秆，再与对齐图进行掩膜，消除了对齐图中的背景噪声与重影并得到叶片和茎秆器官的对齐图像。网络实例分割结果的类别和数量即为子叶和真叶的数量。使用CycleGAN网络处理单个叶片的对齐图，对缺失部分进行修补并转换为3D点云，再对点云进行滤波实现保边去噪，最后对点云进行三角化测量叶面积。在Mask R-CNN分割得到的茎秆对齐图像中，利用茎秆的近似矩形特征，分别计算茎秆的长和宽，再结合深度信息转换为下胚轴长和茎粗。使用YOLO v5s检测对齐图中的黄瓜苗生长点，利用生长点与基质的高度差计算株高。实验结果表明，该系统具有很好的通量和精度，对子叶时期、1叶1心时期和2叶1心时期的黄瓜苗关键表型测量平均绝对误差均不高于8.59%、R²不低于0.83,可以很好地替代人工测...     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于改进Mask R-CNN的植物表型智能检测算法

针对高通量自动化获取的植物表型性状图像的智能检测问题,采用迁移学习和改进掩膜区域卷积神经网络(Mask R-CNN)设计植物表型智能检测分割算法。首先对残差网络进行优化,并利用特征金字塔网络(FPN)对输入图像进行特征提取;然后调整候选区域提取网络(RPN)中锚框的长宽比例和阈值,并在RoIAlign中通过双线性插值法保留了特征图的空间信息;最后改进Mask检测头,并增加特征融合机制以获得高质量的掩膜。在西瓜突变体生长情况的性状表型数据集上进行训练和检测,得到结果表明：改进后的Mask R-CNN表现出更优的检测性能,与传统Mask R-CNN相比,检测精度提高22%,掩膜准确率提高2.7%,检测时间减少42 ms,为提升农业精准化水平和推动智慧农业发展提供了技术支撑。     

基于空间注意力和可变形卷积的无人机田间障碍物检测

为了解决植保无人机作业时,传统田间障碍物识别方法依赖人工提取特征,计算耗时较长,难以实现在非结构化田间环境下实时作业识别的问题,提出一种优化的Mask R-CNN模型的非结构化农田障碍物实例分割方法。以ResNet-50残差网络为基础,将空间注意力(Spatial attention, SA)引入残差结构,聚焦跟踪目标的显著性表观特征并主动抑制噪声等无用特征的影响;引入可变形卷积(Deformable convolution, DCN),通过加入偏移量,增大感受野,提高模型的鲁棒性。构建包含农田典型障碍物的数据集,通过对比试验研究在ResNet残差网络结构中的不同阶段中加入空间注意力和可变形卷积时的模型性能差异。结果表明,与Mask R-CNN原型网络相比,在ResNet的阶段2、阶段3、阶段5加入空间注意力和可变形卷积后,改进Mask R-CNN的边界框(Bbox)和掩膜(Mask)的平均精度均值(mAP)分别从64.5%、56.9%提高到71.3%、62.3%。本文提出的改进Mask R-CNN可以很好地实现农田障碍物检测,可为植保无人机在非结构化农田环境下安全高效工作提供技术支撑。     

基于改进YOLACT的果树叶墙区域实时检测方法

为了解决果园因农药过量使用导致的环境污染与农药浪费问题,提出了一种基于改进YOLACT的果树叶墙区域(Leaf wall area, LWA)实时检测方法,用于计算深度-彩色双目相机采集视频中的叶墙区域距离及密度,为果园农药智慧喷施作业中农药喷洒剂量与喷洒距离的实时调整提供依据。首先,使用ConvNeXt主干网络改进了YOLACT模型,并引入NAM通道注意力机制对模型进行了优化;其次,提出了基于深度学习的果树叶墙密度检测方法;最后,通过阈值法排除深度图像中的干扰信息,简化了果树叶墙平均距离计算方法的处理流程。实验结果表明,改进YOLACT模型分割的AP_all为91.6%,相较于原始模型上升3.0个百分点,与YOLACT++、Mask R-CNN和QueryInst模型相比分别高2.9、1.2、4.1个百分点;叶墙密度估计算法在叶墙顶部、中部和底部的均方根误差(Root mean square error, RMSE)分别为1.49%、0.82%、2.20%;叶墙区域实时检测方法的处理速度可达29.96 f/s。     

基于VINS-MONO和改进YOLO v4-Tiny的果园自主寻筐方法

面向果园运输车果品采收自主运输作业场景，提出了一种基于VINS-MONO和改进YOLO v4-Tiny的果园自主寻筐方法。首先基于VINS-MONO视觉惯性里程计算法，进行果园运输车位置姿态的实时估计。然后基于改进YOLO v4-Tiny目标检测算法，根据图像数据进行果筐实时目标检测并获取对应深度信息。其次根据运输车当前位置姿态、果筐深度信息以及深度相机内参，进行被识别果筐位置更新。最后基于三次B样条曲线拟合原理，以被识别果筐位置为控制点，进行寻筐路径实时拟合，为果园运输车抵近果筐提供路线引导。试验结果表明：改进YOLO v4-Tiny果筐识别模型的平均识别精度为93.96%,平均推理时间为14.7 ms, 4 m内的果筐距离定位误差小于4.02%,果筐角度定位误差小于3°,果园运输车实测平均行驶速度为3.3 km/h,果筐搜寻路线平均更新时间为0.092 s,能够在果树行间和果园道路两种作业环境下稳定实现自主寻筐。该方法能够为果园运输车提供自主寻筐路径引导，为其视觉导航提供研究参考。     

基于实例分割和光流计算的死兔识别模型研究

为实现自动化识别死兔,提高养殖管理效率,以笼养生长兔为研究对象,以基于优化Mask RCNN的实例分割网络和基于LiteFlowNet的光流计算网络为研究方法,构建了一种多目标背景下基于视频关键帧的死兔识别模型.该模型的实例分割网络以ResNet 50残差网络为主干,结合PointRend算法实现目标轮廓边缘的精确提取...