基于深度学习的茶嫩芽分割与采摘点定位方法研究

为实现茶嫩芽快速识别与采摘点定位,研究一种轻量级深度学习网络实现茶嫩芽分割与采摘点定位。采用MobileNetV2主干网络与空洞卷积相结合,较好地平衡茶嫩芽图像分割速度与精度的矛盾,实现较高分割精度的同时,满足茶嫩芽快速识别的要求,并设计外轮廓扫描与面积阈值过滤相结合的采摘点定位方法。试验表明：所提出的茶嫩芽分割算法在单芽尖及一芽一叶数据集中精度优异,平均交并比mIoU分别达到91.65%和91.36%;在保持高精度的同时,模型复杂度低,参数量仅5.81 M、计算量仅39.78 GFOLPs;在单芽尖、一芽一叶及一芽两叶数据集中各随机抽取200张图片进行采摘点定位验证,定位准确率分别达到90.38%、95.26%和96.60%。     

非结构环境中扰动葡萄采摘点的视觉定位技术

非结构环境下采摘机器人对扰动葡萄采摘点的视觉识别定位有实际应用价值。首先基于挠性杆-铰链-刚性杆-质量球模型对葡萄串形态进行分析,将其扰动状态分解为XOY和YOZ 2个平面的类单摆运动,对扰动葡萄进行视频拍摄,通过对视频中多帧葡萄图像进行Otsu阈值分割得到果实和果梗,并计算出各帧图像中葡萄串的质心;对各帧图像的葡萄串质心进行曲线拟合,计算出葡萄类单摆运动的周期与摆角,从而确定当前扰动葡萄是否适合视觉定位;对可实现视觉定位的扰动葡萄,选取类单摆中间位置质心点对应的葡萄图像,对葡萄串上方矩形区域进行Canny边缘检测,再利用霍夫直线拟合结合角度约束法实现扰动葡萄采摘点的定位。视觉定位试验结果表明:自然环境中不同光照下扰动葡萄采摘点的视觉定位准确率达80%以上,为采摘机器人应用于实际生产提供了理论基础。     

一种鲜食葡萄采摘点的快速高效识别方法

标准化栽培技术下葡萄生长环境的复杂性及果实颜色多样性使葡萄采摘机器人难以准确、快速地识别葡萄位置和采摘点。为此,创新性地运用逆向识别算法,结合模板匹配算法和测距仪实现了鲜食葡萄采摘点的精确定位。首先,建立一个拥有青、红、紫、黑等不同葡萄颜色的样本数据库;然后,利用机器视觉结合模板匹配方法进行二维坐标的定位;最后,配合测距仪实现三维采摘点的定位。仿真实验结果表明:在自然光和日光灯照射条件下,葡萄采摘机器人能够适应不同葡萄品种的采摘条件,采摘识别成功率达到90%。     

基于多头自注意力机制的茶叶采摘点语义分割算法

茶叶采摘点定位是茶叶选择性采摘的关键技术之一,在茶树采摘场景中,存在采摘点尺度小、背景干扰大、光照情况复杂等问题,导致准确分割茶叶采摘点成为难题。本研究针对茶园场景下采摘点精确分割问题,构建了一种基于多头自注意力机制结合多尺度特征融合的语义分割算法——RMHSA-NeXt。首先使用ConvNeXt卷积神经网络提取图像特征;其次构造基于残差和多头自注意力机制的注意力模块,将模型注意力集中于分割目标,增强重要特征的表达;再次通过多尺度结构(Atrous spatial pyramid pooling, ASPP)将不同尺度的特征进行融合,在其中针对采摘点特性,在融合过程中使用条状池化(Strip pooling),减少无用特征的获取;最后通过卷积以及上采样等操作完成信息的解码,得出分割结果。试验表明,茶园环境下该模型可以对采摘点进行有效分割,模型的像素准确率达到75.20%,平均区域重合度为70.78%,运行速度达到8.97 f/s。基于相同测试集将本文模型与HRNet V2、EfficientUNet++、DeeplabV3+、BiSeNet V2模型进行对比,结果表明相比于其他模型同时...     

基于单目视觉与超声检测的振荡果实采摘识别与定位

针对采摘机器人在果实振荡情况下因难以精确定位影响采摘效率的问题,提出了一种基于单目视觉与超声检测的振荡果实识别与定位方法。首先对采集的振荡果树图像序列进行基于色差R-G的Otsu阈值分割和形态学处理,接着对图像果实区域进行灰度填充,将处理后的图像序列叠加得到复合图像和目标果实运动区域,求取振荡果实在图像运动区域的二维平衡位置坐标。然后机械手在视觉引导下运动,其末端指向振荡果实二维平衡位置坐标,同时超声传感器检测目标果实深度信息并提取超声回波信号峰峰值进行果实识别,当检测到果实处于适合采摘位置时,机械手爪抓取果实。采摘试验表明,采摘成功率为86%,验证了所采用方法的有效性,为实现采摘机器人实用化提供了参考。     

基于实例分割的番茄串视觉定位与采摘姿态估算方法

准确识别定位采摘点,根据果梗方向,确定合适的采摘姿态,是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂,果实颜色、形状各异,果梗姿态多样,叶子藤枝干扰等因素,降低了采摘点识别准确率和采摘成功率。针对这个问题,考虑番茄串生长特性,提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制,保证番茄串和果梗感兴趣区域(Region of interest, ROI)、掩膜质量和可靠性,实现果梗粗分割;通过果梗掩膜信息和ROI位置关系匹配可采摘果梗,基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割;再通过果梗深度信息填补法与深度信息融合,精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态,并根据果梗姿态确定适合采摘的末端执行器姿态,引导机械臂完成采摘。研究和大量现场试验结果表明,提出的方法在复杂采摘环境中具有较高的定位精度和稳定性,对4个品种的番茄串采摘点平均识别成功率为98.07%,图像分辨率为1 280像素×720像素时算法处理速率达到21 f/s,采摘点图像坐标最大定位误差为3像素...     

一种高精度自主导航定位的葡萄采摘机器人设计

为了提高葡萄采摘机器人自主导航能力,增强对葡萄成熟度的准确识别功能,降低漏采率和误采率,设计了一种新式的基于RSSI自主导航和颜色特征提取的葡萄采摘机器人。该机器人使用RSSI定位技术,首先对装有无线传感器的葡萄树进行定位,然后利用机器视觉系统对葡萄的成熟度进行判断,并对满足采摘条件的葡萄使用机械手进行采摘。对葡萄采摘机器人的性能进行了测试,通过测试发现:机器人对装有传感器的葡萄树的准确识别率达到了95%以上,对葡萄成熟度的判断达到了98%以上,是一种相对高效的葡萄采摘机器人。     

基于VUE的智能采摘机器人前端开发框架研究

以智能采摘自动识别定位方式为研究对象,对葡萄自动采摘前端的图像采集和分析处理过程进行分析,利用VUE自底向上逐层构建的方式,设计一种能够对目标进行自动识别定位的智能采摘机器人识别定位算法。采用高清相机对采摘目标图像进行采集,将原始图像进行二值化处理,获取图像灰度等级,并采用葡萄图像分割的方式获取葡萄采摘点,最后通过最小角度拟合的方式确定葡萄果梗采摘点。试验结果表明:智能采摘机器人前端识别定位方法平均运行成功率高于90%,平均运行时间0.65s,能够快速准确地进行采摘对象识别定位,可为智能采摘机器人技术的推广提供理论基础。     

温室高架栽培草莓空间姿态识别与采摘点定位方法

采摘目标空间位姿信息缺失和目标定位精度低是影响草莓采摘机器人采摘效果的关键因素之一。为此,本文首先设计了基于颜色信息和卷积神经网络的草莓图像目标定位与分割以及目标点云分割模型;其次,实现了基于图像的草莓可采摘性和遮挡程度识别模型;最后,设计了草莓空间定位和姿态估计模型并实现草莓采摘点定位方法。基于本文方法对完整草莓位姿估计平均误差为4.03%,对遮挡草莓位姿估计平均误差为9.06%,采摘定位综合误差为2.3mm。在实际采摘实验中,采摘成功率为92.6%,平均每个草莓的计算耗时约为92ms,单个草莓采摘动作的执行平均耗时约为5.7s。实验结果表明：本文提出的方法可在温室条件下较准确地估计草莓空间位姿和采摘点,为草莓采摘机器人提供有效的目标定位信息,有效满足实际采摘场景下的需求。     

夜间自然环境下荔枝采摘机器人识别技术

利用机器视觉实现自然环境下成熟荔枝的识别,对农业采摘机器人的研究与发展具有重要意义。本文首先设计了夜间图像采集的视觉系统,然后选取了白天和夜间两种自然环境下采集荔枝图像,分析了同一串荔枝在白天自然光照与夜间LED光照下的颜色数据,确定了YIQ颜色模型进行夜间荔枝果实识别的可行性。首先选择夜间荔枝图像的I分量图,利用Otsu算法分割图像去除背景,然后使用模糊C均值聚类算法分割果实和果梗图像,得到荔枝果实图像;再利用Hough圆拟合方法检测出图像中的各个荔枝果实。荔枝识别试验结果表明:夜间荔枝图像识别的正确率为95.3%,识别算法运行的平均时间为0.46 s。研究表明,该算法对夜间荔枝的识别有较好的准确性和实时性,为荔枝采摘机器人的视觉定位方法提供了技术支持。     

基于嵌入式智能控制系统的采摘机器人定位导航方法

利用图像、红外、超声波等传感器模块,感知采摘机器人作业环境,以采摘机器人在园区自主避障和移动为目的,研究了采摘机器人路径规划和定位导航方法,并利用嵌入式控制系统,设计和开发了该采摘机器人定位导航方法。实验结果表明:系统可以实现采摘机器人的定位和导航功能,具有一定的可靠性。     

基于云平台和计算机控制系统的采摘机器人仿真设计

为了提升采摘机器人定位系统的效率及定位准确性,将云平台技术和计算机控制系统引入到了定位系统的设计上,在进行果实定位时,通过云平台和计算机技术对图像进行实时滤波,并对曝光图像进行融合,以提高图像的质量,进而提高图像特征提取和定位的准确性.模拟采摘机器人的作业环境,以机器人定位系统的定位效率和定位误差作为研究对象,对基于云...     

果树快速定位采摘机器人设计——基于红外和激光扫描技术

为提高采摘机器人的自主导航能力和采摘效率,实现机器人的快速果树识别和定位,结合红外测距传感器与计算机图像处理技术,利用激光扫描传感器体积小、功耗低、速度快、抗干扰等特点,提出了一种非接触式测量果树深度信息的方法;并结合计算机图像处理对果树进行了标定,实现果树的快速识别与定位,为采摘机器人运动轨迹规划提供了自主导航的参数。为了验证该方法的可靠性,在采摘机器人试验样机上安装了红外线测距和激光扫描快速定位装置,并通过左右两侧果树的导航路径拟合,得到了机器人的行走路径,通过对比红外线测距和激光扫描的结果发现,其拟合路径基本吻合,从而验证了该方法测量数据的可靠性。根据不同的树高对应的枝叶密度,利用计算机图像处理对果树进行了标定,最后利用激光扫描方法对标定后的果树进行了快速定位,并将结果和全站仪的结果进行了对比,结果表明:激光扫描和全站仪之间的最大误差仅为20mm。这说明,激光测量的精度较高,可以满足设计的需求。     

基于深度学习的无人机水田图像语义分割方法

为高效获取水田信息提高精准农业应用水平,提出一种基于深度学习的无人机水田图像语义分割方法。首先,采集无人机水田图像并制作一套高分辨率水田数据集,使用双边滤波去除图像噪声;然后,通过调整编码器获取更为细致的田块边界特征信息;最后,改进解码器融合更多浅层特征并采用深度可分离卷积解耦图像深度信息与空间信息,获得改进网络结构的DeepLabv3+模型。试验结果显示,改进模型的像素精度和平均交并比分别为96.04%和85.90%,与原始模型相比提升2.09%和4.66%;与典型的UNet、SegNet和PSPNet语义分割模型相比,各项指标均有不同程度的提高。本文方法能够实现准确、高效的水田分割,为进一步获取水田边界定位信息和构建高精度农田地图提供重要基础。     

基于深度学习的复杂自然环境下桑树枝干识别方法

在复杂自然环境下完成桑树枝干识别是实现桑叶采摘机智能化的关键部分,针对实际应用中光照条件变化多、桑叶遮挡和桑树分枝多等问题,提出一种基于深度学习的复杂自然环境下桑树枝干识别方法。首先,采用旋转、镜像翻转、色彩增强和同态滤波的图像处理方法扩展数据集,以提高模型的鲁棒性,通过Resnet50目标检测网络模型以及相机标定获得照片中所需的桑树枝干坐标,通过试验发现当学习率设置为0.001,迭代次数设置为600时模型的识别效果最优。该方法对于复杂自然环境中的不同光照条件具有良好的适应性,能够对存在多条分支以及被桑叶遮挡的桑树枝干进行识别并获取坐标信息,识别准确率达到87.42%,可以满足实际工作需求。     

基于机器视觉的耕作机器人行走目标直线检测

针对农田耕作机器人,提出了基于机器视觉的机器人行走目标——犁沟线斜率的检测算法。将摄像机安装在拖拉机前方,在耕作过程中采集农田场景图像。根据已耕作区域、未耕作区域和非农田区域的不同颜色特征,判断出田端和犁沟线的位置以及计算斜率用的方向候补点群,使用基于一点的改进哈夫变换算法计算出犁沟线的斜率。经过对多幅实际耕作现场图片的处理,验证了本犁沟线检测算法具有速度快、抗干扰、准确性高等优点。     

基于深度学习的马铃薯叶片病害检测方法#br# #br#

植物病害对食品安全具有灾难性的影响,它可以直接导致农作物的质量和产量显著下降,因此对植物病害的早期鉴定非常重要。传统的农作物病害诊断需要非常高的专业知识,不仅费时费力,还效率低下。针对这些问题,利用深度学习的方法,以马铃薯叶片为研究样本,基于TensorFlow开发Faster R-CNN网络模型。采用本地增强的方式对带有早疫病、晚疫病和健康的马铃薯叶片进行图像扩充,应用COCO初始权重进行迁移学习,探究了数据类别对模型检测结果的影响。结果表明,随着训练数据类别的增多模型性能会有略微的降低。同时还训练YOLOv3,YOLOv4网络与该模型进行对比,测试结果表明,所提出的Fater R-CNN模型优于其他网络模型。经检测该模型最佳精度达到99.5%,该研究为马铃薯病害检测提供了技术支持。     

基于深度学习的月季多叶片病虫害检测研究

月季病虫害严重影响月季产量和观赏性,将目标检测算法应用到月季病虫害检测中有利于提高月季病虫害检测效率,对实现月季智能化种植培育起到重要支撑作用.针对实际种植场景中复杂背景对病虫害检测的影响,以及病虫害形状大小特点,提出两阶段月季病虫害检测方法TSDDP,首先添加调优后的Inception模块改进YOLOv3模型特征提取...