温室草莓采摘机器人设计与试验

为实现温室草莓采摘机械化和自动化,设计并制作一种应用于日光温室的草莓采摘机器人。该机器人能实现自主路径规划,行走过程中识别成熟草莓并完成采摘。设计以ROS分布式计算系为主控制网络,以激光雷达进行移动机器人的地图构建与定位,双目深度相机实现对成熟草莓的识别和定位,搭载柔性仿生夹爪6自由度机械臂实现目标草莓抓取和放置。设计机器人软件平台,使用改进A*算法实现自主路径规划和导航避障;利用R-FCN目标检测网络和双目视觉技术实现成熟草莓检测及定位。结果表明：该草莓采摘机器人可实现目标检测及定位,检测到的草莓坐标与机器人手爪坐标的误差在4 mm以下,成熟草莓识别率为95%,满足采摘要求。     

基于深度学习的复杂自然环境下桑树枝干识别方法

在复杂自然环境下完成桑树枝干识别是实现桑叶采摘机智能化的关键部分，针对实际应用中光照条件变化多、桑叶遮挡和桑树分枝多等问题，提出一种基于深度学习的复杂自然环境下桑树枝干识别方法。首先，采用旋转、镜像翻转、色彩增强和同态滤波的图像处理方法扩展数据集，以提高模型的鲁棒性，通过Resnet50目标检测网络模型以及相机标定获得照片中所需的桑树枝干坐标，通过试验发现当学习率设置为0.001，迭代次数设置为600时模型的识别效果最优。该方法对于复杂自然环境中的不同光照条件具有良好的适应性，能够对存在多条分支以及被桑叶遮挡的桑树枝干进行识别并获取坐标信息，识别准确率达到87.42%，可以满足实际工作需求。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

夜间自然环境下荔枝采摘机器人识别技术

利用机器视觉实现自然环境下成熟荔枝的识别,对农业采摘机器人的研究与发展具有重要意义。本文首先设计了夜间图像采集的视觉系统,然后选取了白天和夜间两种自然环境下采集荔枝图像,分析了同一串荔枝在白天自然光照与夜间LED光照下的颜色数据,确定了YIQ颜色模型进行夜间荔枝果实识别的可行性。首先选择夜间荔枝图像的I分量图,利用Otsu算法分割图像去除背景,然后使用模糊C均值聚类算法分割果实和果梗图像,得到荔枝果实图像;再利用Hough圆拟合方法检测出图像中的各个荔枝果实。荔枝识别试验结果表明:夜间荔枝图像识别的正确率为95.3%,识别算法运行的平均时间为0.46 s。研究表明,该算法对夜间荔枝的识别有较好的准确性和实时性,为荔枝采摘机器人的视觉定位方法提供了技术支持。     

嵌入式采摘机器人视觉测量与避障控制系统研究

采摘机器人拥有自主收集信息并进行有效判断的能力,可以独立完成对果实的采摘作业,对满足水果种植需求、减小水果种植的劳动力投入及降低生产成本有着很重要的实际应用价值。为此,以嵌入式ARM智控系统为基础平台,设计了采摘机器人视觉测量与避障控制系统。该系统集机器视觉、视觉传感感知、伺服电机驱动和ARM智控模块于一体,建立了采摘机器人采摘运动学的数学模型,并通过BP网络神经型迭代学习算法测量果实的距离和球心坐标,对成熟果实进行精准识别和定位采摘。试验结果表明:采摘机器人能准确地进行自主采摘,成功率比较高,躲避障碍物的能力很强,更适合在复杂未知的果园中进行收获作业。     

基于图像边缘检测技术的采摘机器人视觉系统设计

采摘机器人作业环境复杂,视觉系统往往不能准确对待采摘的果树或者果实进行准确的定位。为了提高采摘机器人视觉系统的定位精度,引入了图像边缘检测技术,通过提取待采摘果树或者果实的边缘,计算果实的位置坐标,为采摘机器人的自主行走定位和采摘作业提供可靠数据支持。为了验证方案的可行性,以待采摘果树的特征边缘提取为例,对系统的果树边缘提取的可行性及定位准确性进行了实验。实验结果表明:采用基于图像边缘检测技术的采摘机器人视觉系统可以成功地对果树进行定位,并输出果树的位置坐标,将位置坐标和实测位置坐标进行对比发现,其结果基本吻合,具有较高的定位精度。     

智能模式识别采摘机器人设计——基于图像聚类和情感模糊计算模型

随着科学技术的不断进步和完善,情感计算对于智能设备设计的重要性也日益显著,将情感计算能力与智能设备进行有机地整合不仅能够较好地整合人机交互,还可以使设备具有类人的作业能力。为了使采摘机器人可以对具体的作业环境做出反应,实现果实的定位和成熟度的判断,采用AML脚本语言,结合模糊c均值聚类算法,设计了采摘机器人智能识别模式模型,并将算法嵌入到采摘机器人机器视觉及控制系统中,最后对算法的可行性和可靠性进行了验证。试验结果表明:采用该方法对农作物颜色识别的准确率较高,并且相对于其他算法具有计算效率更快、计算准确率更高等优点,从而验证了算法的可靠性,为智能采摘机器人的设计提供了一种新的方法。     

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统。在图像空间利用Hough变换检测出果实标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标;通过最小二乘法研究了采摘机器人手眼标定;分析了采摘机器人的轨迹规划。实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效 等因素的影响,目标定位误差小于8mm,显著地提高了抓取的精度和可靠性。     

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统.在图像空间利用Hough变换检测出果实目标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标;通过最小二乘法研究了采摘机器人手眼标定;分析了采摘机器人的轨迹规划.实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效等因素的影响,目标定位误差小于8 mm,显著地提高了抓取的精度和可靠性.     

基于机器视觉的采摘机器人果实三维模型重构与识别

为了提高采摘机器人果实定位和识别的准确性,在采摘机器人机器视觉系统的设计上引入了果实三维重构方法,利用二维采集图像信息的处理,通过坐标转换关系,实现了三维模型的构建。为了验证三维模型重构对机器视觉果实识别准确性的提高作用,模拟青椒夜间作业的采摘环境,对不采用三维重构和采用三维重构技术两种情况下的果实识别准确率进行了对比,结果表明:采用三维重构技术可以明显提高果实的定位识别准确率,对于采摘机器人机器视觉系统的优化具有重要的意义。     

基于计算机视觉的瓜果采摘系统的运用研究

采摘机器人被广泛用于各种农产品的收获,能显著降低农业生产中的人力成本,解决目前农业生产中劳动力匮乏的问题。计算机视觉技术可以将成熟的瓜果从其自然生长环境中识别出来,是采摘机器人实现目标定位和协调机械手的关键。针对目前采摘机器人受瓜果不同形态特征、质地影响和通用性较低等问题,通过优化公式算法和模型,设计出了基于计算机视觉的采摘系统,并对黄瓜、西红柿和柑桔这3种瓜果进行图像识别和采摘。试验结果发现:不同瓜果图像整体识别率达到80%以上,对图像中重叠遮挡的瓜果个体识别率也较高,均超过90%。该计算机视觉系统装载到采摘机器人上后,在自然条件下对3种瓜果采摘成功率在70%以上,可实现对不同瓜果的高效采摘,为采摘机器人更好地满足农业生产的实际需求提供了研究基础。     

基于改进YOLO v5的自然环境下樱桃果实识别方法

为提高对樱桃果实识别的准确率,提升果园自动采摘机器人的工作效率,使用采集到的樱桃原始图像以及其搭配不同数据增强方式得到的数据图像共1816幅建立数据集,按照8∶2将数据集划分成训练集与测试集。基于深度学习网络,利用YOLO v5模型分别对不同数据增强方式以及组合增强方式扩增后的樱桃数据集进行识别检测,结果表明离线增强与在线增强均对模型精度提升有一定的正向促进作用,其中采用离线数据增强策略能够显著且稳定的增加检测精度,在线数据增强策略能够小幅度提高检测精度,同时使用离线增强以及在线增强能够最大幅度的提升平均检测精度。针对樱桃果实之间相互遮挡以及图像中的小目标樱桃检测难等导致自然环境下樱桃果实检测精度低的问题,本文将YOLO v5的骨干网络进行改动,增添具有注意力机制的Transformer模块,Neck结构由原来的PAFPN改成可以进行双向加权融合的BiFPN,Head结构增加了浅层下采样的P2模块,提出一种基于改进YOLO v5的自然环境下樱桃果实的识别网络。实验结果表明：相比于其他已有模型以及单一结构改进后的YOLO v5模型,本文提出的综合改进模型具有更高的检测精度,使平均精度均值2提高了29个百分点。结果表明该方法有效的增强了识别过程中特征融合的效率和精度,显著地提高了樱桃果实的检测效果。同时,本文将训练好的网络模型部署到安卓(Android)平台上。该系统使用简洁,用户设备环境要求不高,具有一定的实用性,可在大田环境下对樱桃果实进行准确检测,能够很好地满足实时检测樱桃果实的需求,也为自动采摘等实际应用奠定了基础。     

采摘机器人动态果实目标检测与跟踪技术研究 —基于云存储

由于大风天气、光照变化、背景干扰、阴影、摄像头的抖动及运动目标之间遮挡等现象的存在,给采摘机器人果实目标的正确检测带来了极大的挑战,特别是在有风的天气,采摘机器人对动态的果实目标进行定位的难度很大。为此,提出了一种新的采摘机器人移动果实目标检测和追踪方法,并利用云存储技术实现了果实运动图像的实时处理,最后以果实运动目标的定位为实验目的,对该方法的可行性进行了验证。图像处理结果表明:利用基于云存储技术的图像处理平台可以成功地捕捉运动目标的实时信息,且果实位置信息定位速度快、准确率高,可为采摘机器人自主定位导航提供准确的目标果实位置实时信息。     

基于Mask-RCNN的自然场景下油茶果目标识别与检测

针对我国油茶果采摘过程中存在的自动化水平落后、采摘效率低、适采周期短的现状,应用于机器人收获技术的机器视觉技术受限于真实场景中复杂背景干扰从而导致识别精度较低的问题。以自然场景下的油茶果为研究对象,提出一种基于Mask-RCNN的自然场景下油茶果目标识别与检测算法,首先获取油茶果图像并建立数据集,利用ResNet卷积神经网络提取油茶果果实图片的特征,获得果实目标分割结果,再采用RPN对所得到的特征图进行操作,并增加全连接层,提取每个样本mask像素面积,并对目标类别进行预测。利用测试集分别测试油茶果的分割网络模型及目标识别算法,结果表明,网络模型的分割准确率为89.85％,油茶果目标识别的平均检测精度为89.42％,召回率为92.86％。本算法能够自动检测油茶果目标,并有效降低不同光照情况下叶片与花苞遮挡、果实重叠、果实色泽等因素干扰,为自然场景中果实自动化采摘提供可靠的视觉支持。     

基于改进YOLACT++的成熟芦笋检测-判别-定位方法

为解决芦笋采收机器人选择性采收过程中成熟芦笋的判别和采摘手准确定位难题，提出了一种改进YOLACT++(You only look at coefficients)算法，利用该方法对成熟芦笋进行检测判别并定位采收切割。通过引入CBAM(Convolutional block attention module)注意力机制以及SPP(Spatial pyramid pooling)结构改进传统的YOLACT++主干网络，提高了特征提取的有效性；设计了适用于芦笋目标检测的锚框长宽比以保证覆盖到不同姿态的芦笋，以提高网络检测速度和准确率。利用生成的芦笋掩膜分段计算芦笋长度和基部直径，来判定成熟芦笋，并通过空间位姿向量计算成熟芦笋基部区域切割点位置。采收机器人田间试验结果表明，经过训练的改进YOLACT++模型的检测准确率为95.22%,掩膜平均准确率为95.60%,640像素×480像素图像检测耗时53.65 ms,成熟芦笋判别准确率为95.24%,在X、Y、Z方向的切割点定位误差小于2.89 mm,滚转角和俯仰角误差最大为7.17°;与Mask R-CNN、SOLO和YOLACT++模型相比...     

基于改进AlexNet的广域复杂环境下遮挡猕猴桃目标识别

为了提高猕猴桃采摘机器人的工作效率和对猕猴桃复杂生长环境的适应性,识别广域复杂环境下相互遮挡的猕猴桃目标,采用Im-AlexNet为特征提取层的Faster R-CNN目标检测算法,通过迁移学习微调AlexNet网络,修改全连接层L6、L7的节点数为768和256,以解决晴天(白天逆光、侧逆光)、阴天及夜间补光条件下的广域复杂环境中猕猴桃因枝叶遮挡或部分果实重叠遮挡所导致的识别精度较低等问题。采集广域复杂环境中晴天逆光、晴天侧逆光、阴天和夜间补光条件下存在遮挡情况的4类样本图像共1 823幅,建立试验样本数据库进行训练并测试。试验结果表明:该方法对晴天逆光、晴天侧逆光、阴天和夜间补光条件下存在遮挡情况的图像识别精度为96. 00%,单幅图像识别时间约为1 s。在相同数据集下,Im-AlexNet网络识别精度比LeNet、AlexNet和VGG16 3种网络识别精度的平均值高出5. 74个百分点。说明该算法能够降低猕猴桃果实漏识别率和误识别率,提高了识别精度。该算法能够应用于猕猴桃采摘机器人对广域复杂环境下枝叶遮挡或部分果实重叠遮挡的准确识别。     

基于可形变卷积与SimAM注意力的密集柑橘检测算法

针对现有检测算法难以检测自然场景下小而密集的柑橘问题,提出一种DS-YOLO(Deformable Convolution SimAM YOLO)密集柑橘检测算法。引入可形变卷积网络(Deformable Convolution)代替原YOLOv4中的特征提取网络部分卷积层,使特征提取网络能自适应提取遮挡、重叠等导致柑橘形状信息缺失的位置特征,在特征融合模块中,增加新的检测尺度并融合SimAM注意力机制,增强模型对于小而密集柑橘特征的提取能力。试验结果表明：DS-YOLO算法相较于原YOLOv4准确率提高8.75%,召回率提高7.9%,F1分数提高5%,能够较准确检测自然环境下的密集柑橘目标,为密集水果产量预测和采摘机器人提供了有效的技术支持。     

基于深度卷积神经网络的柑橘目标识别方法

针对户外自然环境,基于深度卷积神经网络设计了对光照变化、亮度不匀、前背景相似、果实及枝叶相互遮挡、阴影覆盖等自然环境下典型干扰因素具有良好鲁棒性的柑橘视觉识别模型。模型包括可稳定提取自然环境下柑橘目标视觉特征的深层卷积网络结构、可提取高层语义特征来获取柑橘特征图的深层池化结构和基于非极大值抑制方法的柑橘目标位置预测结构,并基于迁移学习完成了柑橘目标识别模型训练。本文运用多重分割的方法提高了柑橘目标识别模型的多尺度图像检测能力和实时性,利用包含多种干扰因素的自然环境下柑橘目标数据集测试,结果表明,柑橘识别模型对自然采摘环境下常见干扰因素及其叠加具有良好的鲁棒性和实时性,识别平均准确率均值为86. 6%,平均损失为7. 7,平均单帧图像检测时间为80 ms。     

基于深度学习和图像处理的水果收获机器人抓取系统

首先,介绍了水果收获机器人抓取系统的总体架构;然后,利用深度学习对水果目标识别进行了研究,实现了一套基于卷积神经网络的目标检测算法;接着,利用图像处理技术实现了对目标物体定位的功能,可以引导水果收获机器人完成对目标水果的采摘。实验结果表明:水果收获机器人抓取系统对水果坐标的计算误差较小,且具备较强的水果识别和定位能力。     

基于改进Mask RCNN的复杂环境下苹果检测研究

苹果检测是苹果采摘系统中的关键环节,为实现复杂环境下苹果采摘机器人视觉系统对苹果的识别和定位,提出一种基于深度学习的方法,通过改进的Mask RCNN网络对苹果进行检测研究。该方法在原始Mask RCNN网络的基础上,增加边界加权损失函数,能够使边界检测结果更为精确。训练后的模型在验证集下的AP值为92.62%。通过比较Mask RCNN与Faster RCNN、YOLO v3和传统分割算法K-means算法在不同数目,不同光照和绿色苹果情况下的检测效果,试验结果表明:Mask-RCNN的F1值和分割效果均高于其他算法,证明本文方法对复杂环境下的苹果有很好的检测效果,可为苹果产业中采摘机器人的视觉系统提供技术支持。