基于YOLOv3不同场景辣椒采摘机器人识别定位研究

针对辣椒采摘受环境光、枝叶遮挡和果实重叠的影响问题，构建了基于YOLOv3模型和realsense深度相机的识别定位系统，研究不同补光位置、枝叶遮挡和果实重叠程度对辣椒识别和定位精度的影响规律。结果表明：模型召回率Recall达0.98,平均精度均值mAP达0.95,精确率precision达0.854;不同光照场景下，识别成功率由高到低依次为正向光、顶光、侧光和背光；轻度枝叶遮挡和轻微果实重叠时，模型识别成功率均保持在96%左右，综合定位误差最大为0.024m,满足辣椒采摘机器人识别和定位精度需求。     

采摘机器人果实识别与定位研究——基于双目视觉和机器学习

分析了双目视觉系统的工作原理及视觉标定方法,利用YOLO V2卷积神经网络算法实现对目标果实的识别,并对目标果实的空间定位进行了深入研究,设计了一套基于双目视觉和机器学习的采摘机器人果实识别与定位系统。在多次实际定位实验中,橘子的深度定位误差最大值为1.06mm,证实了系统具有一定的准确性和稳定性。     

基于改进YOLOv5m的采摘机器人苹果采摘方式实时识别

为准确识别果树上的不同苹果目标,并区分不同枝干遮挡情形下的果实,从而为机械手主动调整位姿以避开枝干对苹果的遮挡进行果实采摘提供视觉引导,提出了一种基于改进YOLOv5m面向采摘机器人的苹果采摘方式实时识别方法。首先,改进设计了BottleneckCSP-B特征提取模块并替换原YOLOv5m骨干网络中的BottleneckCSP模块,实现了原模块对图像深层特征提取能力的增强与骨干网络的轻量化改进;然后,将SE模块嵌入到所改进设计的骨干网络中,以更好地提取不同苹果目标的特征;进而改进了原YOLOv5m架构中输入中等尺寸目标检测层的特征图的跨接融合方式,提升了果实的识别精度;最后,改进了网络的初始锚框尺寸,避免了对图像里较远种植行苹果的识别。结果表明,所提出的改进模型可实现对图像中可直接采摘、迂回采摘（苹果上、下、左、右侧采摘）和不可采摘果实的识别,识别召回率、准确率、mAP和F1值分别为85.9%、81.0%、80.7%和83.4%。单幅图像的平均识别时间为0.025s。对比了所提出的改进算法与原YOLOv5m、YOLOv3和EfficientDet-D0算法在测试集上对6类苹果采摘方式的识别效果,结果表明,所提出的算法比其他3种算法识别的mAP分别高出了5.4、22、20.6个百分点。改进模型的体积为原始YOLOv5m模型体积的89.59%。该方法可为机器人的采摘手主动避开枝干对果实的遮挡,以不同位姿采摘苹果提供技术支撑,可降低苹果的采摘损失。     

基于Softmax的采摘机器人目标识别技术研究

首先,介绍了目标水果的形态、采摘机器人识别技术与试验平台;然后,设计了双目视觉系统,并基于Softmax分类模型设计了苹果的目标识别算法,实现了一套基于Softmax的采摘机器人目标识别模型。试验结果表明：采摘机器人对无遮挡的苹果目标识别率为94%,对部分遮挡的苹果目标正确识别率为88.7%,稳定性较好,精度较高。     

基于机器视觉的采摘机器人果实三维模型重构与识别

为了提高采摘机器人果实定位和识别的准确性,在采摘机器人机器视觉系统的设计上引入了果实三维重构方法,利用二维采集图像信息的处理,通过坐标转换关系,实现了三维模型的构建。为了验证三维模型重构对机器视觉果实识别准确性的提高作用,模拟青椒夜间作业的采摘环境,对不采用三维重构和采用三维重构技术两种情况下的果实识别准确率进行了对比,结果表明:采用三维重构技术可以明显提高果实的定位识别准确率,对于采摘机器人机器视觉系统的优化具有重要的意义。     

苹果采摘机器人目标识别与定位方法研究

【目的】在算力资源有限的嵌入式设备上对目标苹果进行快速、准确的识别与定位。【方法】研究小组对采摘机器人的目标识别与定位方法进行研究,以YOLOv4网络模型为基础,对YOLOv4进行轻量化改进,使用MobileNet V3作为特征提取的主干网络,减少模型的计算量,并结合ZED双目相机与定位算法在嵌入式平台上进行实验。【结果】实验表明：1）在目标识别方面,改进后模型的平均检测精度为87.32%,模型的大小为53.76 MB,较改进前降低了79%。2）采用ZED相机结合测距算法进行了苹果目标定位实验,ZED双目相机的测距误差可控制在0.02 m以内,同时改进的YOLOv4算法的平均检测速度在15FPS左右。【结论】改进后的YOLOv4网络模型更适合部署在算力有限的嵌入式设备中进行苹果采摘任务,且能够满足苹果采摘任务的实时性要求。因此,该方法可以为苹果采摘机器人的识别与定位提供技术参考。     

视觉传感器在采摘机器人目标果实识别系统中的应用

目标果实的识别和定位是准确采摘的核心,是采摘作业的必要条件。为此,首先从硬件和软件两方面对采摘机器人总体框架进行了介绍,然后搭建了双目视觉系统,并建立了摄像机标定模型,最后实现了对目标果实的识别和定位功能。试验结果表明:采摘机器人目标果实识别系统对目标果实的识别定位误差在8mm以内,成功采摘率在96%以上,系统精度高,采摘效果良好,能够满足采摘机器人的作业要求,对实现水果采摘的自动化、无人化具有重要现实意义。     

农业采摘机器人视觉感知关键技术研究

为了提高农业机器人在复杂野外环境下采摘油茶果的速度和准确性,针对机器人视觉感知的关键技术,设计了一种农业机器人果实检测、定位和采摘系统。首先,使用双目相机采集油茶果的左右图像;然后,应用先进的目标检测网络YOLOv4-tiny检测出左右图像中的油茶果;再次,不同于传统的双目相机图像的立体匹配技术,根据YOLOv4-tiny网络生成的预测框提取出油茶果图像的感兴趣区域,并根据预测框的生成机制自适应地进行立体匹配以求解出视差,为后续使用三角测量原理求出油茶果采摘点提供参考;最后,使用基于Eye-in-Hand手眼标定的农业机器人进行采摘试验,验证了本研究的可行性和准确性。试验结果表明：YOLOv4-tiny网络能够精确和实时地检测油茶果,提出的定位方法满足采摘机器人的应用需求,验证了本研究的可行性和准确性。研究可为果园环境中作业的农业采摘机器人视觉感知关键技术提供参考。     

基于视觉组合的苹果作业机器人识别与定位

为实现机器人自动化采摘作业,设计了苹果作业机器人识别与定位系统.模拟人类采摘过程,采用单、双目视觉组合传感器系统,克服了现有识别与定位系统对目标到视觉传感器距离的依赖性.实现了对单、双目视觉系统的单独和组合标定,与手动测量结果相比,双目视觉系统标定后3个方向的标准偏差分别为3.4、1.2和1.2 cm.提出了基于苹果颜色、形状和位置特征的识别与定位方法,试验结果表明:当工作距离为240 cm时,双目视觉系统可以准确识别并定位所有苹果,深度方向标准差为4.9 em;当工作距离为150 cm时,双目视觉系统深度方向标准差为2.4 cm;当工作距离小于100 cm时,单目视觉传感器测量目标到传感器距离的标准偏差为1.0 cm.     

基于YOLOv5算法的名优茶采摘机器人

【目的】在整个名优茶制造流程中,名优茶原材料的采摘往往需要耗费大量的人工,并且在采摘过程中极易损坏原本不需要采摘的茶叶。名优茶采摘技术急需迭代更新,需要设计效率更高、成本更低的采摘装置。【方法】课题组设计了一款基于YOLOv5算法的名优茶智能采摘机器人,主要包括数据获取单元、服务器、控制单元、电机驱动器等部分。首先,通过数据获取单元获取设定区域的名优茶及其三维坐标,并将其上传至服务器;其次,服务器通过图像识别算法识别图像内是否为可采摘的名优茶,再将位置信息转换为坐标信息并上传至控制单元;再次,控制单元将坐标信息转换为PWM信号,并传给电机驱动器;最后,根据PWM信号控制滑台向多轴进行移动,并在信号指示位置控制机械手进行名优茶的采摘和收集。【结果与结论】1）该名优茶智能采摘机器人能显著提高名优茶采摘的效率;2）通过YOLOv5算法进行图像识别,提高了名优茶采摘的准确度;3）使用服务器进行图像识别和数据处理的方式,降低了单个设备的价格,有利于推广;4）通过服务器进行复杂数据处理的方式可以配备大量操作设备,适合大规模采摘,缩短大面积采摘的时间;5）通过路径规划和红外感应的方式,可以降低对不能...     

机器视觉技术在现代农业生产中的研究进展

机器视觉技术已经广泛应用于农业生产的各个环节,详细阐述机器视觉的概念、组成部分、工作原理以及发展历程,总结国内外的研究成果,介绍机器视觉技术在作物病虫草害识别与监测、作物生长信息监测与产量估计、果蔬识别定位与采摘、种子产前检测与果蔬分级以及农业机器人视觉导航等领域的研究进展与应用情况,提出农业场景视觉系统在稳定性、可靠...     

智能移动式水果采摘机器人设计——基于机器视觉技术

自动化和计算机智能控制行业的不断发展,使得智能机器人在各个领域的应用已经十分普遍。目前,我国绝大部分水果采摘工作依然靠人工完成,随着工人工资不断攀升,人工采摘水果增加了果农的经济成本,机器人在农业领域方面的需求越来越迫切。为此,基于机器视觉技术设计了智能移动式水果采摘机器人,集可移动载体、机械手臂、夹持器、横向移动机构及智能控制模块于一身,采用双目立体视觉技术,实现了水果采摘机器人移动行走路径的规划、果实成熟度自动判断及对成熟果实定位识别的功能。试验表明:所设计的采摘机器人采用视觉技术,机械结构简易,能够克服气候环境影响因素,运行过程中性能稳定、效率高、可靠性高、适应能力强。     

基于单目视觉的田间菠萝果实识别

菠萝果实的准确识别是菠萝采摘机器人视觉系统的关键。针对田间复杂环境中的青色菠萝,采用图像处理技术、数学形态学方法,识别菠萝果眼,并获取果眼的中心点信息;引入层次聚类分类方法,对多个中心点进行聚类分析;求取最多点集的中心坐标,作为菠萝区域的近似形心。选用在广东湛江菠萝田间拍摄的35幅图像作为评价样本,经过运算,迎光条件下形心识别正确率达到85%。本研究为菠萝采摘机器人的田间果实识别提供了有效的技术方案。     

基于领航—跟随法的编队机器人的研究

随着时代的进步,以机器人为代表的人工智能产业正在逐步发展。多机器人的协同控制已经成为当今机器人技术研发的热点方向。文章对目前的多机器人编队进行总结归纳,并且提出通过计算机视觉实现多机器人编队控制的优化,将计算机视觉融入机器人的协同控制,此研究在机器人灵活作业方面具有一定的参考价值。     

温室草莓采摘机器人设计与试验

为实现温室草莓采摘机械化和自动化,设计并制作一种应用于日光温室的草莓采摘机器人。该机器人能实现自主路径规划,行走过程中识别成熟草莓并完成采摘。设计以ROS分布式计算系为主控制网络,以激光雷达进行移动机器人的地图构建与定位,双目深度相机实现对成熟草莓的识别和定位,搭载柔性仿生夹爪6自由度机械臂实现目标草莓抓取和放置。设计机器人软件平台,使用改进A*算法实现自主路径规划和导航避障;利用R-FCN目标检测网络和双目视觉技术实现成熟草莓检测及定位。结果表明：该草莓采摘机器人可实现目标检测及定位,检测到的草莓坐标与机器人手爪坐标的误差在4 mm以下,成熟草莓识别率为95%,满足采摘要求。     

基于改进YOLOv3网络模型的茶草位置检测算法

精准高效的茶草识别是智能茶园植保机械进行除草工作的关键。针对目前茶园除草智能化程度较低等问题,提出改进YOLOv3网络模型的茶草检测算法。首先,分季节和时间段,在多个茶叶品种的种植园中以自适应的距离和角度采集茶草混合图像并建立试验数据集。接着,使用K均值聚类算法重新设计先验锚框尺度。然后,以YOLOv3网络模型为基础,选取17×17的网格划分图像区域;采用残差网络（ResNet）作为主干网;加入过程提取层,增强草株检测性能。最后在原损失函数中引入广义交并比损失。通过消融试验和不同目标检测算法对比试验验证此改进算法对茶树与杂草的检测效果。试验结果表明,改进 YOLOv3网络模型对杂草的检测精确率和召回率分别为85.34%和91.38%,对茶树的检测精确率和召回率最高达到82.56%和90.12%;与原YOLOv3网络模型相比,检测精确率提高8.05%,并且每秒传输帧数达到52.83 Hz,是Faster R-CNN网络模型的16倍。这些数据说明所提算法在茶园复杂环境下,不仅对于茶树和杂草具有更好的识别效果,而且满足实时检测的要求,可以为智能茶园植保机械提供技术支持。     

果蔬采摘机器人机械臂研究现状与展望

农业生产中果蔬采摘是其中的重要环节,且依赖于大量劳动力的参与,采摘机器人的发展与应用将会极大地改善采摘作业的劳动力依赖问题。采摘机械臂是采摘机器人的关键部分,是采摘机器人研究的一大重点。以采摘机械臂自由度进行分类,梳理总结国内外采摘机械臂研究的发展过程和研究现状。针对相同栽培模式下同一果蔬,在采摘机械臂的自由度和构型的选择上缺少标准化方案的问题,提出采摘机械臂研究与农艺的深度结合是未来解决问题的关键。同时,对于刚性本体难适应采摘环境以及关节驱动方式单一的问题,提出采摘机械臂本体的柔性设计以及驱动方式的组合使用将是未来的发展趋势。     

基于改进YOLOv4算法的苹果叶部病害缺陷检测研究

针对苹果叶部病害缺陷检测效率低下、误检率高、实时性差等问题，以苹果叶部的灰斑病、黑星病、锈病、斑点落叶病作为研究对象，提出一种基于改进YOLOv4算法的苹果叶部病害缺陷检测算法。首先通过数据扩增对数据集扩充提升鲁棒性，算法通过二分K均值聚类算法确定锚框以解决预设锚框不适用苹果叶部病害的问题，引入DenseNet121作为特征提取网络，提升对苹果叶部病害缺陷的检测性能，并且减小模型大小，降低存储开销。将模型与YOLOv4模型进行对比验证，试验结果表明，改进后的YOLOv4模型平均精度均值（mAP）达到97.52%，与改进前相比提升0.89%，模型大小为62.71 MB，与改进前相比减小182.82 MB，检测速度为26.33 FPS，与改进前相比提升6.78 FPS。能够满足实际生活中对苹果叶部病害检测的需求。     

基于改进YOLOv5的割草机器人工作环境障碍物检测方法研究

为实现割草机器人在计算资源有限的情况下快速、准确地定位并识别工作环境中的障碍物，提出一种基于滤波器剪枝的改进YOLOv5s深度学习模型的割草机器人工作环境下障碍物的检测方法。首先，将YOLOv5模型中的Bottleneck残差块改为分层残差结构，以更细粒度地表示多尺度特征，同时增加网络感受野；另外，在残差块尾部加入SE模块，用来对特征图重新标定；其次，对改进后的算法进行滤波器剪枝；最后，针对割草机器人工作环境中的常见障碍物建立相关数据集，并使用剪枝后改进YOLOv5s作为深度学习模型进行检测。试验结果表明：改进后的YOLOv5模型大小减少188%，mAP增加0.1%。对改进YOLOv5模型进行剪枝后，比原YOLOv5模型计算量降低36.6%，模型大小降低333%，推理速度减少1.9 ms。剪枝后本文模型的mAP值分别比YOLOv4，YOLOv4-tiny，YOLOv3，YOLOv3-tiny高1.3%，9.5%，5.8%，22.1%。