采摘机器人目标识别技术研究——基于机器视觉及深度学习

为了解决采摘机器人识别目标果实难的问题，提出了一种基于机器视觉及深度学习的采摘机器人目标识别技术，可结合图像采集、图像处理、SSD深度学习算法，实现对橘柑的精准识别。试验结果表明：采摘机器人目标识别技术对橘柑具有较高的识别率，证实了该方法的可行性，对采摘机器人研究具有一定的参考价值。     

基于激光视觉的智能识别苹果采摘机器人设计

为了提高苹果采摘视觉识别系统的精度,增强视觉系统的抗干扰能力和自适应能力,设计了一种新的苹果采摘机器人激光视觉识别系统,可以直接获得层次关系的深度图像,实现了果园非结构化环境中果实的识别与定位。为了测试激光识别系统苹果采摘机器人的采摘效果,在果园中对其采摘性能进行了测试:首先采用高清相机完成了对果实图像的采集,通过图像处理准确地实现了苹果的识别,在遮挡率低于50%时其识别率达到了90%以上;然后利用激光测距方法对苹果进行距离测量,成功定位了果实位置,其响应时间仅为3.58s,动作效率快,实现了苹果的高效率、高精度采摘功能。     

基于改进YOLOv5m的采摘机器人苹果采摘方式实时识别

为准确识别果树上的不同苹果目标,并区分不同枝干遮挡情形下的果实,从而为机械手主动调整位姿以避开枝干对苹果的遮挡进行果实采摘提供视觉引导,提出了一种基于改进YOLOv5m面向采摘机器人的苹果采摘方式实时识别方法。首先,改进设计了BottleneckCSP-B特征提取模块并替换原YOLOv5m骨干网络中的BottleneckCSP模块,实现了原模块对图像深层特征提取能力的增强与骨干网络的轻量化改进;然后,将SE模块嵌入到所改进设计的骨干网络中,以更好地提取不同苹果目标的特征;进而改进了原YOLOv5m架构中输入中等尺寸目标检测层的特征图的跨接融合方式,提升了果实的识别精度;最后,改进了网络的初始锚框尺寸,避免了对图像里较远种植行苹果的识别。结果表明,所提出的改进模型可实现对图像中可直接采摘、迂回采摘（苹果上、下、左、右侧采摘）和不可采摘果实的识别,识别召回率、准确率、mAP和F1值分别为85.9%、81.0%、80.7%和83.4%。单幅图像的平均识别时间为0.025s。对比了所提出的改进算法与原YOLOv5m、YOLOv3和EfficientDet-D0算法在测试集上对6类苹果采摘方式的识别效果,结果表明,所提出的算法比其他3种算法识别的mAP分别高出了5.4、22、20.6个百分点。改进模型的体积为原始YOLOv5m模型体积的89.59%。该方法可为机器人的采摘手主动避开枝干对果实的遮挡,以不同位姿采摘苹果提供技术支撑,可降低苹果的采摘损失。     

苹果采摘机器人目标果实快速跟踪识别方法

为了减少苹果采摘机器人采摘过程处理时间,对苹果采摘机器人目标果实的快速跟踪识别方法进行了研究。对基于R-G颜色特征的OTSU动态阈值分割方法进行首帧采集图像分割,采用图像中心原则确定要采摘的目标果实;利用所采集图像之间的信息关联性,在不断缩小图像处理区域的同时,采用经过加速优化改进的去均值归一化积相关模板匹配算法来跟踪识别后帧图像的目标果实,并进行不同阈值分割方法实现效果,不同灰度、亮度和对比度的匹配识别以及新旧方法识别时间对比试验,从而验证了所采用和设计方法的有效性;其中所设计跟踪识别方法的识别时间相比于原方法,减少36%。     

基于迭代学习PID算法的苹果采摘机器人设计

为了提高采摘机器人机械手控制系统的精准性和采摘机器人的移动效率,设计出基于迭代学习PID算法的苹果采摘机器人。借助MatLab软件平台进行模型搭建及控制系统仿真测试,实验室条件下进行硬件结构设计,并完成采摘过程测试、路径规划避障测试和采摘果实破损率统计分析。实验验证表明:基于迭代学习PID算法设计的采摘机器人可准确锁定采摘目标,迅速实施稳定的采摘动作,以最佳采摘角度最大程度地保证采摘果实完整性。基于迭代学习PID算法设计的苹果采摘机器人有效提高了采摘的精度和效率,使苹果整体完好率达到98.3%以上,最大限度保证了采摘苹果的质量。     

基于量子遗传模糊神经网络的苹果果实识别

针对田间苹果采摘机器人视觉系统中彩色图像边界像素的模糊性和不确定性影响苹果果实识别精度和速度问题,提出了一种将量子遗传算法的全局搜索能力和模糊推理神经网络的自适应性相结合的算法来识别苹果果实。利用量子遗传算法对模糊神经网络的可调整参数初始值进行了全局优化,加快了网络学习速度,避免了传统BP误差反向传播学习算法易陷入局部极小值、迭代次数多等弊端。实验表明：该识别模型高速且稳定,鲁棒性好,对于果实本身颜色不均匀样本正确识别率为100%,对自然光照引起颜色不均匀样本正确识别率为96.86%,对邻接图像正确识别率为94.29%,对重叠图像正确识别率为92.31%。     

基于计算机视觉的瓜果采摘系统的运用研究

采摘机器人被广泛用于各种农产品的收获,能显著降低农业生产中的人力成本,解决目前农业生产中劳动力匮乏的问题。计算机视觉技术可以将成熟的瓜果从其自然生长环境中识别出来,是采摘机器人实现目标定位和协调机械手的关键。针对目前采摘机器人受瓜果不同形态特征、质地影响和通用性较低等问题,通过优化公式算法和模型,设计出了基于计算机视觉的采摘系统,并对黄瓜、西红柿和柑桔这3种瓜果进行图像识别和采摘。试验结果发现:不同瓜果图像整体识别率达到80%以上,对图像中重叠遮挡的瓜果个体识别率也较高,均超过90%。该计算机视觉系统装载到采摘机器人上后,在自然条件下对3种瓜果采摘成功率在70%以上,可实现对不同瓜果的高效采摘,为采摘机器人更好地满足农业生产的实际需求提供了研究基础。     

基于高斯自适应拟合的苹果目标分割方法研究

苹果目标的准确识别是苹果机械化采摘需要解决的关键问题之一。为此,基于YUV颜色空间模型,提出了一种结合色差分量与高斯自适应拟合算法的苹果目标分割方法。该方法采用首先将苹果目标由RGB颜色空间转换至YUV颜色空间,并利用色差分量V建立果实与背景分割的高斯分布拟合模型,根据拟合结果自动获取分割阈值,以实现自然场景下苹果目标的准确分割。为了验证文中算法的有效性,利用多幅图像进行了试验并与Otsu自适应阈值分割算法进行了比较。试验结果表明,采用文中算法得到的苹果果实的平均检出率达87.08%,识别率领先Otsu算法9.91%。因此,对于着色度较为均匀的苹果目标,采用高斯自适应拟合方法可以有效提高其识别率。     

苹果采摘机器人目标识别与定位方法研究

【目的】在算力资源有限的嵌入式设备上对目标苹果进行快速、准确的识别与定位。【方法】研究小组对采摘机器人的目标识别与定位方法进行研究,以YOLOv4网络模型为基础,对YOLOv4进行轻量化改进,使用MobileNet V3作为特征提取的主干网络,减少模型的计算量,并结合ZED双目相机与定位算法在嵌入式平台上进行实验。【结果】实验表明：1）在目标识别方面,改进后模型的平均检测精度为87.32%,模型的大小为53.76 MB,较改进前降低了79%。2）采用ZED相机结合测距算法进行了苹果目标定位实验,ZED双目相机的测距误差可控制在0.02 m以内,同时改进的YOLOv4算法的平均检测速度在15FPS左右。【结论】改进后的YOLOv4网络模型更适合部署在算力有限的嵌入式设备中进行苹果采摘任务,且能够满足苹果采摘任务的实时性要求。因此,该方法可以为苹果采摘机器人的识别与定位提供技术参考。     

温室高架栽培草莓空间姿态识别与采摘点定位方法

采摘目标空间位姿信息缺失和目标定位精度低是影响草莓采摘机器人采摘效果的关键因素之一。为此，本文首先设计了基于颜色信息和卷积神经网络的草莓图像目标定位与分割以及目标点云分割模型；其次，实现了基于图像的草莓可采摘性和遮挡程度识别模型；最后，设计了草莓空间定位和姿态估计模型并实现草莓采摘点定位方法。基于本文方法对完整草莓位姿估计平均误差为4.03%，对遮挡草莓位姿估计平均误差为9.06%，采摘定位综合误差为2.3mm。在实际采摘实验中，采摘成功率为92.6%，平均每个草莓的计算耗时约为92ms，单个草莓采摘动作的执行平均耗时约为5.7s。实验结果表明：本文提出的方法可在温室条件下较准确地估计草莓空间位姿和采摘点，为草莓采摘机器人提供有效的目标定位信息，有效满足实际采摘场景下的需求。     

水果采摘机器人控制系统研究——基于英语语音识别技术

在人机交互模式中,语言沟通是最便捷、最直接的交流方式之一,语音识别技术在现代机器人上得到广泛应用,现已推广到农业机器上。采摘机器人作为现代比较新型的农业机械,语音识别的应用增加了机器人的实用性。为此,设计出基于英语语音识别的水果采摘机器人控制系统,利用TMS320VC5416DSK板为平台,实现了水果采摘机器人的英语语音识别。英语语音识别主要包括前处理、特征提取及特征匹配等。在安静环境下提取了不同英语语音数据,并采用MATLAB对语音特征参数进行了仿真语音识别实验,结果表明:本设计的识别率可以达到90%以上,具有较强的鲁棒性。水果采摘机器人采用4个自由度的机械臂和英语语音识别模块等硬件电路,实现了英语控制机采摘器人完成采摘作业。     

视觉传感器在采摘机器人目标果实识别系统中的应用

目标果实的识别和定位是准确采摘的核心,是采摘作业的必要条件。为此,首先从硬件和软件两方面对采摘机器人总体框架进行了介绍,然后搭建了双目视觉系统,并建立了摄像机标定模型,最后实现了对目标果实的识别和定位功能。试验结果表明:采摘机器人目标果实识别系统对目标果实的识别定位误差在8mm以内,成功采摘率在96%以上,系统精度高,采摘效果良好,能够满足采摘机器人的作业要求,对实现水果采摘的自动化、无人化具有重要现实意义。     

交互式视音频在智能采摘机器人自动化系统中的应用

在采摘机器人自动化系统的设计过程中,为了提高采摘机器人的控制效率,引入了基于交互式视音频英语学习原理的采摘机器人交流交互系统,基于WiFi网络,采摘机器人可以将实时作业情况以视频的形式传输给远程端,远程端根据采摘机器人的实时作业情况,对采摘机器人发出语音指令,机器人识别语音指令后完成相关动作,实现远程端和采摘执行端的交流交互。为了验证方案的可行性,设计了采摘机器人机器和远程端自动化控制系统,并对WiFi网络的传输性能以及语音指令的准确识别率进行了测试,结果表明:WiFi网络的通信性能较好,采摘机器人可以准确的识别语音指令,实现自动化控制。     

面向采摘机器人采摘作业的可穿戴设备控制系统设计

介绍了肌电传感器的工作原理,设计了基于MYO可穿戴设备的手指姿态采集与处理模块,并基于BP神经网络实现了对操作人员的手势识别,实现了基于MYO可穿戴设备的采摘机器人采摘控制。实验结果表明：系统准确识别率高达97.33%,平均响应时间只有36.94ms,交互控制准确度高,能够完成对采摘机器人的远程控制,具有准确性和可行性。     

自动采摘目标图像快速识别算法研究——基于K-means聚类算法

介绍了K-means聚类算法的工作原理,研究了基于图像处理和K-means聚类算法的目标物体快速识别,设计了一套自动采摘目标图像快速识别算法,可以准确实现对苹果的快速精确识别,未来还可以扩展对其他水果的识别。实验结果表明:当采摘机器人的机械臂移动速度较高,能够准确对目标物体进行快速识别,证明了目标图像快速识别算法性能优良,具有较高的有效性和可行性。     

基于友好人机界面的采摘机器人系统构建分析

以采摘机器人为研究对象,针对现有采摘机器人采用CCD进行图像识别采集,其数据采集精度和速度均具有一定的局限性的问题,基于友好人机界面构建了采摘机器人的视觉系统。采用激光测距仪作为视觉系统的数据采集装置,综合运用运动控制系统实现激光测距仪的位移变化,选用上位机进行实时数据处理。在视觉系统构建基础上,以果园为目标进行实际检测试验,在视觉系统距离采摘对象不同距离处进行数据采集,绘制出不同距离条件下苹果的轮廓曲线,得出视觉系统对环境当中果树的识别度。试验数据表明:随着距离的增加,视觉系统对苹果轮廓的检测精度逐渐降低,在200mm处对采摘环境的识别度最高。     

温室草莓采摘机器人设计与试验

为实现温室草莓采摘机械化和自动化,设计并制作一种应用于日光温室的草莓采摘机器人。该机器人能实现自主路径规划,行走过程中识别成熟草莓并完成采摘。设计以ROS分布式计算系为主控制网络,以激光雷达进行移动机器人的地图构建与定位,双目深度相机实现对成熟草莓的识别和定位,搭载柔性仿生夹爪6自由度机械臂实现目标草莓抓取和放置。设计机器人软件平台,使用改进A*算法实现自主路径规划和导航避障;利用R-FCN目标检测网络和双目视觉技术实现成熟草莓检测及定位。结果表明：该草莓采摘机器人可实现目标检测及定位,检测到的草莓坐标与机器人手爪坐标的误差在4 mm以下,成熟草莓识别率为95%,满足采摘要求。     

基于云计算技术的苹果采摘机器人系统

近年来,我国水果产业迎来快速发展期,苹果种植面积日益扩大,年产量明显增加,促使我国成为世界上最大的水果生产国家。水果进行种植过程中,成熟的水果采摘操作时必须消耗大量的时间和劳动力。由于进城务工人员日益增多,农村劳动力人口不断减少,此时劳动力成本有一定程度的增长,果农日常经营的成本也有所增加,因此智能采摘机器人顺势而生。为此,针对水果采摘机械研究的不足之处,提出了基于云计算的苹果采摘机器人系统,在机器人处于作业状态下设计了苹果采摘机器人软、硬件设计情况。为验证苹果采摘机器人的采摘效果,在果园中对其采摘性能展开试验,试验结果表明:所设计的采摘机器人运用视觉技术,能很好地克服气候环境等因素的影响,采摘作业中性能稳定,采摘效率高,值得在苹果生产地推广使用。     

基于PLC的苹果采摘机械手运动控制系统设计

以苹果采摘机械手运动控制为研究对象,对机械手进行运动学分析与建模,设计了基于PLC的机械手硬件框架与运动控制方案、人机交互上位机和机械手轨迹规划的实验系统。实验结果表明:采用PLC控制器的苹果采摘机械手软硬件均能正常运行,该系统具有可靠性高、实时性和稳定性好等优点,对于农业采摘机器人快速识别目标并进行正确采摘作业具有很大帮助。     

基于视觉组合的苹果作业机器人识别与定位

为实现机器人自动化采摘作业,设计了苹果作业机器人识别与定位系统.模拟人类采摘过程,采用单、双目视觉组合传感器系统,克服了现有识别与定位系统对目标到视觉传感器距离的依赖性.实现了对单、双目视觉系统的单独和组合标定,与手动测量结果相比,双目视觉系统标定后3个方向的标准偏差分别为3.4、1.2和1.2 cm.提出了基于苹果颜色、形状和位置特征的识别与定位方法,试验结果表明:当工作距离为240 cm时,双目视觉系统可以准确识别并定位所有苹果,深度方向标准差为4.9 em;当工作距离为150 cm时,双目视觉系统深度方向标准差为2.4 cm;当工作距离小于100 cm时,单目视觉传感器测量目标到传感器距离的标准偏差为1.0 cm.