基于深度学习的水果采摘机器人视觉识别系统设计

水果识别是自动化采摘过程中的关键步骤,为了提高水果识别的准确性和实时性,利用深度学习方法,设计了一种水果采摘机器人视觉识别系统。首先,采用多种预处理方法对样本数据进行扩充,并对图像进行缩放和灰度化处理;然后,构建了一个多层卷积神经网络,通过多次训练得到网络最优超参数;最后,利用所构建的卷积神经网络对水果图像进行训练,同时采用多种训练策略得到最终的识别模型。实验结果表明:系统具有识别速度快、准确率高的特点,可以快速、准确地对水果图像进行识别,单张水果图像的识别速度只需0.2s,识别精度高达97%以上。该方法具有重要的理论和应用价值,可为水果的自动化识别提供有力手段。     

水果采摘机器人控制系统研究——基于英语语音识别技术

在人机交互模式中,语言沟通是最便捷、最直接的交流方式之一,语音识别技术在现代机器人上得到广泛应用,现已推广到农业机器上。采摘机器人作为现代比较新型的农业机械,语音识别的应用增加了机器人的实用性。为此,设计出基于英语语音识别的水果采摘机器人控制系统,利用TMS320VC5416DSK板为平台,实现了水果采摘机器人的英语语音识别。英语语音识别主要包括前处理、特征提取及特征匹配等。在安静环境下提取了不同英语语音数据,并采用MATLAB对语音特征参数进行了仿真语音识别实验,结果表明:本设计的识别率可以达到90%以上,具有较强的鲁棒性。水果采摘机器人采用4个自由度的机械臂和英语语音识别模块等硬件电路,实现了英语控制机采摘器人完成采摘作业。     

采摘机器人目标识别技术研究——基于机器视觉及深度学习

为了解决采摘机器人识别目标果实难的问题，提出了一种基于机器视觉及深度学习的采摘机器人目标识别技术，可结合图像采集、图像处理、SSD深度学习算法，实现对橘柑的精准识别。试验结果表明：采摘机器人目标识别技术对橘柑具有较高的识别率，证实了该方法的可行性，对采摘机器人研究具有一定的参考价值。     

机器视觉技术在水果采摘机器人中的应用

近年来,学术界展开了将图像处理技术运用到水果机器人采摘过程中的研究,把图像处理技术和机器视觉技术结合运用于水果采摘的过程,可以实现自动化和智能化的采摘,对于降低劳动强度和提高采摘效率具有极其重要的意义.对此,文章主要分析了机器视觉技术在水果采摘机器人中的应用成果,并对机器视觉技术研究方向进行了展望.     

基于改进YOLOv5m的采摘机器人苹果采摘方式实时识别

为准确识别果树上的不同苹果目标,并区分不同枝干遮挡情形下的果实,从而为机械手主动调整位姿以避开枝干对苹果的遮挡进行果实采摘提供视觉引导,提出了一种基于改进YOLOv5m面向采摘机器人的苹果采摘方式实时识别方法。首先,改进设计了BottleneckCSP-B特征提取模块并替换原YOLOv5m骨干网络中的BottleneckCSP模块,实现了原模块对图像深层特征提取能力的增强与骨干网络的轻量化改进;然后,将SE模块嵌入到所改进设计的骨干网络中,以更好地提取不同苹果目标的特征;进而改进了原YOLOv5m架构中输入中等尺寸目标检测层的特征图的跨接融合方式,提升了果实的识别精度;最后,改进了网络的初始锚框尺寸,避免了对图像里较远种植行苹果的识别。结果表明,所提出的改进模型可实现对图像中可直接采摘、迂回采摘（苹果上、下、左、右侧采摘）和不可采摘果实的识别,识别召回率、准确率、mAP和F1值分别为85.9%、81.0%、80.7%和83.4%。单幅图像的平均识别时间为0.025s。对比了所提出的改进算法与原YOLOv5m、YOLOv3和EfficientDet-D0算法在测试集上对6类苹果采摘方式的识别效果,结果表明,所提出的算法比其他3种算法识别的mAP分别高出了5.4、22、20.6个百分点。改进模型的体积为原始YOLOv5m模型体积的89.59%。该方法可为机器人的采摘手主动避开枝干对果实的遮挡,以不同位姿采摘苹果提供技术支撑,可降低苹果的采摘损失。     

基于深度学习和图像处理的水果收获机器人抓取系统

首先,介绍了水果收获机器人抓取系统的总体架构;然后,利用深度学习对水果目标识别进行了研究,实现了一套基于卷积神经网络的目标检测算法;接着,利用图像处理技术实现了对目标物体定位的功能,可以引导水果收获机器人完成对目标水果的采摘.实验结果表明:水果收获机器人抓取系统对水果坐标的计算误差较小,且具备较强的水果识别和定位能力.     

一种用于机器人水果采摘的快速识别方法

针对机器人水果采摘中容易受遮挡、光照变化等因素的影响而产生误识别的问题,提出了一种基于颜色分量统计的特征匹配水果识别方法。根据成熟水果所特有的颜色特性,提取代表水果特征的描述值,将其作为识别时的特征进行匹配。在匹配过程中对每个搜索子图进行匹配时采用积分求和的思想,大大提高了水果识别的效率。实验结果表明:该算法在一定程度上有效解决了光照和遮挡对识别造成的影响,能快速准确地识别出需要采摘的成熟水果类型。     

水果采摘机器人通用夹持机构设计

为提高采摘机器人的实用性和利用率,提出了一种通用型夹持机构,并构建了虚拟样机。为使机械夹持不损伤水果,研究了水果受力对夹持构型的影响,以柑橘为例进行变形、应力分析,为机构提出设计依据,进而对结构进行优化,确定了机构外壳及杆件的合理参数和对果实损伤最小的夹持量,单类型水果夹持量为直径方向小于2mm。     

水果采摘机器人实时避障方法的研究

针对采摘机器人采摘作业时易受障碍物阻挡而影响其工作效率的弊端,提出了将避障问题转化为基于位置力控制问题的解决办法,采用弹簧阻尼模型实时计算机械手臂进入障碍物区域产生的虚拟力,通过采用外在力控制回路来调节手臂位置控制系统,达到消除虚拟力的目的,实现机械手避障.     

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统.在图像空间利用Hough变换检测出果实目标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标;通过最小二乘法研究了采摘机器人手眼标定;分析了采摘机器人的轨迹规划.实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效等因素的影响,目标定位误差小于8 mm,显著地提高了抓取的精度和可靠性.     

草莓采摘机器人成熟果实识别及避障控制系统研究——基于ARM与FPGA

目前,草莓的采摘主要靠人工完成,任务繁重,效率较低,人为造成的损失也比较大,减少了果农的经济收入,也影响了草莓种植的发展。因此,研制草莓采摘机器人是解决人工采摘问题的关键。为此,大量研究了草莓种植的特点及人工采摘技巧,基于ARM与FPGA智能控制模块及双目机器视觉技术,设计了草莓采摘机器人成熟果实及避障控制系统。实验结果表明:所设计的草莓采摘机器人成熟果实识及避障控制系统可以准确识别成熟草莓果实,并能灵活避开采摘途径中的障碍物,系统运行稳定,对我国开展草莓采摘机器人果实识别和避障技术的研究具有一定的参考价值。     

基于TRIZ理论的果实采摘机器人研究

在介绍发明问题解决理论-TRIZ概念的基础上,分析了40个发明原理、39项技术特性、矛盾冲突解决矩阵、物质-场分析理论以及发明问题解决算法(ARIZ)等.运用TRIZ理论对果实采摘机器人进行了具体研究,对其中的机械手和末端执行器进行分析改进,建立了只抓住果梗而不与果实本体直接接触的软质水果收获机器人模型,解决了果实采摘机器人在果实采摘过程中的一些问题.     

面向采摘机器人的视觉伺服控制技术研究进展

在新型农业生产模式下,采摘机器人成为智能农业装备的重要组成部分。在非结构环境下,视觉伺服控制以获得作业环境信息量大、鲁棒性强等优势成为采摘机器人的关键技术。结合3种经典视觉伺服控制方法的研究进展和原理,对比总结了各种控制方法的优缺点和研究重点,并就其中一些关键问题分析了解决方法,同时提出对采摘机器人适应性强的视觉伺服控制技术,并对技术发展趋势进行了展望。      

苹果采摘机器人夜间识别方法

提出了一种适用于苹果采摘机器人夜间识别的方法。在图像采集阶段,通过对比不同光源的照明效果,选用白炽灯作为照明光源并采用2盏白炽灯从不同角度照明的方式削弱图像中的阴影。在图像分割阶段,对比白天图像的分割方法,提出改进R-G色差分割法。此外针对夜间图像中的高亮反光区,采用二次分割的方法提取出水果表面的高亮反光区以此对分割后的图像进行修补,以得到完整的分割结果。经统计不考虑果实的遮挡和粘连,夜间苹果正确识别率达到83.7%。     

基于区域生长的采摘机器人视觉识别方法

提出了一套基于茄子图像的空间位置信息和颜色因子相融合的区域生长分割算法。为保证茄子图像分割最佳的颜色空间和颜色因子,提取了50幅不同光照条件下的茄子图像的RGB颜色空间分量灰度图和直方图,比较了茄子果实、叶子、茎秆和空隙等的颜色特征,得出了G-B颜色因子对于茄子果实分割最为有利的结论。按照灰度级相同和空间8邻域连通的原则确定种子区域,进而通过扫描整幅图像进行初始分割。融合G-B颜色因子和空间信息对初始区域进行合并,直到分割形成的区域类间距离最大时停止生长。通过顶点链码与离散格林技术提取出果实的最小外接矩形,求解果实的生长位姿,试验表明:其分割效率均大于93%,平均用时为0.32 s,能够满足果蔬采摘机器人对视觉系统的要求。     

基于遗传算法和EDA技术的果蔬采摘机器人设计

为了提高果蔬采摘机器人的避障和路径规划能力,实现机器人智能化和轻量化的设计,将嵌入式系统引入到果蔬采摘机器人的控制系统中,并利用EDA技术对控制系统进行了封装,植入了机器人路径规划的遗传算法。对果蔬采摘机器人的机械手进行了改进,通过机械手结构设计实现了采摘机器人执行末端的避障功能,利用遗传算法智能控制设计实现了复杂环境中的路径搜索功能。对果蔬采摘机器人的性能进行了测试,结果表明:障碍物识别率高达99%以上,路径规划的准确率也在95%以上,满足智能化采摘机器人的设计需求,为现代化采摘机器人的设计提供了较有价值的参考。     

智能移动水果采摘机器人设计与试验

设计了一种智能移动水果采摘机器人,该机器人主要由智能移动平台、采摘机械臂、末端执行器、横向滑移机构和控制系统组成。用VC++语言编写了系统控制程序,开发了人机交互界面。样机在江苏省丰县果园进行了综合试验,结果表明:该机器人能够完成自主导航、自主采摘及自主装箱作业,移动平台、采摘机械臂及末端执行器能够实现智能协调控制。整个系统工作性能稳定,成熟果实的识别正确率为81.73%,采摘成功率为86.92%,单个苹果采摘平均耗时9.50 s。     

油茶果采摘机械臂工作空间分析与仿真

为了强化油茶果采摘机器人工作的稳定性,以自行研制油茶果采摘机器人为研究对象,通过对采摘机械臂结构进行分析,综合运用D-H表示法和圆柱坐标表示法建立机械臂数学模型,应用MatLab求解以该模型为基础建立的机械臂正运动学方程,仿真得到油茶果采摘机械臂工作空间。