基于手势识别的智能农业采摘控制系统设计

【目的】实现通过手势对采摘机器进行远程操控,优化采摘机器控制系统,减少识别与采摘误差。【方法】笔者设计了一种基于手势识别的智能农业采摘控制系统,该系统应用图像滤波算法,提高了采摘机器控制的准确性与高效性。在系统设计中,将手势识别与远程操控机械臂结合,通过高分辨双目摄像机收集手势图像信息并提取特征,将其转化为电机控制命令后发送至控制层,实现了通过手势对机器的远程操控。【结果】图像滤波算法的识别时间仅为0.3 s,远低于其他两种算法的4.1 s与3.5 s;识别准确率高达96%,远高于其他两种算法的94%与92%。【结论】采用图像滤波算法的系统对手势识别的时间更短、识别准确度更高,可有效提高作物成熟判断准确率与采摘效率,具有良好的推广价值。     

农业采摘机多自由度机械臂设计研究

【目的】保证农业采摘设备能够稳固地抓取不规则农作物,提高农业机械化收获效率和质量,促使农业生产向信息化、智能化、高效化的方向不断发展。【方法】设计了一种先进、新型的农业采摘机多自由度机械臂。从机械臂的运行原理入手,分别设计了加固板、加强板、限位板、滑动装置、稳定槽、挡板等组成部分,完成了对机械臂结构的科学化设计,最后仿真验证了机械臂的抓取精度。【结果】该机械臂与移动平台所对应的抓取误差被控制在0.01 mm以下,该机械臂可以实现对目标物体的精确采摘。【结论】该机械臂具有定位精确度高、抓取自由灵活等特点,能够满足农业采摘机对水果、蔬菜等农作物的抓取需求,应用前景广阔。希望本研究能为农业生产人员和农机科研人员提供有益的借鉴和参考。     

农业采摘机器人机械臂结构设计

【目的】农业采摘机器人是一种集机械、电子、传感、计算机于一体的多功能农业机械设备,被广泛应用于水果、蔬菜采摘领域。但其在对果实的识别和抓取方面仍存在很大的不足。【方法】机械臂是农业采摘机器人重要的组成部分之一,也是其主要执行机构。笔者根据机械臂结构特点与功能需求,设计了一种六自由度、关节运动灵活且可更换的采摘机器人机械臂,该机械臂通过控制系统调节3个平动关节在工作空间中的位置和角度,从而获得末端执行器能够完成采摘任务所需的最小工作空间,通过六自由度变换得出6个关节在工作空间中坐标系之间运动轨迹关系。该机械臂由视觉模块、驱动模块及控制模块构成。基于D-H参数法对采摘机器人机械臂进行运动学分析,并进行仿真验证。【结果】该机械臂具有较好的定位精度,能够满足农业采摘机器人对果实的抓取要求。     

基于Gazebo虚拟世界的草莓采摘机器人仿真研究

【目的】提高草莓采摘的自动化水平,解放劳动力并降低采摘成本。【方法】研究小组设计了一种基于曲柄连杆机构的三爪同步夹持式采摘机器人,分析了其主要部件Kinect深度相机、六轴机械臂以及三爪夹持式采摘机械手的结构设计,并在Gezebo虚拟世界中构建了采摘机器人的模型,生成了草莓采摘机器人的末端运动轨迹,完成了该草莓采摘机器人的前期开发试验和算法验证。【结果】该草莓采摘机器人可精准地夹持草莓,减小了采摘过程中对草莓表皮的损伤,同时机械臂末端运动半径最大可达770 mm,完全满足小型辅助采摘设备的基本需求。【结论】Gazebo能真实地还原草莓采摘的自然环境,充分验证了该草莓采摘机器人的可行性,同时还可以在虚拟环境中模拟不同的任务场景,可为六轴机械臂或其他多轴运动机械的运行轨迹设计提供准确的实验数据,并为机器人的实际应用提供指导。     

一种树生水果采摘机器人的结构设计

【目的】像苹果、梨子、桃子这类树高3 m左右的树生水果的采摘仍主要采用传统的手工作业方式,劳动强度大、劳动成本高,人工采摘作业不仅效率低下还具有一定的危险性。而目前研究开发的农业采摘机器人多采用刚性关节型机械臂,难以满足某些地方果树生长密集、枝条随机生长等情况的采摘需要,为了解决这些问题,亟需设计一款柔性采摘机械臂。【方法】课题组根据仿生学原理,模仿大象鼻子的运动机理,设计了一种拉绳驱动的仿象鼻柔性采摘机械臂,并基于该机械臂设计了一种树生水果采摘机器人。采用三维数字化软件SolidWorks对树生水果采摘机器人进行三维建模,树生水果采摘机器人的整体结构主要由机械爪部分、机械臂部分、收集装置部分、车身部分组成。【结果】机械爪部分可以夹裹目标果实;机械臂部分可实现多自由度、较大幅度的柔顺弯曲运动,用于实现机械爪在抓取、采摘过程中所需的各种柔性运动,配合可升降的收集装置部分,能有效缩短机械臂的运动行程,进一步提高采摘效率;车身部分带有水果收集箱,采摘后的水果能暂时储存在车身部分中。【结论】该采摘机器人具有工作空间更大、灵活性更强、安全性更高等优点,可以满足枝条密集、作业空间狭窄环境下的采摘作...     

基于YOLOv5算法的名优茶采摘机器人

【目的】在整个名优茶制造流程中,名优茶原材料的采摘往往需要耗费大量的人工,并且在采摘过程中极易损坏原本不需要采摘的茶叶。名优茶采摘技术急需迭代更新,需要设计效率更高、成本更低的采摘装置。【方法】课题组设计了一款基于YOLOv5算法的名优茶智能采摘机器人,主要包括数据获取单元、服务器、控制单元、电机驱动器等部分。首先,通过数据获取单元获取设定区域的名优茶及其三维坐标,并将其上传至服务器;其次,服务器通过图像识别算法识别图像内是否为可采摘的名优茶,再将位置信息转换为坐标信息并上传至控制单元;再次,控制单元将坐标信息转换为PWM信号,并传给电机驱动器;最后,根据PWM信号控制滑台向多轴进行移动,并在信号指示位置控制机械手进行名优茶的采摘和收集。【结果与结论】1）该名优茶智能采摘机器人能显著提高名优茶采摘的效率;2）通过YOLOv5算法进行图像识别,提高了名优茶采摘的准确度;3）使用服务器进行图像识别和数据处理的方式,降低了单个设备的价格,有利于推广;4）通过服务器进行复杂数据处理的方式可以配备大量操作设备,适合大规模采摘,缩短大面积采摘的时间;5）通过路径规划和红外感应的方式,可以降低对不能...     

协同关系下多媒体运动与采摘机器人匹配设计研究

基于编码器的采摘机器人控制方法主要是通过机器视觉技术划分各机械臂的作业区间,利用编码器完成多机械臂的协同作业,此方法对图像边缘提取过程中模糊区域的边缘提取效果较差,导致采摘效率低。为此,提出协同关系下多媒体运动与采摘机器人匹配控制方法,将多媒体运动与采摘机器人图像边缘检测相匹配,采用梯度算法,通过滤波、增强、检测和定位等过程实现采摘机器人采摘目标的精确定位。在此基础上,采用基于约束的采摘机器人运动控制算法,通过采摘机器人双臂运动中位置、姿态及各关节速度间的约束关系,实现采摘机器人精确的双臂协同运动。实验表明:所提方法的图像识别和定位准确率平均值分别为98.35%和98.44%,采摘时间与其他两种方法相比分别降低12.07s和16.48s,说明此方法具有较高的识别精度和采摘效率。     

基于逆运动学降维求解与YOLO v4的果实采摘系统研究

为提高采摘设备的执行效率,采用六自由度机械臂、树莓派、Android手机端和服务器设计了一种智能果实采摘系统,该系统可自动识别不同种类的水果,并实现自动采摘,可通过手机端远程控制采摘设备的起始和停止,并远程查看实时采摘视频。提出通过降低自由度和使用二维坐标系来实现三维坐标系中机械臂逆运动学的求解过程,从而避免了大量的矩阵运算,使机械臂逆运动学求解过程更加简捷。利用Matlab中的Robotic Toolbox进行机械臂三维建模仿真,验证了降维求解的可行性。在果实采摘流程中,为了使机械臂运动轨迹更加稳定与协调,采用五项式插值法对机械臂进行运动轨迹规划控制。基于Darknet深度学习框架的YOLO v4目标检测识别算法进行果实目标检测和像素定位,在Ubuntu 19.10操作系统中使用2 000幅图像作为训练集,分别对不同种类的果实进行识别模型训练,在GPU环境下进行测试,结果表明,每种果实识别的准确率均在94%以上,单次果实采摘的时间约为17 s。经过实际测试,该系统具有良好的稳定性、实时性以及对果实采摘的准确性。     

基于卷积神经网络的采摘机械臂无碰撞运动规划研究

介绍了卷积神经网络的基本结构及其工作原理，基于DH参数法建立了采摘机械臂运动模型，并设计了一套采摘机械臂无碰撞运动规划算法，旨在实现对采摘机械臂的精确控制。MatLab仿真试验表明：采摘机械臂在系统的驱动控制下，能够准确从起点移动到目标点，轨迹比较圆滑，且能以最优的圆弧路径避开障碍物，优化效果明显，能够满足采摘机器人作业需求，证实了该算法的稳定性和可靠性。     

基于Kinect动态手势识别的机械臂实时位姿控制系统

基于Kinect动态手势识别达到实时控制机械臂末端位姿的效果。位置控制信息的获取采用Kinect计算手部4个关节点在控制中的位置变动,数据噪声在控制中易引起机械臂误动作和运动振动等问题,为了避免噪声对实时控制的不利影响,采用卡尔曼滤波跟踪降噪。姿势控制信息通过采集手部点云经滤波处理后应用最小二乘拟合的方式获取掌心所在平面,运用迭代器降噪处理。系统通过对手部位置和姿势信息的整合、手势到机械臂空间坐标映射及运动学求解来实时控制机械臂末端位姿。实验结果证明,手势控制系统满足控制要求,简单、易于操作,机械臂实时响应速度快、运动准确。     

基于Java3D和VRML技术的采摘机械手运动仿真研究

为了实现采摘机器人机械手臂运动虚拟仿真过程的交互性,基于Java3D和VRML虚拟现实技术,提出了一种机械臂交互式三维场景生成及运动仿真系统。为了验证系统的可行性,以采摘机器人机械臂为研究对象,设计了基于采摘机器人机械臂运动仿真系统,并基于网络的特征,通过接口导入机械臂关节的造型文件,实现了采摘机器人机械臂仿真三维虚拟场景创建。对仿真系统进行了实验,结果表明:开发的采摘机器人机械臂三维运动仿真系统可以对采摘路径进行合理的规划,得到和实验基本吻合的轨迹,能够实时地显示关键力矩的变化,为关节结构的优化提供了数据参考。将仿真目标位置和预设位置进行对比发现,最大位置偏差不超过1 mm,从而验证了运动模型和算法的可靠性。     

农业纸带栽种机械的柔性机械臂姿态自动检测方法研究

【目的】常规的柔性机械臂姿态自动检测方法,检测错误次数多,精度较低,需要设计一种全新的农业纸带栽种机械的柔性机械臂姿态自动检测方法。【方法】该方法使用姿态传感器作为数据采集装置,采集农业纸带栽种机械的柔性机械臂姿态数据。结合数据建立相应的姿态图像坐标系,根据柔性机械臂姿态在图像中的随动效应,计算出农业纸带栽种机械的柔性机械臂姿态自转角。根据编码器实测的角度,姿态角度传感器实测角度,求出柔性机械臂末端在竖直方向的高度,进而计算出姿态变化过程中柔性机械臂末端变形量。利用柔性机械臂姿态自转角和柔性机械臂末端变形量之间的相关性,求出待检柔性机械臂姿态的位置信息,进而实现了农业纸带栽种机械的柔性机械臂姿态自动检测。【结果】该方法的错误次数均值仅为5.25次,平均错误次数小于6,而对比方法达到了10次以上,相较于对比方法,该方法的柔性机械臂姿态检测错误次数降低了4次以上。【结论】设计的农业纸带栽种机械的柔性机械臂姿态自动检测方法有效降低了错误次数,检测方法精度高,检测效果较好,具备一定的应用价值。     

采摘机器人自动导航系统设计——基于计算机智能算法和机器视觉

机器视觉系统对于采摘机器人的研发至关重要,其性能直接影响机器人的自动导航水平和果实的定位与识别能力,要实现采摘机器人从研发到生产,首先要设计智能化机器视觉系统。为此,在采摘机器人导航机器视觉系统的设计上,引入了计算机处理系统和智能PID控制算法。采用计算机处理系统后,机器人具有更加强大的图像处理能力和控制编程能力,加上智能控制算法的引入,定位导航更加准确,为采摘机器人自动导航系统的设计提供了技术支持。     

番茄采摘机器人数字孪生仿真系统的开发研究

【目的】实现番茄采摘机器人的快速开发设计与调试,避免大的返工和浪费,降低开发和调试成本,缩短开发周期。【方法】课题组开发了一种虚拟仿真调试系统,应用到番茄采摘机器人的开发研究中。该系统主要由数字孪生仿真软件搭建虚拟样机模型,虚拟样机模型能够赋予物理属性运动关系以及逻辑信号,通过利用基于PC的运动控制卡和低代码的SmartACS编程软件,采用OPC UA通信方式,实现硬件控制卡控制虚拟模型,这样就构建了番茄采摘机器人的数字孪生仿真调试模型。【结果】该数字孪生仿真模型能够很好地验证设备的机械结构和控制程序的合理性,并能够在设计阶段快速且低成本地发现问题并加以改进。【结论】通过对虚拟样机模型进行虚拟的机电联调,能够在不做出物理样机的前提下实现对所设计的机械结构及控制程序的联合调试和验证,从而大幅缩短了开发周期,降低了开发成本。本研究能为其他农业机械的设计研发提供一定的参考,有利于提高我国农业机械化水平。     

苹果采摘机器人目标识别与定位方法研究

【目的】在算力资源有限的嵌入式设备上对目标苹果进行快速、准确的识别与定位。【方法】研究小组对采摘机器人的目标识别与定位方法进行研究,以YOLOv4网络模型为基础,对YOLOv4进行轻量化改进,使用MobileNet V3作为特征提取的主干网络,减少模型的计算量,并结合ZED双目相机与定位算法在嵌入式平台上进行实验。【结果】实验表明：1）在目标识别方面,改进后模型的平均检测精度为87.32%,模型的大小为53.76 MB,较改进前降低了79%。2）采用ZED相机结合测距算法进行了苹果目标定位实验,ZED双目相机的测距误差可控制在0.02 m以内,同时改进的YOLOv4算法的平均检测速度在15FPS左右。【结论】改进后的YOLOv4网络模型更适合部署在算力有限的嵌入式设备中进行苹果采摘任务,且能够满足苹果采摘任务的实时性要求。因此,该方法可以为苹果采摘机器人的识别与定位提供技术参考。     

设施番茄采摘机器人设计与研究

针对设施番茄采摘存在用工难、用工贵、劳动强度大等问题,文章设计了一种温室番茄采摘机器人。该番茄采摘机器人主要由视觉系统、末端执行器、机械臂、底盘和辅助照明机构等组成,并基于各设计结构完成温室番茄采摘的工作流程设计。该采摘机器人通过ZED 2i双目立体相机对番茄果实进行识别与定位后,机械臂引导末端执行器完成番茄果实的采摘。试验结果表明,视觉系统与各模块之间运行良好,单果采摘耗时约为18 s,采摘成功率达88%。     

剪切夹持一体化水果采摘末端执行器的设计与分析

【目的】推进水果采摘机械化,同时减少机械采摘中水果的损耗。【方法】本研究设计了一种剪切夹持一体化的通用采摘末端执行器,该执行器采用直流减速电机推拉螺杆套接的法兰盘来改变连杆与导轨滑块间的角度,从而带动移动刀台的往复运动,实现剪切夹持与松开的动作;刀片下端配备硅胶材质的柔性夹持体,可以在剪切力增大时夹紧果梗,便于剪断;同时使用SolidWorks软件对该执行器进行了动力学分析。【结果】电机转矩与刀尖剪切力在连杆与导轨夹角最大处的比例系数为3.697,结合选定的电机型号,该末端执行器的剪切力大于小型水果的果梗剪切强度,满足一般水果的采摘要求。【结论】该末端执行器通过改变微动开关的位置及刀片夹持体的相对位置可适用于不同类型的水果剪切果梗采摘,具有轻便、操作简单、适用性强等优点。     

基于机器视觉的喷雾定位系统设计

为实现温室封闭环境下的自动化农药喷洒作业,设计一种基于机器视觉进行喷雾目标检测、以机械臂为喷药执行单元的精准施药系统。该系统可对目标作物大小及位置进行实时获取,并通过DSP控制机械臂完成施药动作。为尽可能保证目标作物位置检测的准确性,本文针对目标作物冠层视觉检测时的特殊性,提出采用基于冗余组合的图像分割算法和引入方差分量的改进SAD(Sum of Absolute Differences)匹配算法。算法在抑制田间背景噪声和提高匹配算法适应性上取得较好的实验效果,可以为喷雾臂控制提供稳定准确的空间三维坐标。     

基于农业采摘的机械臂结构设计研究

为提高农业采摘机械手整体的工作效率和机械臂采摘工作的灵活性与准确性,针对农业采摘机械手的结构特征问题,根据农业采摘器具机械臂的运动学原理,在保证臂体整体结构紧凑、适应作业场所的前提下,对机械臂进行结构优化,并在可操作性的理论模型的基础上,通过对机械臂进行建模、仿真分析及关键运动构件参数的优化,验证此机械臂结构设计的可行性与合理性。同时,结合其相关运动控制参数设定及要求,实现农业采摘机械臂的准确采摘定位化与轨迹化控制与反馈调节控制,达到机械臂结构的优化目标,为后续机械臂轨迹规划控制奠定良好的基础,亦可作为其他农机结构优化的参考。     

智能烟叶采摘机机架结构静动态特性分析及优化

【目的】获得具有良好静动态特性的智能烟叶采摘机机架结构,确保烟叶采摘机械在定位和摘取过程中的精确性和稳定性。【方法】课题组应用CAE技术对机架进行了静力学分析和模态分析,并根据变形量、模态振型、模态频率以及应变能密度等数据结果对机架薄弱环节进行了优化设计。【结果】优化后的机架相比优化前的机架最大变形量由0.30 mm降低到0.13mm,优化百分比达到了56.7%;一阶模态频率从15.55 Hz提高到了33.47 Hz,优化百分比为115.2%;二阶模态频率也有较大提升,从26.05 Hz提高到39.22 Hz,优化百分比为50.6%;其余低阶模态也均有不同程度的提升。【结论】该研究结果有助于保障自动化、智能化控制的烟叶采摘机械的实施效果,并为烟草种植业带来更好的效益和发展。