远程控制采摘机器人手势识别研究——基于势场蚁群算法

采摘机器人在作业时遇到通过自主导航无法越过的障碍物时,或者在危险的地带无法进行人工采摘作业时,需要借助远程方式进行实时控制,使其成功越过障碍物,并在高危环境中有效地展开采摘作业。为了优化采摘机器人远程控制系统,提出了一种基于手势识别的远程控制方案,并引入了势场蚁群算法,提高了机器人的控制的准确性和高效性。在远程控制方案中,将基于视觉的手势识别与远程控制机械手相结合,通过深度相机采集手势图像并提取手势特征,转换为机械手舵机的控制命令,并通过无线网络发送至采摘机器人控制单元,实现视觉手势对机器人的远程控制。对采摘机器人进行了测试,通过测试发现:基于蚁群算法的手势识别系统可以有效地追踪得到不同的动态手势,且可以准确地识别手势所代表的意义,成功实现了机器人远程控制的手势识别。该方法不仅可以远程实现机器人避障功能,还可以将其应用在山谷、沼泽等危险地带进行采摘作业,实现其非凡的使用价值。     

采摘机器人SEMG手势识别研究 —基于RNN循环神经网络

为了实现采摘机器人通过手势动作进行远程控制的目标,采用MYO手环采集人体手势动作信号,将信号进行滤波、放大和A/D转换等预处理后,通过无线通信模块发送给PC机;PC机提取右移、左移和采摘等动作的特征值,送入RNN网络中进行训练和识别,并将识别结果以指令的方式发送给采摘机器人,控制采摘机械手进行相应操作.实验结果表明:采...     

基于手势识别的智能农业采摘控制系统设计

【目的】实现通过手势对采摘机器进行远程操控,优化采摘机器控制系统,减少识别与采摘误差。【方法】笔者设计了一种基于手势识别的智能农业采摘控制系统,该系统应用图像滤波算法,提高了采摘机器控制的准确性与高效性。在系统设计中,将手势识别与远程操控机械臂结合,通过高分辨双目摄像机收集手势图像信息并提取特征,将其转化为电机控制命令后发送至控制层,实现了通过手势对机器的远程操控。【结果】图像滤波算法的识别时间仅为0.3 s,远低于其他两种算法的4.1 s与3.5 s;识别准确率高达96%,远高于其他两种算法的94%与92%。【结论】采用图像滤波算法的系统对手势识别的时间更短、识别准确度更高,可有效提高作物成熟判断准确率与采摘效率,具有良好的推广价值。     

基于嵌入式智能控制系统的采摘机器人定位导航方法

利用图像、红外、超声波等传感器模块,感知采摘机器人作业环境,以采摘机器人在园区自主避障和移动为目的,研究了采摘机器人路径规划和定位导航方法,并利用嵌入式控制系统,设计和开发了该采摘机器人定位导航方法。实验结果表明:系统可以实现采摘机器人的定位和导航功能,具有一定的可靠性。     

基于Softmax的采摘机器人目标识别技术研究

首先,介绍了目标水果的形态、采摘机器人识别技术与试验平台;然后,设计了双目视觉系统,并基于Softmax分类模型设计了苹果的目标识别算法,实现了一套基于Softmax的采摘机器人目标识别模型。试验结果表明：采摘机器人对无遮挡的苹果目标识别率为94%,对部分遮挡的苹果目标正确识别率为88.7%,稳定性较好,精度较高。     

采摘机器人振荡果实动态识别

提出一种采摘机器人在果实振荡状况下的动态识别方法,解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题。首先对所采集的振荡果实图像进行图像分割,将其分为果实和背景两部分;其次引入帧间差分法、水平最小外接矩形法等对分割图像进行振荡果实动态区域的区域标识,然后对其振荡果实进行识别,当图像中有多个振荡果实时,以距离图像中心最近原则确定采摘振荡目标果实。试验结果表明对实际采摘环境下遇到的多数情况,所提算法都能很好地识别出振荡果实,识别时间少于0.5 s。     

果蔬采摘机器人的研究

果蔬采摘机器人是实现农业自动化的一项重要技术.为了掌握果蔬采摘机器人的最新研究动态,将其尽早应用到生产实际,根据近年来国内外最新的研究资料,简要阐述了果蔬采摘机器人的特点和国内外的研究进展,结合当前在此领域的一些研究实例进行比较分析;从采摘机器人的移动机构、机械手、识别和定位系统、末端执行器4部分介绍了其结构组成与设计技术,并在此基础上重点分析了果蔬采摘机器人研究中存在的问题,提出了未来研究开发的技术关键与方向.     

基于Simulink的采摘机器人智能控制系统云平台仿真

介绍了采摘机器人需求和系统总体框架,建立了采摘机器人运动模型和Simulink仿真平台,采用Simu-link仿真工具对采摘机器人进行了运动分析.仿真结果表明:采摘机器人可以根据障碍传感器和工业相机获取的信息改变前行方向,实现了避障和转向功能,证实了采摘机器人运动模型和Simulink仿真平台的合理性和可操作性.     

水果采摘机器人控制系统研究——基于英语语音识别技术

在人机交互模式中,语言沟通是最便捷、最直接的交流方式之一,语音识别技术在现代机器人上得到广泛应用,现已推广到农业机器上。采摘机器人作为现代比较新型的农业机械,语音识别的应用增加了机器人的实用性。为此,设计出基于英语语音识别的水果采摘机器人控制系统,利用TMS320VC5416DSK板为平台,实现了水果采摘机器人的英语语音识别。英语语音识别主要包括前处理、特征提取及特征匹配等。在安静环境下提取了不同英语语音数据,并采用MATLAB对语音特征参数进行了仿真语音识别实验,结果表明:本设计的识别率可以达到90%以上,具有较强的鲁棒性。水果采摘机器人采用4个自由度的机械臂和英语语音识别模块等硬件电路,实现了英语控制机采摘器人完成采摘作业。     

基于激光视觉的智能识别苹果采摘机器人设计

为了提高苹果采摘视觉识别系统的精度,增强视觉系统的抗干扰能力和自适应能力,设计了一种新的苹果采摘机器人激光视觉识别系统,可以直接获得层次关系的深度图像,实现了果园非结构化环境中果实的识别与定位。为了测试激光识别系统苹果采摘机器人的采摘效果,在果园中对其采摘性能进行了测试:首先采用高清相机完成了对果实图像的采集,通过图像处理准确地实现了苹果的识别,在遮挡率低于50%时其识别率达到了90%以上;然后利用激光测距方法对苹果进行距离测量,成功定位了果实位置,其响应时间仅为3.58s,动作效率快,实现了苹果的高效率、高精度采摘功能。     

基于改进YOLOv5m的采摘机器人苹果采摘方式实时识别

为准确识别果树上的不同苹果目标,并区分不同枝干遮挡情形下的果实,从而为机械手主动调整位姿以避开枝干对苹果的遮挡进行果实采摘提供视觉引导,提出了一种基于改进YOLOv5m面向采摘机器人的苹果采摘方式实时识别方法。首先,改进设计了BottleneckCSP-B特征提取模块并替换原YOLOv5m骨干网络中的BottleneckCSP模块,实现了原模块对图像深层特征提取能力的增强与骨干网络的轻量化改进;然后,将SE模块嵌入到所改进设计的骨干网络中,以更好地提取不同苹果目标的特征;进而改进了原YOLOv5m架构中输入中等尺寸目标检测层的特征图的跨接融合方式,提升了果实的识别精度;最后,改进了网络的初始锚框尺寸,避免了对图像里较远种植行苹果的识别。结果表明,所提出的改进模型可实现对图像中可直接采摘、迂回采摘（苹果上、下、左、右侧采摘）和不可采摘果实的识别,识别召回率、准确率、mAP和F1值分别为85.9%、81.0%、80.7%和83.4%。单幅图像的平均识别时间为0.025s。对比了所提出的改进算法与原YOLOv5m、YOLOv3和EfficientDet-D0算法在测试集上对6类苹果采摘方式的识别效果,结果表明,所提出的算法比其他3种算法识别的mAP分别高出了5.4、22、20.6个百分点。改进模型的体积为原始YOLOv5m模型体积的89.59%。该方法可为机器人的采摘手主动避开枝干对果实的遮挡,以不同位姿采摘苹果提供技术支撑,可降低苹果的采摘损失。     

基于YOLOv3不同场景辣椒采摘机器人识别定位研究

针对辣椒采摘受环境光、枝叶遮挡和果实重叠的影响问题，构建了基于YOLOv3模型和realsense深度相机的识别定位系统，研究不同补光位置、枝叶遮挡和果实重叠程度对辣椒识别和定位精度的影响规律。结果表明：模型召回率Recall达0.98,平均精度均值mAP达0.95,精确率precision达0.854;不同光照场景下，识别成功率由高到低依次为正向光、顶光、侧光和背光；轻度枝叶遮挡和轻微果实重叠时，模型识别成功率均保持在96%左右，综合定位误差最大为0.024m,满足辣椒采摘机器人识别和定位精度需求。     

基于深度学习的水果采摘机器人视觉识别系统设计

水果识别是自动化采摘过程中的关键步骤,为了提高水果识别的准确性和实时性,利用深度学习方法,设计了一种水果采摘机器人视觉识别系统。首先,采用多种预处理方法对样本数据进行扩充,并对图像进行缩放和灰度化处理;然后,构建了一个多层卷积神经网络,通过多次训练得到网络最优超参数;最后,利用所构建的卷积神经网络对水果图像进行训练,同时采用多种训练策略得到最终的识别模型。实验结果表明:系统具有识别速度快、准确率高的特点,可以快速、准确地对水果图像进行识别,单张水果图像的识别速度只需0.2s,识别精度高达97%以上。该方法具有重要的理论和应用价值,可为水果的自动化识别提供有力手段。     

基于OFDM-MIMO移动通信模型的采摘机器人设计

为了提高果树采摘机器人的智能化和自动化水平,提高机器人的实时通信和在线控制能力,实现机器人作业过程的远程控制,在采摘机器人通信系统中引入了OFDM-MIMO模型,并将移动4G技术应用到了机器人的设计中,突破了机器人控制距离限制,实现了机器人的跨区域无线通信。机器人采用视觉传感器和4G网络采集并传输图像,图像数据可以在远程浏览器端实时显示,便于掌握机器人作业信息。当机器人碰撞传感器发出信号时,可以利用OFDM-MIMO信道模型进行图像的高效传输,并将视觉传感器采集的图像信息传送给远程控制端,在采摘出现失误时可以及时地调整机器人的状态,实现果实采摘的在线控制。同时,设计了机器人的实验样机,并对机器人的果实定位能力和通信能力进行了实验和仿真。实验和仿真结果表明:该种机器人可以有效地识别普通果实和套袋果实,并且通信实验测试和仿真测试的结果吻合,从而验证了结果的可靠性及OFDMMIMO模型在采摘机器人通信系统中的可行性。     

面向采摘机器人的水果精准识别算法研究进展

随着水果产业链自动化的进步,水果采摘机器人也在不断地发展,对目标水果实现精准识别是水果采摘机器人最重要的组成部分之一.本文将对水果目标识别的各类算法应用状况进行对比,同时阐述各类算法在水果采摘机器人上的应用现状.其中,现有的水果目标识别方法主要有3部分,分别是传统图像处理技术、各种机器学习算法和使用各类卷积神经网络的深...     

夜间自然环境下荔枝采摘机器人识别技术

利用机器视觉实现自然环境下成熟荔枝的识别,对农业采摘机器人的研究与发展具有重要意义。本文首先设计了夜间图像采集的视觉系统,然后选取了白天和夜间两种自然环境下采集荔枝图像,分析了同一串荔枝在白天自然光照与夜间LED光照下的颜色数据,确定了YIQ颜色模型进行夜间荔枝果实识别的可行性。首先选择夜间荔枝图像的I分量图,利用Otsu算法分割图像去除背景,然后使用模糊C均值聚类算法分割果实和果梗图像,得到荔枝果实图像;再利用Hough圆拟合方法检测出图像中的各个荔枝果实。荔枝识别试验结果表明:夜间荔枝图像识别的正确率为95.3%,识别算法运行的平均时间为0.46 s。研究表明,该算法对夜间荔枝的识别有较好的准确性和实时性,为荔枝采摘机器人的视觉定位方法提供了技术支持。     

基于友好人机界面的采摘机器人系统构建分析

以采摘机器人为研究对象,针对现有采摘机器人采用CCD进行图像识别采集,其数据采集精度和速度均具有一定的局限性的问题,基于友好人机界面构建了采摘机器人的视觉系统.采用激光测距仪作为视觉系统的数据采集装置,综合运用运动控制系统实现激光测距仪的位移变化,选用上位机进行实时数据处理.在视觉系统构建基础上,以果园为目标进行实际检...     

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统.在图像空间利用Hough变换检测出果实目标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标;通过最小二乘法研究了采摘机器人手眼标定;分析了采摘机器人的轨迹规划.实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效等因素的影响,目标定位误差小于8 mm,显著地提高了抓取的精度和可靠性.     

扰动柑橘采摘的实时识别与采摘点确定技术

对成熟柑橘果实在扰动状态下的视觉识别定位技术进行研究。利用ANSYS进行了扰动柑橘的动力学分析,结合图像处理分析结果,确定了微扰动柑橘的运动规律为类单摆运动;对采集的微扰动柑橘视频进行图像处理,设定规则选取视频中的图像,利用改进的K-means聚类分割法结合优化Hough圆拟合方法实现柑橘果实的分割;根据图像分割结果,对柑橘的二值图像进行Hough直线拟合,结合直线斜率在-0.45~0.45的约束条件,确定扰动柑橘的有效采摘点。试验结果表明该方法能有效地识别自然环境中的微扰动柑橘,确定扰动果实采摘点的准确率达85%,采摘点确定的处理时间在7.58~9.24 s范围内。     

自然环境下柑橘采摘机器人识别定位系统研究

为了准确理解柑橘采摘机器人在自然环境下的作业场景,获取采摘目标及周围障碍物的位置信息,构建了基于卷积神经网络和Kinect V2相机的识别定位系统。首先,对采摘场景中的果树提出5类目标物分类准则,包含1类可采摘果实和4类障碍物目标;然后,在YOLO V3（You only look once）卷积层模块中添加3层最大池化层,对预测候选框进行K-means聚类分析,增强模型对枝叶类物体特征的提取能力,实现采摘场景的准确理解;最后,采用Kinect V2相机的深度图映射得到采摘目标和障碍物的三维信息,并在自然环境下进行了避障采摘作业。实验结果表明,构建的识别定位系统对障碍物和可采摘果实的识别综合评价指数分别为83.6%和91.9%,定位误差为5.9mm,单帧图像的处理时间为0.4s,采摘成功率和避障成功率分别达到80.51%和75.79%。