采摘机器人识别技术研究——基于深度图像和计算机网络协同处理

为了提高采摘机器人果实识别定位的效率和准确性，将深度图像技术引入到了采摘机器人视觉系统的设计上，并结合计算机网络协同处理，设计了上位PC机处理和控制系统，通过计算机和机器人控制器的通信，形成了一个开放式和分布式的采摘机器人识别和控制系统。以苹果的采摘为研究对象，对深度图像和非深度图像对果实识别的准确率进行了对比，结果表明：采用深度图编码技术，对果实的识别准确率更高，对于提升果实的采摘效率和准确性具有重要的作用。     

采摘机器人移动果实目标跟踪研究——基于云存储和无线传感器网络

提高采摘机器人对运动目标的定位能力是提高机器人采摘精度的重要途径,但对于运动果实目标的跟踪和识别需要实时处理大量的图像数据。为有效处理并利用无线传感器实时采集待采摘果实图像,提出了一种基于Hadoop云平台的图像并行处理方案。为了验证方案的可行性,设计了具有运动图像采集和无线传感网络传输功能的采摘机器人,并搭建了基于云存储并行计算的图像抓取平台,利用无线传感器采集的果实图像资源作为原始数据集,对运动待采摘目标进行了图像识别。实验结果表明:采用该方案可以成功地获取运动果实的位置信息,且采摘机器人成功采摘率较高,对于高精度采摘机器人的设计研究具有重要的意义。     

基于VUE的智能采摘机器人前端开发框架研究

以智能采摘自动识别定位方式为研究对象,对葡萄自动采摘前端的图像采集和分析处理过程进行分析,利用VUE自底向上逐层构建的方式,设计一种能够对目标进行自动识别定位的智能采摘机器人识别定位算法。采用高清相机对采摘目标图像进行采集,将原始图像进行二值化处理,获取图像灰度等级,并采用葡萄图像分割的方式获取葡萄采摘点,最后通过最小角度拟合的方式确定葡萄果梗采摘点。试验结果表明:智能采摘机器人前端识别定位方法平均运行成功率高于90%,平均运行时间0.65s,能够快速准确地进行采摘对象识别定位,可为智能采摘机器人技术的推广提供理论基础。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

番茄采摘机器人非颜色编码化目标识别算法研究

为了实现番茄采摘机器人在非结构化环境下对目标番茄的准确识别,提出了一种基于非颜色编码的番茄识别算法。通过Haar-like特征及其编码的方法,结合AdaBoost深度学习算法可以获得用于识别成熟番茄的分类器;并研究了Haar-like特征类型和AdaBoost学习训练次数对分类器性能的影响。所得强分类器对测试集中的番茄进行在线识别试验。试验结果表明,测试集中93.3%的成熟番茄能够被正确识别;同时该分类器还对光照变化、果实粘连以及枝叶遮挡等干扰具有较强的自适应性和鲁棒性,满足采摘机器人对目标识别的技术要求。     

基于深度学习和图像处理的水果收获机器人抓取系统

首先,介绍了水果收获机器人抓取系统的总体架构;然后,利用深度学习对水果目标识别进行了研究,实现了一套基于卷积神经网络的目标检测算法;接着,利用图像处理技术实现了对目标物体定位的功能,可以引导水果收获机器人完成对目标水果的采摘。实验结果表明:水果收获机器人抓取系统对水果坐标的计算误差较小,且具备较强的水果识别和定位能力。     

自动采摘目标图像快速识别算法研究——基于K-means聚类算法

介绍了K-means聚类算法的工作原理,研究了基于图像处理和K-means聚类算法的目标物体快速识别,设计了一套自动采摘目标图像快速识别算法,可以准确实现对苹果的快速精确识别,未来还可以扩展对其他水果的识别。实验结果表明:当采摘机器人的机械臂移动速度较高,能够准确对目标物体进行快速识别,证明了目标图像快速识别算法性能优良,具有较高的有效性和可行性。     

基于单目视觉与超声检测的振荡果实采摘识别与定位

针对采摘机器人在果实振荡情况下因难以精确定位影响采摘效率的问题,提出了一种基于单目视觉与超声检测的振荡果实识别与定位方法。首先对采集的振荡果树图像序列进行基于色差R-G的Otsu阈值分割和形态学处理,接着对图像果实区域进行灰度填充,将处理后的图像序列叠加得到复合图像和目标果实运动区域,求取振荡果实在图像运动区域的二维平衡位置坐标。然后机械手在视觉引导下运动,其末端指向振荡果实二维平衡位置坐标,同时超声传感器检测目标果实深度信息并提取超声回波信号峰峰值进行果实识别,当检测到果实处于适合采摘位置时,机械手爪抓取果实。采摘试验表明,采摘成功率为86%,验证了所采用方法的有效性,为实现采摘机器人实用化提供了参考。     

基于深度学习的水果采摘机器人视觉识别系统设计

水果识别是自动化采摘过程中的关键步骤,为了提高水果识别的准确性和实时性,利用深度学习方法,设计了一种水果采摘机器人视觉识别系统。首先,采用多种预处理方法对样本数据进行扩充,并对图像进行缩放和灰度化处理;然后,构建了一个多层卷积神经网络,通过多次训练得到网络最优超参数;最后,利用所构建的卷积神经网络对水果图像进行训练,同时采用多种训练策略得到最终的识别模型。实验结果表明:系统具有识别速度快、准确率高的特点,可以快速、准确地对水果图像进行识别,单张水果图像的识别速度只需0.2s,识别精度高达97%以上。该方法具有重要的理论和应用价值,可为水果的自动化识别提供有力手段。     

果实成熟度识别机器人设计——基于近红外线信号处理

为了提高采摘机器人自动识别果实成熟度的智能化水平,提高果实识别的准确性,实现机器人自主定位和自动规划路径能力,设计了一种新的自动化采摘机器人。该机器人利用图像分割技术和近红外信号处理技术,实现了果实成熟度的自动定位和判别。对采摘机器人的性能进行了测试,包括苹果图像的分割和提取、果实成熟度的判断和机器人路径规划。通过测试发现:机器人可以在复杂采摘背景下准确地识别苹果果实,并可以通过红外线探测实现果实成熟度的判别,最终规划出来合理的采摘路径,实现果实的精准采摘,为果蔬采摘机器人的研究提供了较有价值的参考。     

基于计算机图像的采摘机器人结构优化研究

随着果蔬种植规模的扩大,果蔬采摘作业的需求量也逐渐提高.传统的果蔬采摘作业存在自动化程度低、采摘对象识别困难、采摘破坏性大等问题,导致采摘作业的效果较差、作业效率低.为此,引入了计算机图像技术,在深入研究了计算机图像技术原理的基础上,分析了计算机图像技术的成像原理,完成了采摘机器人的机械结构设计,并对采摘机器人的硬件总...     

基于DSP的移动采摘机器人目标识别视觉系统设计

为了提高移动式采摘机器人目标识别系统的作业效率和可靠性,结合嵌入式图像处理技术,提出了一种以DSP为控制核心的嵌入式图像识别系统。利用DSP处理器可以将采集的图像信号进行数字化转换,并通过图像处理将提取的特征图像直接传送到PC机,用于信息的反馈;PC机通过数据处理将控制指令直接发送给DSP,控制机器人终端的动作。为了验证系统的可行性,对目标识别视觉系统进行了测试,结果表明:采用DSP的移动式采摘机器人视觉系统可完成图像特征的提取,且目标识别的准确性较高,处理时间较短,可以满足高精度快速采摘作业的需求。     

基于Softmax的采摘机器人目标识别技术研究

首先,介绍了目标水果的形态、采摘机器人识别技术与试验平台;然后,设计了双目视觉系统,并基于Softmax分类模型设计了苹果的目标识别算法,实现了一套基于Softmax的采摘机器人目标识别模型。试验结果表明：采摘机器人对无遮挡的苹果目标识别率为94%,对部分遮挡的苹果目标正确识别率为88.7%,稳定性较好,精度较高。     

视觉传感器在采摘机器人目标果实识别系统中的应用

目标果实的识别和定位是准确采摘的核心,是采摘作业的必要条件。为此,首先从硬件和软件两方面对采摘机器人总体框架进行了介绍,然后搭建了双目视觉系统,并建立了摄像机标定模型,最后实现了对目标果实的识别和定位功能。试验结果表明:采摘机器人目标果实识别系统对目标果实的识别定位误差在8mm以内,成功采摘率在96%以上,系统精度高,采摘效果良好,能够满足采摘机器人的作业要求,对实现水果采摘的自动化、无人化具有重要现实意义。     

苹果采摘机器人目标果实快速跟踪识别方法

为了减少苹果采摘机器人采摘过程处理时间,对苹果采摘机器人目标果实的快速跟踪识别方法进行了研究。对基于R-G颜色特征的OTSU动态阈值分割方法进行首帧采集图像分割,采用图像中心原则确定要采摘的目标果实;利用所采集图像之间的信息关联性,在不断缩小图像处理区域的同时,采用经过加速优化改进的去均值归一化积相关模板匹配算法来跟踪识别后帧图像的目标果实,并进行不同阈值分割方法实现效果,不同灰度、亮度和对比度的匹配识别以及新旧方法识别时间对比试验,从而验证了所采用和设计方法的有效性;其中所设计跟踪识别方法的识别时间相比于原方法,减少36%。     

基于PLC和机器视觉的采摘机器人智能控制系统设计

利用PLC和机器视觉技术,采用图像传感器拍摄水果图像,提取出目标水果图像的坐标和位姿,并以此驱动控制采摘机器人以最优路径和最佳姿态采摘到目标水果。为了验证系统稳定性,在苹果种植区进行了实际采摘试验,结果表明:采摘机器人机械手可以稳定抓持到目标苹果并完成采摘过程,且期间耗时较短,具有较强的稳定性。     

采摘机器人运动目标逼近方法研究——基于分裂迭代和模糊算法

为了解决采摘机器人作业过程中果实振荡造成目标识别不准确的问题,提出了一种针对运动果实的帧间差分法的扰动识别方法,并在帧间差分方法中引入了分裂迭代和模糊控制算法,实现了帧间差分背景图像的分离和子图像的有效聚类。依据该识别方法,对采摘机器人的目标逼近方法进行了改进,从而得到了更加准确的目标空间位置获取方法。为了验证该方法对运动果实目标逼近的有效性,采用虚拟仿真和机器人样机试验相结合的方法,进行了运动果实空间坐标获取和果实采摘试验。结果表明:采用分裂迭代模糊聚类的帧间差分方法,可以有效地对运动目标进行识别,识别误差较低,获得的位置坐标较为准确,可以满足果实采摘机器人的设计需求。     

基于机器视觉的采摘机器人果实三维模型重构与识别

为了提高采摘机器人果实定位和识别的准确性,在采摘机器人机器视觉系统的设计上引入了果实三维重构方法,利用二维采集图像信息的处理,通过坐标转换关系,实现了三维模型的构建。为了验证三维模型重构对机器视觉果实识别准确性的提高作用,模拟青椒夜间作业的采摘环境,对不采用三维重构和采用三维重构技术两种情况下的果实识别准确率进行了对比,结果表明:采用三维重构技术可以明显提高果实的定位识别准确率,对于采摘机器人机器视觉系统的优化具有重要的意义。     

农业无人机智能机器学习系统——基于人工智能和深度学习

为了提高农业无人机作业时的自主学习能力,基于人工智能技术将深度学习算法应用到了无人机机器学习系统的设计上,并提出了基于神经网络深度学习的农业无人机智能识别系统,有效提高了无人机的自动学习和识别能力。以采摘机器人的设计为例,对智能机器学习系统的可靠性进行了验证,并对不同学习算法果实识别的准确性进行了测试。测试结果表明：基于神经网络的深度学习算法在果实的成熟度识别方面具有明显的优势,从而验证了算法的可靠性。     

协同关系下多媒体运动与采摘机器人匹配设计研究

基于编码器的采摘机器人控制方法主要是通过机器视觉技术划分各机械臂的作业区间,利用编码器完成多机械臂的协同作业,此方法对图像边缘提取过程中模糊区域的边缘提取效果较差,导致采摘效率低。为此,提出协同关系下多媒体运动与采摘机器人匹配控制方法,将多媒体运动与采摘机器人图像边缘检测相匹配,采用梯度算法,通过滤波、增强、检测和定位等过程实现采摘机器人采摘目标的精确定位。在此基础上,采用基于约束的采摘机器人运动控制算法,通过采摘机器人双臂运动中位置、姿态及各关节速度间的约束关系,实现采摘机器人精确的双臂协同运动。实验表明:所提方法的图像识别和定位准确率平均值分别为98.35%和98.44%,采摘时间与其他两种方法相比分别降低12.07s和16.48s,说明此方法具有较高的识别精度和采摘效率。