采摘机器人基于支持向量机苹果识别方法

针对目前苹果采摘机器人果实识别过程误差大、处理时间长等问题,应用支持向量机(SVM)方法对苹果果实进行识别.首先采用矢量中值滤波法对苹果彩色图像进行预处理,然后运用区域生长算法和颜色特征相结合的方法进行图像分割,最后分别对苹果彩色图像的颜色特征、几何形状特征进行提取,并用支持向量机的模式识别方法识别苹果果实.实验结果表明:支持向量机识别方法的识别性能优于神经网络方法;综合颜色特征和形状特征的支持向量机识别方法对苹果果实识别的正确率高于只用颜色特征或形状特征的正确率.     

苹果采摘机器人果实识别与定位方法

提出了利用归一化的红绿色差(R-G)/(R+G)分割苹果的方法.对不同光照情况下拍摄的苹果图像进行了识别,并对识别后的图像进行预处理后,获得苹果的轮廓图像.对轮廓图像采用随机圆环法进行果实圆心、半径提取.通过建立基于面积特征与极线几何相结合的匹配策略实现双目视觉下的果实定位,对于搜索区域内面积相似的果实,通过计算垂直投影的互相关函数最大值的方法,得到排序基准线,然后根据顺序一致性原则进行匹配.实验结果表明:识别算法可以较好地消除阴影、裸露土壤等影响,识别率达到92%.采用随机圆环法,可以准确地提取果实的圆心、半径.在60～150 cm的距离范围内,测量误差小于2 cm.     

机器视觉技术在水果采摘机器人中的应用

近年来,学术界展开了将图像处理技术运用到水果机器人采摘过程中的研究,把图像处理技术和机器视觉技术结合运用于水果采摘的过程,可以实现自动化和智能化的采摘,对于降低劳动强度和提高采摘效率具有极其重要的意义.对此,文章主要分析了机器视觉技术在水果采摘机器人中的应用成果,并对机器视觉技术研究方向进行了展望.     

田间果蔬采摘机器人视觉传感器设计与试验

针对田间果蔬采摘机器视觉识别与定位的需求,设计嵌入式采摘视觉传感器,内嵌130万像素CMOS图像传感器和开放性MCU,配置亮度处理模块和室外光自适应控制专家库,解决室外光变化影响视觉检测的难题.用主从传感器构造双目视觉系统,配置图像分割和测距算法,进行采摘目标的识别与定位.经试验和测试,在采摘臂长范围内,对成熟西红柿的识别有效率为96%,位置误差±12 mm.     

苹果采摘机器人果实识别与定位方法

提出了利用归一化的红绿色差(R-G)/(R+G)分割苹果的方法。对不同光照情况下拍摄的苹果图像进行了识别,并对识别后的图像进行预处理后,获得苹果的轮廓图像。对轮廓图像采用随机圆环法进行果实圆心、半径提取。通过建立基于面积特征与极线几何相结合的匹配策略实现双目视觉下的果实定位,对于搜索区域内面积相似的果实,通过计算垂直投影的互相关函数最大值的方法,得到排序基准线,然后根据顺序一致性原则进行匹配。实验结果表明：识别算法可以较好地消除阴影、裸露土壤等影响,识别率达到92%。采用随机圆环法,可以准确地提取果实的圆心、半径。在60～150cm的距离范围内,测量误差小于     

基于视觉检测的苹果采摘机器人系统设计与实现

为提高苹果采摘的自动化与智能化水平,降低重复繁琐的人工劳动强度,减少对果实的损坏率,研制了一款用于苹果成熟自动检测并采摘的轮式机器人系统。系统由硬件平台和软件平台两部分组成。其中,硬件平台由四轮驱动越野小车、IPC-610L工控机、图像数据采集卡、四自由度机械臂和末端执行器组成;软件平台基于Visual C++6.0开发环境,使用双目立体视觉技术和图像处理技术实现对苹果的识别与定位,再通过机械臂的路径规划实现对苹果的采摘。通过仿真实验和数据分析表明:机器人在无人值守的情况下,能实现自动导航、自动识别、自动采摘苹果等功能,并且识别成功率大于94.00%,采摘成功率达到91.33%,平均采摘周期约为1 1 s,具有较高的准确性及稳定性。     

基于PLC和机器视觉的采摘机器人智能控制系统设计

利用PLC和机器视觉技术,采用图像传感器拍摄水果图像,提取出目标水果图像的坐标和位姿,并以此驱动控制采摘机器人以最优路径和最佳姿态采摘到目标水果.为了验证系统稳定性,在苹果种植区进行了实际采摘试验,结果表明:采摘机器人机械手可以稳定抓持到目标苹果并完成采摘过程,且期间耗时较短,具有较强的稳定性.     

农业采摘机器人视觉感知关键技术研究

为了提高农业机器人在复杂野外环境下采摘油茶果的速度和准确性,针对机器人视觉感知的关键技术,设计了一种农业机器人果实检测、定位和采摘系统。首先,使用双目相机采集油茶果的左右图像;然后,应用先进的目标检测网络YOLOv4-tiny检测出左右图像中的油茶果;再次,不同于传统的双目相机图像的立体匹配技术,根据YOLOv4-tiny网络生成的预测框提取出油茶果图像的感兴趣区域,并根据预测框的生成机制自适应地进行立体匹配以求解出视差,为后续使用三角测量原理求出油茶果采摘点提供参考;最后,使用基于Eye-in-Hand手眼标定的农业机器人进行采摘试验,验证了本研究的可行性和准确性。试验结果表明：YOLOv4-tiny网络能够精确和实时地检测油茶果,提出的定位方法满足采摘机器人的应用需求,验证了本研究的可行性和准确性。研究可为果园环境中作业的农业采摘机器人视觉感知关键技术提供参考。     

基于激光视觉的智能识别苹果采摘机器人设计

为了提高苹果采摘视觉识别系统的精度,增强视觉系统的抗干扰能力和自适应能力,设计了一种新的苹果采摘机器人激光视觉识别系统,可以直接获得层次关系的深度图像,实现了果园非结构化环境中果实的识别与定位。为了测试激光识别系统苹果采摘机器人的采摘效果,在果园中对其采摘性能进行了测试:首先采用高清相机完成了对果实图像的采集,通过图像处理准确地实现了苹果的识别,在遮挡率低于50%时其识别率达到了90%以上;然后利用激光测距方法对苹果进行距离测量,成功定位了果实位置,其响应时间仅为3.58s,动作效率快,实现了苹果的高效率、高精度采摘功能。     

基于CMOS图像传感器的采摘机器人嵌入式视觉系统

为了提高采摘机器人的自动化程度,实现自主导航和自主采摘作业能力,将基于CMOS图像传感器的嵌入式视觉系统引入到了采摘机器人的设计过程中,有效降低了机器人的设计复杂程度,提高了机器人的设计效率。采用DSP主控芯片构建了嵌入式图像处理系统,可以处理CMOS相机实时采集的图像,并采用模块化设计,构建了包括通讯单元、存储单元及视频输入输出接口的硬件系统,使各模块之间协调工作。为了验证方案的可行性,对一款果实采摘机器人进行了改装,安装了嵌入式视觉系统,并对其性能进行了测试。测试结果表明:采用基于CMOS图像传感器嵌入式视觉系统后,采摘机器人的定位准确率和采摘准率率都较高,满足了自动化采摘作业需求。     

苹果采摘机器人目标果实快速跟踪识别方法

为了减少苹果采摘机器人采摘过程处理时间,对苹果采摘机器人目标果实的快速跟踪识别方法进行了研究。对基于R-G颜色特征的OTSU动态阈值分割方法进行首帧采集图像分割,采用图像中心原则确定要采摘的目标果实;利用所采集图像之间的信息关联性,在不断缩小图像处理区域的同时,采用经过加速优化改进的去均值归一化积相关模板匹配算法来跟踪识别后帧图像的目标果实,并进行不同阈值分割方法实现效果,不同灰度、亮度和对比度的匹配识别以及新旧方法识别时间对比试验,从而验证了所采用和设计方法的有效性;其中所设计跟踪识别方法的识别时间相比于原方法,减少36%。     

基于改进人工势场的苹果采摘机器人机械手避障方法

针对非结构化环境下的采摘机器人机械手实时避障问题,提出一种改进人工势场法的避障路径规划方法。根据自行研制的5自由度苹果采摘机器人机械手具体结构和障碍物特征,进行机械手运动学分析和障碍物建模;在保留传统人工势场法易于实现、结构简单等优点的基础上,针对其存在的局部极小点、陷进区等问题,结合果树生长环境中障碍物的特点,通过引入虚拟目标点使搜索过程跳出局部最优的极小点,从而实现机械手避开障碍物到达目标的灵活避障;将该方法应用于机械手末端位置、障碍物位置和目标位置已知条件下的采摘机器人机械手实时避障任务中,仿真和实验研究结果表明此方法简单,实时性好,能够有效地避开障碍物,成功到达目标位置,适合自然生长状态下苹果的自动采摘。     

基于粒子滤波的苹果采摘机器人目标姿态估算

针对苹果采摘机器人中果实姿态信息缺失造成果实损伤及采摘失败等问题,根据苹果尾部花萼遗迹区域是否可见分析了果实姿态信息机器视觉测量方法,研究了果实姿态信息的粒子滤波估计。将单目摄像机固定在机器人末端手爪上,在手爪趋近果实的采摘过程中,随机采集多帧果实图像。对每帧图像运用惯性主轴或重心点偏移两种方法计算果实在机器人坐标系下的姿态向量值,并通过粒子滤波融合来得到果实姿态信息的最优估计。实验结果表明,粒子滤波方法可以有效地融合多帧图像的苹果姿态信息,能够减小因依靠单帧图像直接测量而产生的误差。     

基于YUV颜色模型的番茄收获机器人图像分割方法

在研究番茄收获机器人对目标图像分割识别时,经常由于采集的图像受光照影响以及分割识别算法的计算复杂性而影响到识别的准确性和实时性.通过比较RGB、HSI、YUV等颜色模型的特点,从理论上分析了YUV颜色模型应用于收获机器人视觉系统的可行性,提出了一种基于YUV颜色模型的成熟番茄分割方法.同时综合实验及经验确定了成熟的红色番茄在RGB、HSI、YUV颜色模型中阈值范围,采用直接确定色差阈值的双阈值分割算法识别成熟番茄,并对3种颜色模型在不同的光照条件下的分割识别效果进行实验对比.实验结果证实,将基于YUV颜色模型成熟番茄分割方法应用于番茄收获机器人视觉识别系统,能很好地解决其鲁棒性和实时性问题.     

采摘机器人视觉伺服控制系统设计

分析了采摘机器人目标位置与机器人关节角度之间的运动学关系,给出了两者之间的坐标变换公式.根据伺服控制特点,在机器人伺服控制中引入模糊PID控制方法,利用模糊控制策略在线自适应整定PID参数,提高了控制系统的动、静态性能.仿真和实验结果验证了设计的合理性和有效性.     

黄瓜采摘机器人远近景组合闭环定位方法

针对黄瓜采摘机器人远景定位精度不高,以致切伤果实和茎蔓的问题,设计了一种基于机器视觉具有空间位置反馈功能的末端执行器。对温室环境下黄瓜果实采摘区域图像信息获取方法加以研究,综合HIS色彩空间H、S分量进行阈值分割,结合RGB色彩空间G通道边缘分布特征以及黄瓜形状特征,提取黄瓜采摘区域。基于摄像机线性透视模型,研究了采摘切割点空间定位方法,最终向采摘机械臂控制器反馈位置微调信息。采用远近景组合闭环定位方法,对采摘目标进行闭环定位,有效地解决了采摘机器人一次远景定位误差较大的问题。试验结果表明,排除温室复杂光照情况,机器人末端执行器定位精度达到2mm,满足采摘作业要求。     

猕猴桃采摘机器人末端执行器设计与试验

进行了棚架式栽培模式自然生长条件下簇生猕猴桃无损采摘机器人末端执行器的研究。基于果实与果柄的分离特性,提出面向机器人的果实采摘方法和简化几何模型,进行了果实与果柄分离试验的可行性验证;基于果实采摘方法设计了从底部接近、旋转包络分离毗邻果实并抓取、向上运动分离果实的末端执行器,并试制样机,进行了现场评价试验。结果表明,采摘模型能够实现果实与果柄的分离,末端执行器解决了毗邻果实分离问题,能够实现单个果实稳定抓取、无损采摘和采后抓持,成功率达到96.0%,平均单果耗时22 s。     

多光谱视觉技术在收获机器人中的应用

分析了几种不同作物光谱反射特性；简要介绍了利用多光谱技术进行图像处理的软件、硬件系统及其处理方法；着重介绍了多光谱视觉技术在番茄收获机器人以及黄瓜收获机器人中的应用；最后，对多光谱视觉技术应用于收获机器人需解决的关键技术作了简要阐述。     

苹果夜视图像小波变换与独立成分分析融合降噪方法

对不同人工光源辅助下采集到的夜视苹果图像,通过噪声分析,判定苹果夜视图像的噪声以高斯噪声为主,并混有部分椒盐噪声。针对高斯噪声去除难题,将小波变换(Wavelet transform,WT)与独立成分分析(Independent component analysis,ICA)理论引入夜视图像的处理系统,为了最大程度地降低噪声污染,提出WT-ICA融合降噪方法。通过仿真实验,结果表明融合降噪效果较为理想。为了更好地评价夜视图像的降噪效果,以自然光下的图像为参照基准,提出相对峰值信噪比(Relative peak signal-to-noise ratio,RPSNR)的概念。对所采集到的不同的夜视图像进行多次重复实验,结果表明,从视觉上看WT-ICA降噪方法得到的低噪图像噪点明显减少;从RPSNR看,WTICA得到的低噪图像,分别比原始图像、小波软阈值降噪、ICA降噪方法平均提高29.94%、8.09%、7.54%;白炽灯下的图像处理后的RPSNR最高,适合作为人工光源。WT-ICA融合降噪方法通过连续处理,排除夜视图像的噪声干扰,得到的低噪图像更利于进一步识别,从而为实现苹果采摘机器人的全天候作业打下基础。