苹果采摘机器人视觉系统的目标提取研究

研究了自然环境下的成熟苹果彩色图像,结果表明:成熟苹果颜色与背景色大都存在明显差异。从颜色空间角度来说,目标和背景分布于不同的区域。根据这一特点,提出了基于样本颜色空间的目标提取算法。首先,由苹果样本图像在L*a*b*空间中构建样本颜色空间,并用数学形态学对样本颜色空间进行优化;然后,依据样本颜色空间对苹果彩色图像进行目标识别,对于远景深小目标物和严重遮挡的目标物,在样本空间识别的基础上进行二值化,运用形态学结构元素法进行处理;最后,得到了理想的分割效果,识别率高。     

西红柿采摘机器人视觉系统的研究

针对果实采摘机器人果实识别率低的问题,设计了一组用于西红柿识别和定位的双目立体视觉系统,为机器人的采摘作业提供更有利的条件。为此,采用Bumblebee双目立体视觉系统,基于成熟果实与植株颜色特征的差异进行图像分割,来识别成熟的西红柿;在完成相机标定、特征点提取和特征点匹配的基础上,通过三维空间定位获取果实的三维坐标。实验结果表明:该系统果实识别的整个过程平均耗时150ms,对成熟西红柿的识别率达到99%,测试误差在10mm以内,能够较好地满足西红柿采摘工作的要求。     

基于CMOS图像传感器的采摘机器人嵌入式视觉系统

为了提高采摘机器人的自动化程度,实现自主导航和自主采摘作业能力,将基于CMOS图像传感器的嵌入式视觉系统引入到了采摘机器人的设计过程中,有效降低了机器人的设计复杂程度,提高了机器人的设计效率。采用DSP主控芯片构建了嵌入式图像处理系统,可以处理CMOS相机实时采集的图像,并采用模块化设计,构建了包括通讯单元、存储单元及视频输入输出接口的硬件系统,使各模块之间协调工作。为了验证方案的可行性,对一款果实采摘机器人进行了改装,安装了嵌入式视觉系统,并对其性能进行了测试。测试结果表明:采用基于CMOS图像传感器嵌入式视觉系统后,采摘机器人的定位准确率和采摘准率率都较高,满足了自动化采摘作业需求。     

茄子收获机器人视觉系统图像识别方法

设计了一种实现田间茄子收获机器人视觉系统的图像识别方法.通过判断茄子图像每点像素值差值实现分割;通过模板操作及形态学上的闭运算操作去除残留物,最终找到茄子图像的外接矩形完成提取.经实验测定,对实验样本茄子图像提取试验成功率为97%,平均用时0.152 s.     

西红柿采摘机器视觉中的图像采集技术

对机器视觉中现有的两种图像采集方法进行了比较分析,得出基于VFW的图像采集方法具有较大优点的结论,该方法为机器视觉系统的开发提供了新的途径.为此,介绍了VFW实现图像实时采集的基本过程;在基于VFW图像实时采集的基础上,完成了西红柿采摘机器视觉中的图像实时采集软件系统的设计.通过使用该系统对采摘物进行实时采集可知,其采集效果能较好地满足实际需要.     

基于区域生长的采摘机器人视觉识别方法

提出了一套基于茄子图像的空间位置信息和颜色因子相融合的区域生长分割算法。为保证茄子图像分割最佳的颜色空间和颜色因子,提取了50幅不同光照条件下的茄子图像的RGB颜色空间分量灰度图和直方图,比较了茄子果实、叶子、茎秆和空隙等的颜色特征,得出了G-B颜色因子对于茄子果实分割最为有利的结论。按照灰度级相同和空间8邻域连通的原则确定种子区域,进而通过扫描整幅图像进行初始分割。融合G-B颜色因子和空间信息对初始区域进行合并,直到分割形成的区域类间距离最大时停止生长。通过顶点链码与离散格林技术提取出果实的最小外接矩形,求解果实的生长位姿,试验表明:其分割效率均大于93%,平均用时为0.32 s,能够满足果蔬采摘机器人对视觉系统的要求。     

视觉传感器在采摘机器人目标果实识别系统中的应用

目标果实的识别和定位是准确采摘的核心,是采摘作业的必要条件。为此,首先从硬件和软件两方面对采摘机器人总体框架进行了介绍,然后搭建了双目视觉系统,并建立了摄像机标定模型,最后实现了对目标果实的识别和定位功能。试验结果表明:采摘机器人目标果实识别系统对目标果实的识别定位误差在8mm以内,成功采摘率在96%以上,系统精度高,采摘效果良好,能够满足采摘机器人的作业要求,对实现水果采摘的自动化、无人化具有重要现实意义。     

基于图像边缘检测技术的采摘机器人视觉系统设计

采摘机器人作业环境复杂,视觉系统往往不能准确对待采摘的果树或者果实进行准确的定位。为了提高采摘机器人视觉系统的定位精度,引入了图像边缘检测技术,通过提取待采摘果树或者果实的边缘,计算果实的位置坐标,为采摘机器人的自主行走定位和采摘作业提供可靠数据支持。为了验证方案的可行性,以待采摘果树的特征边缘提取为例,对系统的果树边缘提取的可行性及定位准确性进行了实验。实验结果表明:采用基于图像边缘检测技术的采摘机器人视觉系统可以成功地对果树进行定位,并输出果树的位置坐标,将位置坐标和实测位置坐标进行对比发现,其结果基本吻合,具有较高的定位精度。     

基于PLC和机器视觉的采摘机器人智能控制系统设计

利用PLC和机器视觉技术,采用图像传感器拍摄水果图像,提取出目标水果图像的坐标和位姿,并以此驱动控制采摘机器人以最优路径和最佳姿态采摘到目标水果.为了验证系统稳定性,在苹果种植区进行了实际采摘试验,结果表明:采摘机器人机械手可以稳定抓持到目标苹果并完成采摘过程,且期间耗时较短,具有较强的稳定性.     

采摘机器人视觉伺服控制系统设计

分析了采摘机器人目标位置与机器人关节角度之间的运动学关系,给出了两者之间的坐标变换公式.根据伺服控制特点,在机器人伺服控制中引入模糊PID控制方法,利用模糊控制策略在线自适应整定PID参数,提高了控制系统的动、静态性能.仿真和实验结果验证了设计的合理性和有效性.     

田间果蔬采摘机器人视觉传感器设计与试验

针对田间果蔬采摘机器视觉识别与定位的需求,设计嵌入式采摘视觉传感器,内嵌130万像素CMOS图像传感器和开放性MCU,配置亮度处理模块和室外光自适应控制专家库,解决室外光变化影响视觉检测的难题.用主从传感器构造双目视觉系统,配置图像分割和测距算法,进行采摘目标的识别与定位.经试验和测试,在采摘臂长范围内,对成熟西红柿的识别有效率为96%,位置误差±12 mm.     

采摘机器人振荡果实动态识别

提出一种采摘机器人在果实振荡状况下的动态识别方法,解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题。首先对所采集的振荡果实图像进行图像分割,将其分为果实和背景两部分;其次引入帧间差分法、水平最小外接矩形法等对分割图像进行振荡果实动态区域的区域标识,然后对其振荡果实进行识别,当图像中有多个振荡果实时,以距离图像中心最近原则确定采摘振荡目标果实。试验结果表明对实际采摘环境下遇到的多数情况,所提算法都能很好地识别出振荡果实,识别时间少于0.5 s。     

番茄采摘机器人夜间照明系统设计与试验

基于试验设计方法实现了番茄采摘机器人夜间照明系统设计。提出了一种基于前景与背景类间方差和类内方差比值F的图像可分割性评价指标作为确定最佳试验方案即最佳照明系统的评价指标;考虑了光源种类、光源布局及图像采集距离3个试验因子;采用正交试验表L_(18)(6×3~6)安排试验。试验结果表明:光源种类和光源布局是影响番茄采摘机器人夜间照明系统的显著因子,图像采集距离为不显著因子;光源种类因子各水平中,荧光灯照射时图像的F最大,为2.159;光源布局因子各水平中,对角布局时图像的F最大,为2.234。因此,所设计的番茄采摘机器人夜间照明系统的最佳组合为:荧光灯、对角布局。将试验结果与基于归一化R-G色差的OTSU自动阈值图像分割算法的分割效果进行了对比,对比结果验证了基于该图像可分割性评价指标F的夜间照明系统设计方法的有效性。     

采摘机器人选择性作业信息获取研究——基于无标定视觉伺服系统

以采摘机器人采摘作业为研究对象,以选择性采摘成熟果蔬为研究目标,基于无标定视觉伺服系统,结合果蔬成熟特性判断目标果实是否适合采摘,设计了一套以MSP430F149为核心的智能检测控制系统,可以实时处理相机采集到的图像,并选择性采摘符合要求的果实。本文重点研究了视觉伺服原理与模型、果实成熟度判断、选择性作业信息获取,以及系统的硬软件设计,并对文中设计研究的系统进行了可行性验证。试验结果表明:该无标定视觉伺服系统判断准确,能够较大程度提高机器人的可靠性与稳定性,应用前景宽广。     

农业采摘机器人视觉感知关键技术研究

为了提高农业机器人在复杂野外环境下采摘油茶果的速度和准确性,针对机器人视觉感知的关键技术,设计了一种农业机器人果实检测、定位和采摘系统。首先,使用双目相机采集油茶果的左右图像;然后,应用先进的目标检测网络YOLOv4-tiny检测出左右图像中的油茶果;再次,不同于传统的双目相机图像的立体匹配技术,根据YOLOv4-tiny网络生成的预测框提取出油茶果图像的感兴趣区域,并根据预测框的生成机制自适应地进行立体匹配以求解出视差,为后续使用三角测量原理求出油茶果采摘点提供参考;最后,使用基于Eye-in-Hand手眼标定的农业机器人进行采摘试验,验证了本研究的可行性和准确性。试验结果表明：YOLOv4-tiny网络能够精确和实时地检测油茶果,提出的定位方法满足采摘机器人的应用需求,验证了本研究的可行性和准确性。研究可为果园环境中作业的农业采摘机器人视觉感知关键技术提供参考。     

基于机器视觉的机器人智能采摘实验平台开发

针对如何实现快速、高效的采摘,提出机器人智能采摘实验平台系统,该采摘机器人依靠视觉反馈控制来识别采摘物的位置。研究机器人手臂的运动控制,构建机器人的运动学模型。分析机械手的视觉伺服控制问题,直接将图像位置误差矢量映射到所需的末端执行器速度矢量。对机器人智能采摘进行试验分析,试验任务进行171次,准确率94.67%。试验结果验证该视觉伺服控制方法在实际场景中对采摘物识别效率,提高视觉伺服系统的鲁棒性和有效性。     

基于颜色统计的水果采摘机器人水果识别的研究

由于我国人口老龄化趋势不断加快,出生率下滑,农村劳动力严重不足。为了解决这一问题,研究人员开发了一系列不同用途的农业机器人,其中就包括水果采摘机器人。对于水果采摘机器人而言,水果的检测和识别是一项重要的任务,因此本研究小组提出了一种基于HSV颜色统计特征的水果识别技术。首先,将水果图像从RGB颜色空间转换为HSV颜色空间;然后将水果HSV颜色空间的色调分布近似为拉普拉斯分布,该拉普拉斯分布可作为该果实的特征描述;将水果从输入图像中分割出来,如果分割后的水果图像符合某种90%置信区间的拉普拉斯分布,则输入的水果属于该水果。在实际操作中,将每种水果的拉普拉斯分布的90%置信区间对应的马氏距离（MD）作为参考评价;如果输入水果数据的马氏距离（MD）小于参考值,则该输入属于该类型的水果。实验结果表明,该方法对不同种类的水果具有良好的识别效果。     

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统.在图像空间利用Hough变换检测出果实目标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标;通过最小二乘法研究了采摘机器人手眼标定;分析了采摘机器人的轨迹规划.实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效等因素的影响,目标定位误差小于8 mm,显著地提高了抓取的精度和可靠性.     

苹果采摘机器人三维视觉传感器设计

以红富士苹果为研究对象,设计了用于苹果采摘机器人的三维视觉传感器.根据苹果树的反射光谱特性,选择敏感波长的激光作为主动光源,在步进电动机的驱动下进行扫描,利用果树对激光的反射差异实现果实识别,利用三角测量原理实现果实定位.该传感器以ARM7芯片LPC2114为处理器,PSD为信号接收传感器,在电路和机械方面进行了优化设计,有效消除了外界各种干扰.实验结果表明,系统信号输出稳定,在150～750 mm距离范围内,最大偏差13 mm.