苹果采摘机器人目标果实快速跟踪识别方法

为了减少苹果采摘机器人采摘过程处理时间,对苹果采摘机器人目标果实的快速跟踪识别方法进行了研究。对基于R-G颜色特征的OTSU动态阈值分割方法进行首帧采集图像分割,采用图像中心原则确定要采摘的目标果实;利用所采集图像之间的信息关联性,在不断缩小图像处理区域的同时,采用经过加速优化改进的去均值归一化积相关模板匹配算法来跟踪识别后帧图像的目标果实,并进行不同阈值分割方法实现效果,不同灰度、亮度和对比度的匹配识别以及新旧方法识别时间对比试验,从而验证了所采用和设计方法的有效性;其中所设计跟踪识别方法的识别时间相比于原方法,减少36%。     

苹果采摘机器人果实识别与定位方法

提出了利用归一化的红绿色差(R-G)/(R+G)分割苹果的方法.对不同光照情况下拍摄的苹果图像进行了识别,并对识别后的图像进行预处理后,获得苹果的轮廓图像.对轮廓图像采用随机圆环法进行果实圆心、半径提取.通过建立基于面积特征与极线几何相结合的匹配策略实现双目视觉下的果实定位,对于搜索区域内面积相似的果实,通过计算垂直投影的互相关函数最大值的方法,得到排序基准线,然后根据顺序一致性原则进行匹配.实验结果表明:识别算法可以较好地消除阴影、裸露土壤等影响,识别率达到92%.采用随机圆环法,可以准确地提取果实的圆心、半径.在60～150 cm的距离范围内,测量误差小于2 cm.     

采摘机器人基于支持向量机苹果识别方法

针对目前苹果采摘机器人果实识别过程误差大、处理时间长等问题,应用支持向量机(SVM)方法对苹果果实进行识别.首先采用矢量中值滤波法对苹果彩色图像进行预处理,然后运用区域生长算法和颜色特征相结合的方法进行图像分割,最后分别对苹果彩色图像的颜色特征、几何形状特征进行提取,并用支持向量机的模式识别方法识别苹果果实.实验结果表明:支持向量机识别方法的识别性能优于神经网络方法;综合颜色特征和形状特征的支持向量机识别方法对苹果果实识别的正确率高于只用颜色特征或形状特征的正确率.     

苹果采摘机器人果实识别与定位方法

提出了利用归一化的红绿色差(R-G)/(R+G)分割苹果的方法。对不同光照情况下拍摄的苹果图像进行了识别,并对识别后的图像进行预处理后,获得苹果的轮廓图像。对轮廓图像采用随机圆环法进行果实圆心、半径提取。通过建立基于面积特征与极线几何相结合的匹配策略实现双目视觉下的果实定位,对于搜索区域内面积相似的果实,通过计算垂直投影的互相关函数最大值的方法,得到排序基准线,然后根据顺序一致性原则进行匹配。实验结果表明：识别算法可以较好地消除阴影、裸露土壤等影响,识别率达到92%。采用随机圆环法,可以准确地提取果实的圆心、半径。在60～150cm的距离范围内,测量误差小于     

夜间自然环境下荔枝采摘机器人识别技术

利用机器视觉实现自然环境下成熟荔枝的识别,对农业采摘机器人的研究与发展具有重要意义。本文首先设计了夜间图像采集的视觉系统,然后选取了白天和夜间两种自然环境下采集荔枝图像,分析了同一串荔枝在白天自然光照与夜间LED光照下的颜色数据,确定了YIQ颜色模型进行夜间荔枝果实识别的可行性。首先选择夜间荔枝图像的I分量图,利用Otsu算法分割图像去除背景,然后使用模糊C均值聚类算法分割果实和果梗图像,得到荔枝果实图像;再利用Hough圆拟合方法检测出图像中的各个荔枝果实。荔枝识别试验结果表明:夜间荔枝图像识别的正确率为95.3%,识别算法运行的平均时间为0.46 s。研究表明,该算法对夜间荔枝的识别有较好的准确性和实时性,为荔枝采摘机器人的视觉定位方法提供了技术支持。     

番茄采摘机器人夜间照明系统设计与试验

基于试验设计方法实现了番茄采摘机器人夜间照明系统设计。提出了一种基于前景与背景类间方差和类内方差比值F的图像可分割性评价指标作为确定最佳试验方案即最佳照明系统的评价指标;考虑了光源种类、光源布局及图像采集距离3个试验因子;采用正交试验表L_(18)(6×3~6)安排试验。试验结果表明:光源种类和光源布局是影响番茄采摘机器人夜间照明系统的显著因子,图像采集距离为不显著因子;光源种类因子各水平中,荧光灯照射时图像的F最大,为2.159;光源布局因子各水平中,对角布局时图像的F最大,为2.234。因此,所设计的番茄采摘机器人夜间照明系统的最佳组合为:荧光灯、对角布局。将试验结果与基于归一化R-G色差的OTSU自动阈值图像分割算法的分割效果进行了对比,对比结果验证了基于该图像可分割性评价指标F的夜间照明系统设计方法的有效性。     

苹果采摘机器人末端执行器的结构设计与试验

针对目前国内外已开发的果蔬采摘末端执行器存在的不足,结合采摘苹果的具体实际,提出了一种苹果采摘机器人末端执行器.其本体结构主要由夹持机构、切割机构、气动系统和传感控制系统等组成,并制造了样机,其机械本体质量只有1.3kg.在试验室里进行了采摘苹果试验,结果表明:该末端执行器采摘方案合理有效,总体性能可满足机器人采摘苹果的要求,采摘一个苹果只需2.3s,对于采摘其他球状果实具有一定的通用性.     

苹果采摘机器人三维视觉传感器设计

以红富士苹果为研究对象,设计了用于苹果采摘机器人的三维视觉传感器.根据苹果树的反射光谱特性,选择敏感波长的激光作为主动光源,在步进电动机的驱动下进行扫描,利用果树对激光的反射差异实现果实识别,利用三角测量原理实现果实定位.该传感器以ARM7芯片LPC2114为处理器,PSD为信号接收传感器,在电路和机械方面进行了优化设计,有效消除了外界各种干扰.实验结果表明,系统信号输出稳定,在150～750 mm距离范围内,最大偏差13 mm.     

基于云计算技术的苹果采摘机器人系统

近年来,我国水果产业迎来快速发展期,苹果种植面积日益扩大,年产量明显增加,促使我国成为世界上最大的水果生产国家。水果进行种植过程中,成熟的水果采摘操作时必须消耗大量的时间和劳动力。由于进城务工人员日益增多,农村劳动力人口不断减少,此时劳动力成本有一定程度的增长,果农日常经营的成本也有所增加,因此智能采摘机器人顺势而生。为此,针对水果采摘机械研究的不足之处,提出了基于云计算的苹果采摘机器人系统,在机器人处于作业状态下设计了苹果采摘机器人软、硬件设计情况。为验证苹果采摘机器人的采摘效果,在果园中对其采摘性能展开试验,试验结果表明:所设计的采摘机器人运用视觉技术,能很好地克服气候环境等因素的影响,采摘作业中性能稳定,采摘效率高,值得在苹果生产地推广使用。     

苹果采摘机器人末端执行器的原理及试验研究

随着我国水果种植不断发展,果园面积不断扩充,人工展开果实采摘工作已无法满足实际需求,果实采摘向机械化、智能化方向发展是必然趋势。目前,苹果采摘已经开始引进机械手采摘,极大地提高了采摘效率。由于苹果采摘机器人在我国并未推广,相关技术环节仍旧存在一定弊端。为此,针对当前苹果采摘末端执行器结构存在的不足,结合苹果采摘工作实际需求,根据苹果采摘作业手法设计了切实可行的苹果采摘末端执行器。试验表明:苹果采摘机器人末端执行器具有可行性及良好的应用效果,为其进一步推广提供了理论基础。     

基于改进YOLOv5m的采摘机器人苹果采摘方式实时识别

为准确识别果树上的不同苹果目标,并区分不同枝干遮挡情形下的果实,从而为机械手主动调整位姿以避开枝干对苹果的遮挡进行果实采摘提供视觉引导,提出了一种基于改进YOLOv5m面向采摘机器人的苹果采摘方式实时识别方法。首先,改进设计了BottleneckCSP-B特征提取模块并替换原YOLOv5m骨干网络中的BottleneckCSP模块,实现了原模块对图像深层特征提取能力的增强与骨干网络的轻量化改进;然后,将SE模块嵌入到所改进设计的骨干网络中,以更好地提取不同苹果目标的特征;进而改进了原YOLOv5m架构中输入中等尺寸目标检测层的特征图的跨接融合方式,提升了果实的识别精度;最后,改进了网络的初始锚框尺寸,避免了对图像里较远种植行苹果的识别。结果表明,所提出的改进模型可实现对图像中可直接采摘、迂回采摘（苹果上、下、左、右侧采摘）和不可采摘果实的识别,识别召回率、准确率、mAP和F1值分别为85.9%、81.0%、80.7%和83.4%。单幅图像的平均识别时间为0.025s。对比了所提出的改进算法与原YOLOv5m、YOLOv3和EfficientDet-D0算法在测试集上对6类苹果采摘方式的识别效果,结果表明,所提出的算法比其他3种算法识别的mAP分别高出了5.4、22、20.6个百分点。改进模型的体积为原始YOLOv5m模型体积的89.59%。该方法可为机器人的采摘手主动避开枝干对果实的遮挡,以不同位姿采摘苹果提供技术支撑,可降低苹果的采摘损失。     

基于视觉组合的苹果作业机器人识别与定位

为实现机器人自动化采摘作业,设计了苹果作业机器人识别与定位系统.模拟人类采摘过程,采用单、双目视觉组合传感器系统,克服了现有识别与定位系统对目标到视觉传感器距离的依赖性.实现了对单、双目视觉系统的单独和组合标定,与手动测量结果相比,双目视觉系统标定后3个方向的标准偏差分别为3.4、1.2和1.2 cm.提出了基于苹果颜色、形状和位置特征的识别与定位方法,试验结果表明:当工作距离为240 cm时,双目视觉系统可以准确识别并定位所有苹果,深度方向标准差为4.9 em;当工作距离为150 cm时,双目视觉系统深度方向标准差为2.4 cm;当工作距离小于100 cm时,单目视觉传感器测量目标到传感器距离的标准偏差为1.0 cm.     

开放式茄子采摘机器人设计与试验

根据茄子生长的空间分布,利用优化设计方法进行了机器人本体结构参数设计,开发了4自由度关节式采摘机器人机械本体.采用基于直方图的固定双阈值法对G-B灰度图像进行分割.根据果蔬采摘机器人对视觉系统的要求,提取了果实目标的轮廓、面积、质心、外接矩形以及切断点等特征.整机性能测试结果表明:以单摄像头两步法测距,当测量距离在275～575mm范围内,测量误差基本都在±18mm之内;整机试验系统运行稳定可靠,抓取成功率为89%,平均耗时37.4s.     

基于偏好免疫网络的油茶果采摘机器人图像识别算法

针对油茶果采摘机器人视觉识别中外界物体的形态学特性要求,采用了偏好人工免疫网络算法作为机器视觉的图像识别算法,并根据采摘环境及采摘对象的特点对算法结构进行了改进,增强了算法的识别率.仿真实验表明,采用偏好人工免疫网络算法对油茶果的识别率在晴天时达到了81.67％,阴天时达到了87.69％,满足采摘识别率的要求.     

荔枝采摘机械手视觉定位系统设计

建立了基于双目立体视觉的荔枝采摘机械手视觉定位系统.通过对成熟荔枝颜色特征的分析,选取YCbCr颜色模型进行处理,利用Otsu算法结合模糊C均值聚类法(FCM)对荔枝果实和果梗进行了分割,实验结果表明:有效识别果实和果梗的正确率为94.2％.通过计算果实质心与果梗的距离最大值确定荔枝采摘点,利用基于色调空间的彩色图像匹配法和极限约束法进行果梗采摘点的立体匹配,实现了采摘点的空间定位.通过定位误差分析,采用直线插值法进行定位误差补偿,定位实验结果表明:定位的深度误差小于10 mm,能满足荔枝机械手视觉精确定位的要求.     

苹果夜视图像小波变换与独立成分分析融合降噪方法

对不同人工光源辅助下采集到的夜视苹果图像,通过噪声分析,判定苹果夜视图像的噪声以高斯噪声为主,并混有部分椒盐噪声。针对高斯噪声去除难题,将小波变换(Wavelet transform,WT)与独立成分分析(Independent component analysis,ICA)理论引入夜视图像的处理系统,为了最大程度地降低噪声污染,提出WT-ICA融合降噪方法。通过仿真实验,结果表明融合降噪效果较为理想。为了更好地评价夜视图像的降噪效果,以自然光下的图像为参照基准,提出相对峰值信噪比(Relative peak signal-to-noise ratio,RPSNR)的概念。对所采集到的不同的夜视图像进行多次重复实验,结果表明,从视觉上看WT-ICA降噪方法得到的低噪图像噪点明显减少;从RPSNR看,WTICA得到的低噪图像,分别比原始图像、小波软阈值降噪、ICA降噪方法平均提高29.94%、8.09%、7.54%;白炽灯下的图像处理后的RPSNR最高,适合作为人工光源。WT-ICA融合降噪方法通过连续处理,排除夜视图像的噪声干扰,得到的低噪图像更利于进一步识别,从而为实现苹果采摘机器人的全天候作业打下基础。     

基于树冠图像特征的苹果园神经网络估产模型

针对树上苹果产量的早期估测问题,提出了一种利用果树图像树冠树叶与果实的信息,通过BP(Back propagation)神经网络建立模型进行苹果估产的方法。首先在苹果园内分别获取果树在苹果半熟期、成熟期的数字图像,并在苹果收获时将每棵树上的苹果称量,得到实际产量;采用图像处理方法识别出树冠上的果实及树叶;提取果实区域及树叶区域与产量相关的信息为输入,以果树实际产量为输出,建立基于BP神经网络的半熟期与成熟期估产模型,拟合度R分别达到0.928 7、0.980 4。将模型用于待估产样本,得到半熟期样本估测产量与实际产量拟合度R为0.876 6,成熟期样本估测产量与实际产量拟合度R为0.960 6。结果表明该模型具有较好的预测精度与鲁棒性。     

压缩感知苹果图像并行快速重构方法研究

针对压缩感知重构算法耗时长而影响苹果图像快速获取这一问题,分析了二维正交匹配跟踪重构算法的并行性,借助GPU通用并行计算平台,利用CUDA技术,设计其对应的并行化重构算法,从而得到快速的苹果图像重构方法。实验结果表明,并行化的算法可将苹果图像重构效率提高16~35倍,能在数秒内恢复原始图像,为压缩感知应用到果园远程实时监控及基于图像的苹果质量快速检测与分类等场合提供条件。     

采摘机器人振荡果实动态识别

提出一种采摘机器人在果实振荡状况下的动态识别方法,解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题。首先对所采集的振荡果实图像进行图像分割,将其分为果实和背景两部分;其次引入帧间差分法、水平最小外接矩形法等对分割图像进行振荡果实动态区域的区域标识,然后对其振荡果实进行识别,当图像中有多个振荡果实时,以距离图像中心最近原则确定采摘振荡目标果实。试验结果表明对实际采摘环境下遇到的多数情况,所提算法都能很好地识别出振荡果实,识别时间少于0.5 s。