枝条遮挡下单个苹果目标识别与重建的研究

【目的】研究枝条遮挡情况下单个苹果目标的识别,为复杂生长环境下苹果目标的准确识别与定位及实现自动采摘提供支持。【方法】针对果实目标受枝条遮挡影响被分割成几个部分,从而严重影响果实目标准确识别的现状,以枝条遮挡下的苹果目标为研究对象,选用基于Lab颜色空间的Kmeans聚类算法对苹果目标进行分割,再通过数学形态学方法对目标苹果轮廓进行提取,然后根据最小外接矩形法去除目标苹果的伪轮廓,最后利用轮廓的曲率特征对目标苹果进行重建,并对分割与重建结果进行了方法验证。【结果】利用基于Lab颜色空间下的Kmeans聚类算法和最小外接矩形法可有效提取出苹果目标的真实轮廓,能够与苹果目标边缘线达到高度重合,同时可获得较准确的重建结果。对10幅枝条遮挡果实目标的识别、定位与重建的验证结果表明,该方法对目标苹果进行分割与重建的平均分割误差为13.83%,平均重叠系数为88.08%,假阳性率和假阴性率分别为1.22%和11.92%,目标苹果重建准确率均在84.00%以上,平均重建时间为24.40 s。【结论】应用本研究中的方法可对枝条遮挡下的苹果目标进行准确识别、定位与重建,有效缩短重建时间。     

枝条遮挡下单个苹果目标识别与重建方法的研究

【目的】研究枝条遮挡情况下单个苹果目标的识别,为复杂生长环境下苹果目标的准确识别与定位及实现自动采摘提供支持。【方法】针对果实目标受枝条遮挡影响被分割成几个部分,从而严重影响果实目标准确识别的现状,以枝条遮挡下的苹果目标为研究对象,选用基于Lab颜色空间的K-means聚类算法对苹果目标进行分割,再通过数学形态学方法对目标苹果轮廓进行提取,然后根据最小外接矩形法去除目标苹果的伪轮廓,最后利用轮廓的曲率特征对目标苹果进行重建,并对分割与重建结果进行了方法验证。【结果】利用基于Lab颜色空间下的K-means聚类算法和最小外接矩形法可有效提取出苹果目标的真实轮廓,能够与苹果目标边缘线达到高度重合,同时可获得较准确的重建结果。对10幅枝条遮挡果实目标的识别、定位与重建的验证结果表明,该方法对目标苹果进行分割与重建的平均分割误差为13.83%,平均重叠系数为88.08%,假阳性率和假阴性率分别为1.22%和11.92%,目标苹果重建准确率均在84.00%以上,平均重建时间为24.40s。【结论】应用本研究中的方法可对枝条遮挡下的苹果目标进行准确识别、定位与重建,有效缩短重建时间。     

果园环境下苹果侦测与定位方法研究现状与展望

随着信息技术的快速发展,果园管理逐步走向数字化、机械化和智能化。果园环境下苹果的精确侦测与定位成为实现果实作业自动化的关键。总结了苹果侦测中的视觉数据获取方法、图像预处理方法和果实图像分割方法,分析了苹果侦测中遮挡和重叠问题的处理方法,归纳了目标果实定位的主要方法和原理,探讨了苹果侦测与定位研究中存在的挑战,并对未来发展趋势进行了展望,以期为进一步开展果园信息化研究提供参考。     

基于梯度Hough变换的遮挡苹果目标定位

为实现自然环境中被枝叶或其他果实遮挡的苹果目标定位,提出一种基于图像边缘信息的梯度Hough变换的目标定位方法。该方法首先在Lab空间中利用K-means聚类算法对自然环境下苹果图像进行分割,然后对分割结果进行形态学操作以去除小区域,接着采用Sobel算子提取苹果目标的边缘,最后利用梯度Hough变换获取苹果目标的圆心及半径,实现遮挡苹果目标定位。实验结果表明,该方法能够有效定位遮挡苹果,定位重合度高达93.17%。     

无遮挡重叠柑橘目标分割与重建

自然环境下重叠果实的精准识别是智能采摘面临的难题之一。本研究针对无遮挡重叠柑橘,提出了一种基于凹区域简化和距离分析的果实分割与重建方法。该方法提取、分割果实轮廓凹区域,对其进行多边形简化,利用角点检测提取多边形顶点,通过分析各顶点到轮廓凸壳曲线的距离确定轮廓分割点,采用最小二乘圆拟合方法对分割后的轮廓进行重建。结果表明,基于凹区域简化和距离分析的无遮挡重叠柑橘重建轮廓的平均误差为3.12%,不重合度为4.55%,时间为0.291 s,优于RANSAC算法和Hough变换算法,能够满足自然环境下无遮挡重叠果实的智能识别需求。     

自然环境下果实作业机器人幼果期苹果侦测方法

首先,采用自适应G-B色差法对初始图像计算,获得色差灰度图,使用迭代阈值分割法提取果实兴趣区;其次,对经形态学处理后的兴趣区图像进行Blob分析,计算每个Blob的离心率和像素面积,去除明显偏离果实形状特点的Blob;最后,应用改进圆形Hough变换算法检测潜在类圆形果实目标,最终采用融合方向梯度直方图特征和网格搜索优化支持向量机的判别模型进一步去除虚假果实目标,提升苹果目标的侦测精确度。试验结果显示,该方法对果园自然环境下幼小青苹果的侦测正确率为88.51%,漏报率和误报率分别为11.49%和4.84%,算法模型综合性能指标为90.29%,表明该方法对幼果期苹果目标具有较强的侦测能力和较好的鲁棒性,该结果为果实作业机器人幼果期的自动化果实侦测提供参考。     

基于轮廓曲率和距离分析的重叠柑橘分割与重建

自然环境下重叠果实的精准识别是智能采摘面临的难题之一。针对自然环境中成熟的重叠柑橘，提出了一种基于轮廓曲率和距离分析的果实分割方法。首先，提取重叠柑橘果实轮廓并进行高斯平滑，通过曲率分析，找出异常的轮廓像素点；其次，依次连接相邻两个异常像素点，分析该线段上的像素点到轮廓的距离，在相邻两正常线段的交点处完成重叠柑橘轮廓分割，并通过寻找异常线段剔除对应的非柑橘轮廓像素点；在此基础上，采用最小二乘椭圆拟合方法，对获取的柑橘目标进行轮廓重建。结果表明：利用该方法所得到的重叠柑橘重建轮廓的平均误差、不重合度和时间分别为4.903%、5.593%、0.408 s，优于Hough变换算法和RANSAC算法，能够满足自然环境下成熟重叠柑橘果实的智能识别需求。     

复杂背景下油茶果采收机重叠果实定位方法研究

油茶果机械化振动采摘技术关键在于振动点选取,判断振动点选取取决于果实生长密度测算和分布估计.然而自然环境下重叠果实的识别对判定结果有较大的影响,因此提出一种基于凸壳识别的分割边界优化方法,提升重叠油茶果识别与分割准确度.该方法先将原始图像转换颜色空间,经过阈值分割和形态学处理获得重叠果实的凹区域,然后在此基础上通过Harris角点检测得到区域的特征点集,利用主成分分析(PCA)和欧式距离方法分析特征点距离关系得到分割路径,最后采用最小二乘法对分割后的目标区域进行拟合重建得到果实轮廓.对比重建的果实轮廓与真实分布图像,该方法的平均定位误差为8.6％,比Hough方法低5.1％;平均耗时为0.52 s,比Hough方法低0.12 s.结果 表明,提出的方法可以有效解决重叠油茶果实识别与分割问题,为采摘装置的振动点选择奠定基础.     

基于双目立体视觉的重叠柑橘空间定位

果实的精准识别和定位是智能采摘面临的难题之一。基于双目立体视觉,提出了一种针对户外重叠柑橘的三维空间定位方法。首先,从双目左右图像中提取重叠柑橘果实轮廓并进行高斯平滑,通过曲率分析,找出异常的轮廓像素点;其次,依次连接相邻两个异常像素点,分析该线段上的像素点到柑橘轮廓的距离,在相邻两正常线段的交点处完成重叠柑橘轮廓分割,并通过寻找异常线段剔除对应的非柑橘轮廓像素点;再者,采用最小二乘椭圆拟合方法重建柑橘目标轮廓,并获取柑橘的中心;最后,根据双目极线约束和图像相似度,对重叠柑橘中心点进行匹配,并基于视差原理计算柑橘中心的深度值及三维空间坐标,确定重叠柑橘的遮挡关系。户外实验结果表明,所提出的方法定位误差为6.38 mm,满足柑橘采摘机器人户外采摘作业的定位精度要求。     

基于双目立体视觉的重叠柑橘空间定位

果实的精准识别和定位是智能采摘面临的难题之一。基于双目立体视觉，提出了一种针对户外重叠柑橘的三维空间定位方法。首先，从双目左右图像中提取重叠柑橘果实轮廓并进行高斯平滑，通过曲率分析，找出异常的轮廓像素点；其次，依次连接相邻两个异常像素点，分析该线段上的像素点到柑橘轮廓的距离，在相邻两正常线段的交点处完成重叠柑橘轮廓分割，并通过寻找异常线段剔除对应的非柑橘轮廓像素点；再者，采用最小二乘椭圆拟合方法重建柑橘目标轮廓，并获取柑橘的中心；最后，根据双目极线约束和图像相似度，对重叠柑橘中心点进行匹配，并基于视差原理计算柑橘中心的深度值及三维空间坐标，确定重叠柑橘的遮挡关系。户外实验结果表明,所提出的方法定位误差为6.38 mm，满足柑橘采摘机器人户外采摘作业的定位精度要求。     

自然光照条件下苹果识别方法对比研究

针对自然光照条件下果园苹果识别效果不佳的问题,从苹果的颜色分割和形状提取2方面进行对比研究,提出一种自然光照条件下的苹果识别方法。利用错检率、漏检率和处理速度3个量化指标综合对比分析颜色阈值、SVM和BPNN 3种苹果颜色分割方法的处理效果。比较6种边缘检测算法对苹果区域图像的边缘检测效果,并使用Hough圆检测算法对苹果形状进行提取,以获得苹果的圆心和半径。试验结果表明:由BPNN的苹果颜色分割方法以及结合Log和Hough的苹果形状提取方法所构建的果实识别算法具有较高的鲁棒性和准确性,能有效克服果实遮挡、重叠和颜色变异等问题,果实平均识别率可达91.6%。     

苹果在线分级系统设计与试验

【目的】根据苹果采摘机器人结构和作业特点设计与其配套的在线分级系统,满足实时分级需求。【方法】通过预分级机构剔除果径在等级外的苹果,减少视觉分级的无用功;利用力传感器获取苹果质量信息并确定质量等级;通过机器视觉技术实现苹果大小和腐烂面积的检测;借助Matlab和VS2008开发图像处理算法和界面控制程序;构建基于CAN总线的分布式控制网络。对苹果进行综合分级试验。【结果】苹果实际直径与检测直径的决定系数为0.990 3,实际质量与检测质量的决定系数为0.999 6,实际腐烂面积与检测腐烂面积的决定系数为0.985 5,综合分级成功率可以达到89.71%,连续分级时单果平均分级时间为2.89 s。【结论】该分级系统工作稳定,方便扩展,有较高的分级效率和分级精度,可以满足采摘机器人的实时分级需求。     

苹果采摘机械手的逆运动学求解研究

为了提高苹果采摘机械手的采摘成品率,保证采摘后苹果质量,提出一种引入采摘综合因素的苹果采摘机械手的逆运动学求解方法。首先,采用Denavit Hartenberg模型对苹果采摘机械手进行建模,并将逆运动学求解问题转化为规划问题,其中,目标函数为所求得逆运动学参数对应的机械手末端中心坐标与待求坐标欧式距离。然后,在遗传算法选择、交叉、变异算子进行全局搜索的基础上,结合非线性规划对目标函数进行局部搜索。最后,借助随机森林算法将逆运动学求解结果分为3个姿势等级。试验表明,非线性遗传算法在苹果采摘机械手的逆运动学求解上相比遗传算法精度提高了8～25 mm,随机森林算法可以很好地对其求逆结果进行优化,从而提高苹果采摘成品率。     

Immature green citrus fruit detection and counting based on fast normalized cross correlation (FNCC) using natural outdoor colour images

A fast normalized cross correlation (FNCC) based machine vision algorithm was proposed in this study to develop a method for detecting and counting immature green citrus fruit using outdoor colour images toward the development of an early yield mapping system. As a template matching method, FNCC was used to detect potential fruit areas in the image, which was the very basis for subsequent false positive removal. Multiple features, including colour, shape and texture features, were combined in this algorithm to remove false positives. Circular Hough transform (CHT) was used to detect circles from images after background removal based on colour components. After building disks centred in centroids resulted from both FNCC and CHT, the detection results were merged based on the size and Euclidian distance of the intersection areas of the disks from these two methods. Finally, the number of fruit was determined after false positive removal using texture features. For a validation dataset of 59 images, 84.4 % of the fruits were successfully detected, which indicated the potential of the proposed method toward the development of an early yield mapping system.     

Detecting fruits in natural scenes by using spatial-frequency based texture analysis and multiview geometry

This paper describes a computer vision based model for object detection that can serve as a preliminary step in fruit prognosis, which involves the estimation of the number, diameter and yield of apple fruits. In order to overcome the recognition unreliability in uncontrolled environments caused by uneven illumination conditions, partly occluded surfaces, and similar background features, we rely on a combination of the object's colour, texture and 3D shape properties. In our research, we apply colour segmentation to multiple scene snapshots to separate potential regions from the background and verify them first with texture analysis and second by reconstructing them to 3D space. By analysing all three distinct features (colour, texture and 3D shape) of possible areas, we can safely conclude if they represent fruits we are looking for. Once we detect and verify all areas representing fruits, we can measure their size and model estimated fruit yield.