融合K-means与Ncut算法的无遮挡双重叠苹果目标分割与重建

重叠苹果目标的准确分割是采摘机器人必须解决的关键问题之一。针对现有重叠苹果目标分割方法不能保留重叠部分轮廓信息的问题,提出了一种无枝叶遮挡的双果重叠苹果目标分割方法。该方法首先利用K-means聚类算法进行图像分割以提取苹果目标区域,然后利用Normalized Cut(Ncut)算法提取苹果目标轮廓,以实现未被遮挡苹果目标完整轮廓的准确提取,最后利用Spline插值算法对遮挡的苹果目标进行轮廓重建。为了验证算法的有效性,对20幅无枝叶遮挡双果重叠的苹果图像进行试验,并将该算法与寻找2个有效凹点用其连线分割重叠苹果目标,把分离的2个轮廓分别用Hough变换重建轮廓的方法进行对比。试验结果表明,对于图像中未被遮挡的苹果目标,利用该研究算法的平均分割误差为3.15%,提取的苹果目标与原始图像中苹果目标的平均重合度为96.08%,平均误差比Hough变换重建算法低7.73%,平均重合度高9.71%,并且该研究算法能够很好地保留未被遮挡苹果目标的完整轮廓信息,提高了分割精度。对于重叠被遮挡的苹果目标,平均分割误差和平均重合度分别为5.24%和93.81%,比Hough变换重建算法的平均分割误差低11.35%,平均重合度高12.74%,表明该算法可以较好地实现重叠被遮挡苹果目标的轮廓重建,研究结果可为实现枝叶遮挡影响下的多果重叠目标分割与重建提供参考。     

番茄果实串采摘点位置信息获取与试验

针对番茄收获机器人在采摘过程中果实串采摘点位置难以确定的问题,提出了基于果梗骨架角点计算方法,并利用该算法对番茄果实串果梗采摘点进行位置信息获取:首先采用最大类间方差分割法进行目标果实串分割,通过形态学方法和阈值法去除干扰,提取出目标果实串分割图像;根据果实串的质心和果串的轮廓边界确定果梗的感兴趣区域,采用快速并行细化算法提取果梗的骨架,利用Harris算法检测得到果实串第一个果实分叉点与植株主干之间果梗骨架角点,通过计算获得采摘点位置信息。然后进行验证试验,利用双目视觉图像采集系统采集了60组果实串图像并获取果梗采摘点位置信息,结果表明,采摘点位置成功率为90%,为采摘机器人提供准确的采摘位置信息。     

基于形状因子和分割点定位的粘连害虫图像分割方法

单个害虫的分割是进行害虫特征提取和识别的前提。针对害虫识别过程中出现的粘连等问题,提出了一种基于形状因子和分割点定位的害虫图像分割方法。该方法首先利用形状因子对图像中的每个区域进行粘连判定,然后对判定为粘连的区域进行逐层轮廓剥离和局部分割点的确定,接着根据局部分割点在原区域中搜索边界轮廓的两个分离点,最后连接局部分割点与分离点线段进行害虫分割。通过实验室人工随机散落桃蛀螟Conogethes punctiferalis(Guenée)和田间粘虫板诱捕梨小食心虫Grapholitha molesta(Busck)2种场景采集图像,验证算法的有效性,并与分水岭分割算法进行对比,采用分割率、分割错误率和分割有效性3项指标进行评价,结果表明:针对实验室环境下采集的2组桃蛀螟害虫图像,该文方法平均错误率为7%,约为分水岭分割方法的1/2,平均分割有效率为92.65%,比分水岭算法提高了5.7个百分点;在2组田间梨小食心虫图像分割中,该文方法平均错误率为2.24%,平均分割有效率为97.8%,分别比分水岭方法降低了4.29个百分点和提高了3.95个百分点,说明该文方法在分割准确性和有效性方面都可以获得更好的分割性能,应用于害虫多目标分割与自动识别系统中,可以有效地提高识别精度。     

基于两级分割与区域标记梯度Hough圆变换的苹果识别

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果，该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先，使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正，增强图像的细节信息。结合果实颜色特征，提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后，采用改进后的Otsu算法进行初次分割，得到苹果目标的二值图像，该算法通过引入形态学开-闭重建滤波去除大量背景噪声，通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割，分离粘连果实区域，提取目标苹果的外部轮廓。最后，在轮廓外设置最小外接矩形标记有效区域，在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试，并与传统梯度Hough圆变换方法进行对比，本文方法在顺、逆光下的识别准确率为90.75和89.79%，比传统方法提高了15.03和16.41%，平均识别时间为0.665和0.693 s，比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域，而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求，可为苹果等类球形果实的快速识别提供参考。     

基于时空域联合信息的高原鼠兔运动目标检测

自然场景下的高原鼠兔序列图像对比度低,边缘较弱,目标包含多色彩且目标运动具有突变性。针对传统运动目标检测方法不能精确提取多色彩目标轮廓的问题,提出一种基于时空域联合信息的运动目标检测方法。首先,利用背景减法确定当前帧图像中目标的形心位置,得到粗分割图像及初始轮廓,然后用改进Chan-Vese(CV)模型对粗分割图像进行分割,改进Chan-Vese模型对多色彩目标图像适应性强,从而获得精确的目标轮廓。鉴于几何活动轮廓模型在图像分割过程中需不断初始化水平集函数,且初始化计算量随图像规模的增大而增多,该文在背景减法获得目标形心的基础上,以形心为中心,截取包含目标的图像块作为粗分割图像,然后利用改进Chan-Vese模型对粗分割图像精确分割,以减少分割耗时。该文对包含50帧图像的视频处理,试验结果显示:该文方法耗时仅为15.25 s,相似度指数平均为0.852 929,Jaccard指数平均为0.744 57。和背景减与CV模型相结合的运动目标检测方法相比,该文方法过分割率低,无冗余轮廓,且耗时短;和背景减与改进CV模型相结合的运动目标检测方法相比,该文实时性更高;该文所提出的目标检测方法可精确提取目标轮廓且实时性高。     

基于稀疏场水平集的荔枝图像分割算法

为了给采摘机器人提供完整的荔枝果实轮廓,该文选择HSV彩色空间中色调H分量的旋转分量作为图像分割的特征;然后,通过模糊聚类算法自动获取合适的初始演化曲线轮廓,再利用稀疏场水平集方法对目标区域轮廓进行精确提取;最后,对分割的区域进行标记,并利用图像标记来恢复分割区域的原始图像。结果表明,该算法不仅很好地克服随机噪声的影响,而且很好地保持果实区域的完整性,使成熟荔枝分割的正确率达到了84.1%。     

基于边界脊线识别的群养猪黏连图像分割方法

猪体图像的前景分割和黏连猪体的分离是实现群养猪数量自动盘点和猪只个体行为智能识别的关键。为实现群养猪黏连图像的自动分割,该文采用决策树分割算法提取视频图像帧的猪体前景区域,计算各连通区域的复杂度,根据复杂度确定黏连猪体区域,利用标记符控制的分水岭分割算法处理黏连猪体图像,检测待选的边界脊线,通过检验待选边界脊线的分割效果和形状特征(包括线性度和Harris拐点数目),识别出猪体黏连分割线,实现黏连猪体的分离。结果表明,决策树分割算法(decision-tree-based segmentation model,DTSM)能够有效地去除复杂背景,前景分割效果良好。黏连猪体分离结果显示,基于边界脊线识别的黏连猪体分离准确率达到了89.4%,并较好地保留了猪体轮廓。通过计算分割后猪体连通区域的中心点,并对中心点进行德洛内剖分,初步实现了猪只的定位和栏内分布的可视化。6 min的监控视频处理结果显示,该文方法各帧图像的盘点平均误差为0.58,盘点准确率为98.33%,能够正确统计出栏内猪只数量。该研究可为实现基于监控视频的群养猪自动盘点和个体行为识别提供新的技术手段。     

基于机器视觉自然场景下成熟柑橘识别

采用2R-G-B色差分量,通过Ostu自适应阈值算法进行图像分割,利用形态运算消除分割后随机噪声,并对分割区域进行标记,利用区域面积和区域最小外接矩形长宽比参数进一步去除背景区域.对于多果重叠问题,利用T=Sqrt(S×I)形成新的图像提取边界,再结合形态学运算实现分割.最后利用优化的圆形Hough变换提取目标图像的形心坐标及半径,恢复遮挡果形.经验证有95%果实能正确识别.     

基于凸壳的重叠苹果目标分割与重建算法

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

Segmentation and reconstruction of overlappedapple images based on convex hull

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

基于深度学习的葡萄果梗识别与最优采摘定位

针对葡萄采摘机器人在采摘作业中受果园环境干扰,难以准确识别与分割葡萄果梗及定位采摘点的问题,该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络(Mask Region with Convolutional Neural Network,Mask R-CNN)模型对果梗进行识别与粗分割;然后结合阈值分割思想对果梗的色调、饱和度、亮度(Hue Saturation Value,HSV)色彩空间进行分段式提取,取每段色彩平均值作为该段果梗基准颜色阈值,利用区域生长算法对果梗进行精细化分割;最后计算果梗图像区域的质心,并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明,在不同天气光照下该方法对葡萄果梗的检测精确率平均值为88%;在果梗成功识别后最优采摘点定位准确率达99.43%,单幅图像的果梗采摘定位平均耗时为4.90s,对比改进前Mask R-CNN检测耗时减少了0.99 s,F1-得分提高了3.24%,检测效率明显提升,该研究为葡萄采摘机器人提供了一种采摘点定位方法。     

改进圆形Hough变换的田间红提葡萄果穗成熟度判别

针对田间环境下红提葡萄果穗成熟度人眼判断效率低且易误判的问题,该研究采用K近邻(K-nearest neighbor,KNN)算法和最大类间方差(Otsu)法分别对葡萄果穗图像背景分割以找到最佳分割效果,采用圆形Hough变换识别葡萄果粒,并开发了可判别葡萄果穗成熟度的算法。研究结果表明,不论顺光、逆光或者与田间背景相似的绿色果穗,KNN法可实现良好的背景分割,然后圆形Hough变换法在边缘阈值和灵敏度分别取0.15和0.942时,识别葡萄果粒的准确率可达96.56%。在此研究基础上,采用该研究开发的葡萄果穗成熟度判断算法,可根据颜色将果粒划分不同成熟度等级,并实现对果穗成熟度判别,判别准确率为91.14%。该研究结果可为果农适宜期收获葡萄及自动化采摘提供重要指导。     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位

无损收获是采摘机器人的研究难点之一,葡萄采摘过程中容易因机械碰撞而损伤果实,为便于机器人规划出免碰撞路径,提出一种基于双目立体视觉的葡萄包围体求解与定位方法。首先通过图像分割获得葡萄图像质心及其外接矩形,确定果梗感兴趣区域并在该区域内进行霍夫直线检测,通过寻找与质心距离最小的直线来定位果梗上的采摘点,运用圆检测法获取外接矩形区域内果粒的圆心和半径。然后运用归一化互相关的立体匹配法求解采摘点和果粒圆心的视差,利用三角测量原理求出各点的空间坐标。最后以采摘点的空间坐标为原点构建葡萄空间坐标系,求解葡萄最大截面,再将该截面绕中心轴旋转360°得到葡萄空间包围体。试验结果表明:当深度距离在1 000 mm以内时,葡萄空间包围体定位误差小于5 mm,高度误差小于4.95%,最大直径误差小于5.64%,算法时间消耗小于0.69 s。该研究为葡萄采摘机器人的防损采摘提供一种自动定位方法。     

自然环境下葡萄采摘机器人采摘点的自动定位

针对葡萄果梗颜色复杂多变、轮廓不规则等影响因素使得采摘机器人难以准确对采摘点进行定位的问题,该文提出一种基于改进聚类图像分割和点线最小距离约束的采摘点定位新方法。首先通过分析葡萄图像的颜色空间,提取最能突显夏黑葡萄的HSI色彩空间分量H,运用改进的人工蜂群优化模糊聚类方法对葡萄果图像进行分割;然后对分割图像进行形态学去噪处理,提取最大连通区域,计算该区域质心、轮廓极值点、外接矩形;再根据质心坐标与葡萄簇边缘信息确定采摘点的感兴趣区域,在区域内进行累计概率霍夫直线检测,求解所有检测得出的直线到质心之间的距离,最后选取点线距离最小的直线作为采摘点所在线,并取线段中点坐标作为采摘点。以从晴天顺光、晴天遮阴、阴天光照下采集的300幅夏黑葡萄进行分类试验,结果表明,该方法的采摘点定位准确率达88.33%,平均定位时间为0.3467 s,可满足采摘机器人对采摘点的定位需求,为葡萄采摘机器人提供了一种新的采摘点求解方法。     

基于OpenCV的动态葡萄干色泽实时识别

为了实现新疆吐鲁番地区"无核白"葡萄干的自动化色泽识别,该文利用OpenCV对无核白葡萄干的表面色泽识别进行研究,设计了一套可以实时、动态、多条输送通道同时处理的葡萄干色泽识别设备。为保证葡萄干色泽特征提取的正确率,对实时获取的每一帧图像进行预处理,获得平滑无孔洞的葡萄干二值图像;去除每一帧二值图像两侧边缘处不完整的葡萄干轮廓,从而保证获取葡萄干的完整色泽信息;定义图像上、下2部分掩膜,并分别仅保留图像右侧第一个葡萄干轮廓,利用上、下掩膜对每一帧图像分别处理,实现2条输送带上葡萄干的同时识别,以提高葡萄干色泽识别效率;在HSV空间下对保留的图像右侧第一颗葡萄干提取各通道的均值,以绿色、黄色、褐色葡萄干各40粒进行测试取值,统计数据并分析,确定色调通道H值23、亮度通道V值80为阈值进行葡萄干色泽识别;以3种颜色葡萄干各150粒分3次进行试验,结果表明,绿、黄、褐色葡萄干的识别正确率分别为89.33%,92.00%和96.67%,识别效率为21s/百粒葡萄干,识别方法简单有效。该方法的识别效率高于人工分选方式的110s/百粒葡萄干,但识别正确率低于人工分选方式的100%;相比于现有研究方法对各色葡萄干93%以上的识别正确率,该识别方法对褐色葡萄干的识别正确率较高,但对黄、绿色葡萄干的识别正确率较低;市场上现有的葡萄干分级设备使用的识别方法几乎无法区分黄、绿色葡萄干,与其相比,该文提供了一个可以较好区分黄、绿色葡萄干的方法。该文基于OpenCV设计的葡萄干色泽识别算法具有分选可行性和较好的识别正确率,可为后续分选执行机构和控制系统的搭建提供算法基础,为葡萄干色选的商业化提供算法参考。     

自然场景图像中的重叠蜜柚识别及试验

重叠蜜柚目标的准确分离和蜜柚果梗的定位是实现采摘自动化必须解决的两个关键问题。现有的苹果、柑橘等重叠果实分离方法不适用于重叠蜜柚,且无果梗定位功能。针对以上问题,本文提出了一种结合渐进式中心定位的重叠蜜柚分离方法和果梗定位方法。首先利用主成分分析方法提取蜜柚区域、滤除背景并对图像中的重叠蜜柚进行初步分离;接着,对重叠蜜柚区域采用渐进式中心定位方法得到各个蜜柚的中心;然后,利用区域边缘点到其相应的不同中心点的距离大小的变化规律实现重叠蜜柚的分离;最后,利用前述的中心点结合蜜柚的形状特征,定位出遮挡程度较小的蜜柚果梗。在50张自然场景下的图像上进行试验,结果表明在有阴影、小目标、遮挡和重叠等复杂环境下,该方法的平均识别率为94.02%。同时,对于果梗未被遮挡且离摄像头较近的蜜柚,也给出了准确的果梗区域。在利用蜜柚模型搭建的识别自动化试验平台上进行试验,结果表明采摘机器人能够有效识别并分离重叠蜜柚、定位果梗。本研究可为蜜柚采摘机器人准确识别重叠果实提供参考。