基于凸壳的重叠苹果目标分割与重建算法

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

基于Snake模型与角点检测的双果重叠苹果目标分割方法

为了实现重叠苹果目标的精确分割,提出了一种Snake模型与角点检测相结合的重叠苹果目标分割方法。该方法首先利用Snake模型得到重叠苹果目标的轮廓,接着采用提出的基于距离测度的角点检测算法寻找重叠苹果目标的角点,针对距离扰动产生伪角点的问题,采用3级db1小波变换得到不含细节信号的近似距离信号,并通过Spline样条内插算法使其恢复到原始信号的长度,从而去除伪角点,最后提出了一种基于长轴分割准则的分割点选取方法并实现了重叠苹果目标的分割。为了验证算法的有效性,利用20幅重叠苹果目标进行了试验,并与人工计算得到的分割线进行了对比,试验结果表明,利用文中算法分割重叠苹果目标的最大误差为13.27°,最小误差为1.20°,平均误差为6.41°,表明Snake模型与角点检测算法相结合对重叠苹果目标具有较好的分割性能,将该方法应用于重叠苹果目标的分割是可行的。     

融合K-means与Ncut算法的无遮挡双重叠苹果目标分割与重建

重叠苹果目标的准确分割是采摘机器人必须解决的关键问题之一。针对现有重叠苹果目标分割方法不能保留重叠部分轮廓信息的问题,提出了一种无枝叶遮挡的双果重叠苹果目标分割方法。该方法首先利用K-means聚类算法进行图像分割以提取苹果目标区域,然后利用Normalized Cut(Ncut)算法提取苹果目标轮廓,以实现未被遮挡苹果目标完整轮廓的准确提取,最后利用Spline插值算法对遮挡的苹果目标进行轮廓重建。为了验证算法的有效性,对20幅无枝叶遮挡双果重叠的苹果图像进行试验,并将该算法与寻找2个有效凹点用其连线分割重叠苹果目标,把分离的2个轮廓分别用Hough变换重建轮廓的方法进行对比。试验结果表明,对于图像中未被遮挡的苹果目标,利用该研究算法的平均分割误差为3.15%,提取的苹果目标与原始图像中苹果目标的平均重合度为96.08%,平均误差比Hough变换重建算法低7.73%,平均重合度高9.71%,并且该研究算法能够很好地保留未被遮挡苹果目标的完整轮廓信息,提高了分割精度。对于重叠被遮挡的苹果目标,平均分割误差和平均重合度分别为5.24%和93.81%,比Hough变换重建算法的平均分割误差低11.35%,平均重合度高12.74%,表明该算法可以较好地实现重叠被遮挡苹果目标的轮廓重建,研究结果可为实现枝叶遮挡影响下的多果重叠目标分割与重建提供参考。     

形态学多尺度重建结合凹点匹配分割枸杞图像

针对枸杞分级过程中因图像噪声、光照不均匀和粘连等造成枸杞难以准确分割的问题,提出了一种基于形态学多尺度开闭重建结合凹点匹配的分割方法。首先提取原始图像的红色分量去除枸杞光照阴影噪声,利用形态学多尺度混合开闭重建对红色分量图像进行重建,平滑枸杞内部而保留轮廓边缘信息;然后采用8邻域跟踪算法提取粘连枸杞轮廓边缘;最后运用圆形模板检测粘连枸杞的轮廓凹点,以凹点间最短欧氏距离为匹配条件连接凹点对,并对匹配错误的凹点对进行修正,实现粘连枸杞分割。试验结果表明,该文方法分割准确率较高,而过分割率较低,相比标记控制的分水岭和直接凹点匹配分割等方法,对粘连枸杞分割效果较好,分割准确率可达到96%。该研究可为枸杞分割技术提供理论支撑。     

基于凸壳理论的遮挡苹果目标识别与定位方法

为实现受果树枝叶遮挡、果实间相互遮挡的果实目标识别,该文提出了一种基于凸壳理论的遮挡苹果目标识别方法。该方法首先将图像由RGB颜色空间转换至L*a*b*颜色空间,并利用K-means聚类算法将图像分为树叶、枝条和果实3个类别,然后利用形态学方法对果实目标进行处理,得到目标边缘并进行轮廓跟踪,接着利用目标边缘的凸壳提取连续光滑的轮廓曲线,最后估计该光滑曲线段的圆心及半径参数,实现遮挡果实的定位。为了验证该算法的有效性,利用Hough圆拟合算法进行了对比试验,试验结果表明,该方法的平均定位误差为4.28%,低于Hough圆拟合方法的平均定位误差16.3%,该方法显著提高了目标定位的精度,能够有效识别遮挡苹果。     

基于轮廓分割的草莓叶片三维建模

为精确构建原位草莓植株三维空间结构,以高架栽培模式生长环境下的草莓植株为研究对象,提出了一种基于多源图像轮廓分割的草莓植株结构形态三维重建算法。通过改进的多源图像融合算法,建立多源图像映射关系,融合预处理后的多源信息得到待分割强度图;计算待分割强度图矢量场卷积的局部中心,选出多目标的初始轮廓控制点,将参数的活动轮廓模型应用于待分割强度图像进行叶片的分割;采用标记的方法将分割轮廓映射至距离点云集,设计以单个叶片为单位的平面拟合选择机制,最终完成草莓三维模型的重建及显示。为验证该算法的有效性,将三维重建后的有效叶片数,平均单叶长度及叶片距离差作为评价指标,实验结果表明,有效叶片数正确率为85.6%,平均单叶长度模型正确计算率为88.4%,叶片距离差正确计算率为82.4%,研究结果可应用于原位草莓植株的空间位置测量,可为农业机器人局部视觉场景中植株空间结构的构建提供参考。     

基于分水岭和凸包理论的自然场景下未成熟苹果直径测量方法

针对自然场景下生长期内树上未成熟果实的自动探测与大小计算问题,提出了一种基于改进分水岭和凸包理论的自然场景下未成熟苹果识别与直径计算方法。该方法首先对灰度图像进行形态学重构后进行边缘检测,再利用合并局部极小值点分水岭分割方法从粘连区域中提取目标果实,并结合基于凸包理论的真轮廓提取和圆拟合方法,实现目标果实圆拟合直径的自动测量。计算结果与人工测量结果进行对比试验,结果表明:在不考虑扁平型目标果的情况下,该方法的直径计算均方根误差最小值为1.91 mm,均值为2.27 mm,误差范围在品质评定等级差(5 mm)以内,具有较好的推广应用价值。研究结果为生长期内果实的大小监测提供参考。     

雾滴沉积特性参数的图像检测算法改进

快速获取施药后雾滴在靶标表面的沉积分布有助于了解农药的田间分布情况,水敏试纸雾滴图像处理算法是检测喷药沉积特性参数常用的方法,但常因光照不均、试纸上沉积的雾滴斑痕粘连而引起雾滴识别误差。为解决这一问题,针对手机拍摄的照片,该文提出了与位置相关的动态阈值法提取雾滴区域,并设计基于圆形度的循环分割算法对粘连雾滴分割。以水代替农药利用背负式喷雾器喷洒,选取8张不同稀疏程度和碰撞角度的试纸作为样本进行试验,以验证上述算法的检测效果。试验结果表明,该方法不受亮度不均影响,覆盖率比固定阈值与分块阈值法分别高12.57%和8.74%,提取到的雾滴区域更加完整,能够提取92.64%以上的雾滴,且粘连分割效果较好,雾滴识别的正确率为97.2%,覆盖密度检测误差为3.31%,能够满足实际生产要求,为下一步开发雾滴检测APP打下基础。     

复杂环境下柿子和苹果绿色果实的优化SOLO分割算法

为了实现果园复杂环境下柿子和苹果绿色果实的精准分割,该研究提出了一种基于SOLO的绿色果实优化分割算法。首先,利用分离注意力网络（ResNeSt）设计SOLO算法的主干网络,用于提取绿色果实特征;其次,为更好地应对绿色果实特征的多尺度问题,引入特征金字塔网络（Feature Pyramid Networks,FPN）,构造ResNeSt+FPN组合结构;最后,将SOLO算法分为类别预测和掩码生成2个分支,类别预测分支在预测语义类别的同时,掩码生成分支实现了对绿色果实的实例分割。试验结果表明,优化SOLO分割算法的平均召回率和精确率分别达到94.84%和96.16%,平均每张绿色果实图像在图形处理器（Graphics Processing Unit,GPU）上的分割时间为0.14 s。通过对比试验可知,优化SOLO分割算法的召回率分别比优化掩膜区域卷积神经网络算法（Optimized Mask Region Convolutional Neural Network,Optimized Mask R-CNN）、SOLO算法、掩膜区域卷积神经网络算法（Mask Region Convolutional Neural Network,Mask R-CNN）和全卷积实例感知语义分割算法（Fully Convolutional Instance-aware Semantic Segmentation,FCIS）提高了1.63、1.74、2.23和6.52个百分点,精确率分别提高了1.10、1.47、2.61和6.75个百分点,分割时间缩短了0.06、0.04、0.11和0.13 s。该研究算法可为其他果蔬的果实分割提供理论借鉴,扩展果园测产和机器采摘的应用范围。     

基于小麦群体图像的田间麦穗计数及产量预测方法

在田间小麦测产时,需人工获取田间单位面积内的麦穗数和穗粒数,耗时耗力。为了快速测量小麦田间单位面积内的产量,该文利用特定装置以田间麦穗倾斜的方式获取田间麦穗群体图像,通过转换图像颜色空间RGB→HSI,提取饱和度S分量图像,然后把饱和度S分量图像转换成二值图像,再经细窄部位粘连去除算法进行初步分割,再由边界和区域的特征参数判断出粘连的麦穗图像,并利用基于凹点检测匹配连线的方法实现粘连麦穗的分割,进而识别出图像中的麦穗数量;通过计算图像中每个麦穗的面积像素点数并由预测公式得到每个麦穗的籽粒数,进而计算出每幅图像上所有麦穗的预测籽粒数,然后计算出0.25 m2区域内对应的4幅图像上的预测籽粒数;同时根据籽粒千粒质量数据,计算得到该区域内的产量信息。该文在识别3个品种田间麦穗单幅图像中麦穗数量的平均识别精度为91.63%,籽粒数的平均预测精度为90.73%;对3个品种0.25 m2区域的小麦麦穗数量、总籽粒数及产量预测的平均精度为93.83%、93.43%、93.49%。运用该文方法可以实现小麦田间单位面积内的产量信息自动测量。     

基于骨架和最优传输距离的玉米点云茎叶分割和表型提取

针对当前三维点云分割方法难以精确分割玉米植株顶部新叶的问题,该研究提出一种基于点云骨架和最优传输距离的玉米点云茎叶分割方法.首先利用拉普拉斯骨架提取算法获得植株骨架;其次根据玉米形态结构特征将植株骨架分解成器官子骨架,并实现器官粗分割;再以最优传输距离作为点云距离度量,采用从上到下的顺序对未分割点云进行精细分割;最后自...     

基于相移算法的苹果果梗/花萼检测方法

由于苹果表面缺陷与果梗/花萼具有相似的灰度特征,通过传统机器视觉方法难以对两者进行有效区分。为避免苹果果梗/花萼对其表面缺陷识别造成干扰,该研究提出了一种基于相移算法的苹果果梗/花萼检测方法。通过搭建条纹投影系统,投影仪投射三步相移条纹至苹果样本,摄像机同步采集经苹果表面调制的条纹图像;通过分析发现果梗/花萼区域的条纹图像凹凸性与正常区域存在明显差异,利用三步相移算法恢复条纹图像的截断相位,结合相位偏移、阈值分割和二维凸包算法便可检测出苹果果梗/花萼。试验结果表明：该方法能够有效地区分果梗/花萼和表面缺陷,识别出不同位置和角度的果梗/花萼,整体准确率可达到99.12%;同时能够满足在线检测需求,平均处理时间约为0.479s。该研究可为苹果外观品质检测提供技术支持。     

基于模糊集理论的苹果表面阴影去除方法

为了提高阴影影响下的苹果目标提取精度,该文提出了一种基于模糊集理论的苹果表面阴影去除方法。该方法将含阴影图像作为一个模糊矩阵,利用所设计的隶属函数进行图像去模糊化处理,达到图像增强的目的,进而削弱苹果表面阴影对目标分割的影响。为了验证算法的有效性,采用基于灰度阈值和基于颜色聚类2种算法对去除阴影前后的目标图像进行分割,并选用分割误差、假阳性率、假阴性率和重叠系数4项指标进行了分析比较,试验结果表明,去除阴影之后,2种分割算法所提取的苹果目标区域较去除阴影之前有了较大的提高,2种分割算法的平均分割误差分别为3.08%和3.46%,比去除阴影之前降低了20.53%和25.92%,假阳性率、假阴性率分别降低了29.79%、29.98%和21.25%、29.83%,重叠系数分别提高30.96%和24.55%。与灰度变换法去除阴影后分割的效果比较表明,该方法的平均分割误差降低了29.23%,假阳性率、假阴性率分别降低了30.97%和20.40%,重叠系数提高了26.60%;与直方图均衡化法的比较表明,分割误差降低了25.59%,假阳性率、假阴性率分别降低了22.74%和27.56%,而重叠系数提高了27.43%。这一系列数据表明,基于模糊集理论的阴影去除方法具有较好的阴影去除效果。经过去除阴影后,可以获得更高的目标分割性能,目标提取精度显著提高,表明将模糊集方法应用于苹果目标的阴影去除可以有效地提高苹果目标区域的提取精度。     

基于稀疏场水平集的荔枝图像分割算法

为了给采摘机器人提供完整的荔枝果实轮廓,该文选择HSV彩色空间中色调H分量的旋转分量作为图像分割的特征;然后,通过模糊聚类算法自动获取合适的初始演化曲线轮廓,再利用稀疏场水平集方法对目标区域轮廓进行精确提取;最后,对分割的区域进行标记,并利用图像标记来恢复分割区域的原始图像。结果表明,该算法不仅很好地克服随机噪声的影响,而且很好地保持果实区域的完整性,使成熟荔枝分割的正确率达到了84.1%。     

基于两级分割与区域标记梯度Hough圆变换的苹果识别

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果，该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先，使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正，增强图像的细节信息。结合果实颜色特征，提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后，采用改进后的Otsu算法进行初次分割，得到苹果目标的二值图像，该算法通过引入形态学开-闭重建滤波去除大量背景噪声，通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割，分离粘连果实区域，提取目标苹果的外部轮廓。最后，在轮廓外设置最小外接矩形标记有效区域，在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试，并与传统梯度Hough圆变换方法进行对比，本文方法在顺、逆光下的识别准确率为90.75和89.79%，比传统方法提高了15.03和16.41%，平均识别时间为0.665和0.693 s，比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域，而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求，可为苹果等类球形果实的快速识别提供参考。     

面向对象的丘陵区水田遥感识别方法

中国南方丘陵区地形破碎,地物分布复杂,丘陵区水田的光谱特征相对于平原区较混杂,传统的基于像元的遥感数据获取受异质性因素的影响,无法利用单一时(季)像及特定的图像自动识别规则提取精度较高的水田分布信息。针对这一问题,该文基于多时像HJ-1A/1B卫星图像,结合地面调查,以湖南省湘潭市为研究区,在易康(e Cognition)软件平台上分别以光谱特征为主要参考的多层最邻近分类法和以在特征知识库支持下的决策树分类法对丘陵区水田进行图像识别。结果表明:分层最邻近分类法比单一最邻近分类提取的精度高,但在相同分割尺度下,利用特征知识库支持下的决策树分类提取水田的精度达到最高,为90.25%,总Kappa系数为0.79,说明特征知识库支持下的决策树分类方法比最邻近分类法更加适合丘陵区水田的遥感识别。     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

基于形状因子和分割点定位的粘连害虫图像分割方法

单个害虫的分割是进行害虫特征提取和识别的前提。针对害虫识别过程中出现的粘连等问题,提出了一种基于形状因子和分割点定位的害虫图像分割方法。该方法首先利用形状因子对图像中的每个区域进行粘连判定,然后对判定为粘连的区域进行逐层轮廓剥离和局部分割点的确定,接着根据局部分割点在原区域中搜索边界轮廓的两个分离点,最后连接局部分割点与分离点线段进行害虫分割。通过实验室人工随机散落桃蛀螟Conogethes punctiferalis(Guenée)和田间粘虫板诱捕梨小食心虫Grapholitha molesta(Busck)2种场景采集图像,验证算法的有效性,并与分水岭分割算法进行对比,采用分割率、分割错误率和分割有效性3项指标进行评价,结果表明:针对实验室环境下采集的2组桃蛀螟害虫图像,该文方法平均错误率为7%,约为分水岭分割方法的1/2,平均分割有效率为92.65%,比分水岭算法提高了5.7个百分点;在2组田间梨小食心虫图像分割中,该文方法平均错误率为2.24%,平均分割有效率为97.8%,分别比分水岭方法降低了4.29个百分点和提高了3.95个百分点,说明该文方法在分割准确性和有效性方面都可以获得更好的分割性能,应用于害虫多目标分割与自动识别系统中,可以有效地提高识别精度。     

基于平滑轮廓对称轴法的苹果目标采摘点定位方法

果实采摘点的精确定位是采摘机器人必须解决的关键问题。鉴于苹果目标具有良好对称性的特点,利用转动惯量所具有的平移、旋转不变性及其在对称轴方向取得极值的特性,提出了一种基于轮廓对称轴法的苹果目标采摘点定位方法。为了解决分割后苹果目标边缘不够平滑而导致定位精度偏低的问题,提出了一种苹果目标轮廓平滑方法。为了验证算法的有效性,对随机选取的20幅无遮挡的单果苹果图像分别利用轮廓平滑和未进行轮廓平滑的算法进行试验,试验结果表明,未进行轮廓平滑算法的平均定位误差为20.678°,而轮廓平滑后算法平均定位误差为4.542°,比未进行轮廓平滑算法平均定位误差降低了78.035%,未进行轮廓平滑算法的平均运行时间为10.2ms,而轮廓平滑后算法的平均运行时间为7.5ms,比未进行轮廓平滑算法平均运行时间降低了25.839%,表明平滑轮廓算法可以提高定位精度和运算效率。利用平滑轮廓对称轴算法可以较好地找到苹果目标的对称轴并实现采摘点定位,表明将该方法应用于苹果目标的对称轴提取及采摘点定位是可行的。     

不同生长状态下多目标番茄图像的自动分割方法

将自然生长状态下的成熟果实从复杂背景中识别出来并确定其空间位置,是实现果实采摘作业智能化的基础。该文针对在自然光照条件下多个番茄自然生长状态为相互分离、靠拢或重叠以及被枝叶部分遮挡的情况,研究了一种成熟番茄图像的自动分割方法。该方法利用RGB颜色空间下番茄图像中目标与背景的(R-G)灰度值存在明显差异的特点,首先使用Otsu法对番茄的RGB彩色图像的色差灰度图像(R-G)进行动态阈值分割,然后对番茄的R分量灰度图像应用基于形态重建的受控标记分水岭算法搜索靠拢或重叠番茄的分界线,最后对前面两次运算的结果作交集运算得到最终分割的二值图像,将番茄从背景中分割出来。通过100幅番茄图像进行试验表明,该方法不仅能对自然光照条件下不同生长状态的多目标番茄图像进行有效分割,而且对番茄的成熟度及品种差异也具有很好的鲁棒性。