基于显著性检测与改进Hough变换方法识别未成熟番茄

通过自动识别自然环境下获取果实图像中的未成熟果实,以实现自动化果实估产的目的。该文以番茄为对象,根据视觉显著性的特点,提出了使用基于密集和稀疏重构(dense and sparse reconstruction,DSR)的显著性检测方法检测未成熟番茄果实图像,该方法首先计算密集和稀疏重构误差;其次使用基于上下文的重构误差传播机制平滑重构误差和提亮显著性区域;再通过多尺度重构误差融合与偏目标高斯细化;最后通过贝叶斯算法融合显著图得到DSR显著灰度图。番茄DSR灰度图再经过OTSU算法进行分割和去噪处理,最终使用该文提出的改进随机Hough变换(randomized hough transform,RHT)圆检测方法识别番茄果簇中的单果。结果显示,该文方法对未成熟番茄果实的正确识别率能达到77.6%。同时,该文方法与人工测量的圆心和半径的相关系数也分别达到0.98和0.76,研究结果为估产机器人的多种果实自动化识别提供参考。     

基于凸壳理论的遮挡苹果目标识别与定位方法

为实现受果树枝叶遮挡、果实间相互遮挡的果实目标识别,该文提出了一种基于凸壳理论的遮挡苹果目标识别方法。该方法首先将图像由RGB颜色空间转换至L*a*b*颜色空间,并利用K-means聚类算法将图像分为树叶、枝条和果实3个类别,然后利用形态学方法对果实目标进行处理,得到目标边缘并进行轮廓跟踪,接着利用目标边缘的凸壳提取连续光滑的轮廓曲线,最后估计该光滑曲线段的圆心及半径参数,实现遮挡果实的定位。为了验证该算法的有效性,利用Hough圆拟合算法进行了对比试验,试验结果表明,该方法的平均定位误差为4.28%,低于Hough圆拟合方法的平均定位误差16.3%,该方法显著提高了目标定位的精度,能够有效识别遮挡苹果。     

改进自适应分水岭方法分割棉花叶部粘连病斑

针对棉花叶部病斑相互之间存在粘连问题,该文提出了一种自适应分水岭分割方法。该方法在H-minima分水岭分割方法基础上,结合最小二乘圆法误差理论,对图像中每个连通分量进行最小二乘圆拟合,并计算最小二乘圆误差值,通过最小二乘圆误差值大小判断每个连通分量的轮廓不规则度,针对不同轮廓不规则度确定H-minima变换的极小值阈值,根据不同极小值阈值实现棉花叶部粘连病斑的分水岭分割。不同数量粘连病斑分割试验结果表明:该方法实现了棉花叶部粘连病斑数量从2个粘连至5个粘连病斑的自动分割,分割准确率为91.25%,平均运行时间为0.088 s。不同分割方法对比结果显示:该方法能实现对棉花轮纹病、褐斑病、炭疽病、叶斑病和棉铃疫病共5种病害的粘连病斑自动分割,并将距离分水岭分割方法、梯度分水岭分割方法、标记分水岭分割方法、Chan-Vese方法、高斯混合方法与该文方法比较,正确分割率分别为67.8%、36.4%、83.7%、70.3%、82.1%、93.5%,该方法优于其他5种分割方法,有效抑制了过分割问题;在复杂背景、光照不均匀、病斑大小不一致等复杂条件下,该文方法也能较好地实现粘连病斑的分割。该方法不仅能对棉花叶部粘连病斑自动分割,也能为其他作物叶片粘连病斑分割提供参考。     

基于形态学图像处理的重叠葡萄果径无损测量

葡萄果实尺寸变化能用来评价葡萄生长及诊断植株水分亏损状况。为实现重叠葡萄果实尺寸的非接触和精确测量,该文提出基于数学形态学的重叠葡萄果实直径测量方法,该方法首先通过内外对象标记消除图像中存在的伪极小值点,再对去除伪极小值点后图像进行分水岭变换得到目标果实的精准轮廓,从而依据目标果实区域计算果实当量直径。试验和现场应用表明,该方法具有好的定位精度,能为葡萄果实直径测量提供精确的轮廓信息;测量系统具有非接触和高精度等优点,测量的重复精度可达±9 μm,为葡萄生长规律研究及葡萄缺水诊断提供了参考。     

基于系统聚类的林地内采育目标识别与分类

为了避免多功能林木联合采育装备的采育工作装置的误操作,利用激光扫描仪获取林地内采育作业环境内的目标数据,运用基于腐蚀和聚类原理的滤波算法过滤原始扫描数据的背景噪声,获取扫描目标的轮廓数据.并假设所有目标为标准圆,利用最小二乘法拟合目标半径,平均误差小于4.29 mm.采用一种基于多元统计分析的系统聚类方法对拟合结果数据进行分类,区分采育目标立木和大型障碍物.试验结果表明,采用以上方法可以有效区分林地内的拟合半径小于384 mm采育目标立木与拟合半径大干774 mm的大犁障碍物.     

基于两级分割与区域标记梯度Hough圆变换的苹果识别

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果，该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先，使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正，增强图像的细节信息。结合果实颜色特征，提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后，采用改进后的Otsu算法进行初次分割，得到苹果目标的二值图像，该算法通过引入形态学开-闭重建滤波去除大量背景噪声，通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割，分离粘连果实区域，提取目标苹果的外部轮廓。最后，在轮廓外设置最小外接矩形标记有效区域，在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试，并与传统梯度Hough圆变换方法进行对比，本文方法在顺、逆光下的识别准确率为90.75和89.79%，比传统方法提高了15.03和16.41%，平均识别时间为0.665和0.693 s，比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域，而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求，可为苹果等类球形果实的快速识别提供参考。     

基于三维点云数据的苹果树冠层几何参数获取

针对果园环境下苹果树冠层参数获取精度较低的问题,提出了基于地面三维激光扫描仪高精度获取苹果树冠层参数的方法.选用Trimble TX8地面三维激光扫描仪作为苹果树冠层三维点云数据采集设备,提出了基于标靶球的KD-trees-ICP算法,用于高精度配准苹果树冠层三维点云数据.研究了平均风速小于4.5 m/s时,距离地面三维激光扫描仪不同远近条件下的标靶球配准残差和拟合误差的变化规律,分析结果表明,标靶球平均配准残差为1.3mm,平均拟合误差为0.95 mm,低于大场景测量配准误差要求(5mm).为了提高有风环境下提取苹果树冠层参数的精度,研究了0.9～4.5 m/s区间平均风速影响下的苹果树冠层枝干、果实、叶片的三维点云质量,建立了风速与叶片侧面厚度的曲线拟合模型,分析结果表明,在果园平均风速小于1.6 m/s时可以从苹果树冠层三维点云数据中提取高精度冠层参数.利用地面激光三维扫描仪获取距离苹果树12 000 mm以内冠层参数,测量精度高于人工测量,相对误差小于4％,为果树高通量信息获取提供了技术支持.     

无人机机载激光雷达提取果树单木树冠信息

定株管理是未来果园精准生产管理的趋势,果树单木树冠信息的提取是定株管理的关键。该研究利用无人机采集的苹果园激光探测与测量数据（Light Detection and Ranging,LiDAR）检测和测量每棵果树的树冠面积和树冠直径,并评价空间分辨率对于果树单木树冠检测与提取的影响。该方法主要包括使用反距离权重插值法间接生成冠层高度模型（Canopy Height Model,CHM）;使用局部极大值滤波算法和标记控制分水岭分割算法（Marked-Controlled Watered Segmentation,MCWS）对果树进行单木树冠检测与提取,通过与参考数据的比较,评估了该方法的精度,并定量分析了空间分辨率对于单木树冠检测与信息提取结果的敏感性。结果表明,该方法有效地实现果树单木树冠检测与信息提取,代表果树检测精度的F1得分为94.86%,树冠轮廓提取准确率为86.39%,树冠面积的提取数据集和参考数据集的线性拟合结果决定系数和归一化均方根误差分别为0.81和20.56%,树冠直径的提取数据集和参考数据集的线性拟合结果决定系数和归一化均方根误差分别为0.85和14.79%,树冠面积和直径不同程度地被高估。此外,冠层高度模型的空间分辨率接近果树平均树冠直径的1/10时精度最高,可以有效检测果树单木树冠及提取树冠轮廓,从而准确提取果树单木树冠信息。     

Segmentation and reconstruction of overlappedapple images based on convex hull

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

基于凸壳的重叠苹果目标分割与重建算法

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

基于机器视觉的温室番茄裂果检测

该文通过对温室番茄果实进行定位及裂果检测,可为番茄裂果率预估及后续裂果自动筛选提供参考。针对自然光照下采集的各类番茄图像,在相关颜色空间中进行阈值预分割,利用前期支持向量机训练得到的纹理特征分类器对预分割区域进行二次判别;之后在前景区域利用显著性角点分割构造边缘轮廓集,利用基于最小二乘法修正的改进霍夫变换拟合单个番茄目标;最后利用二维Gabor小波算子对拟合的单个番茄区域进行纹理特征提取及裂果判别。文中共采集82幅番茄图像,其中50幅图像作为训练集图像,32幅图像作为验证集,所提算法对测试集中总共128个番茄的果实正确检出率为91.41%,对其中35裂果的正确判别率为97.14%,裂果判别部分平均耗时21 ms。试验结果表明,该方法具有较好的鲁棒性与可靠性,对成熟期番茄裂果率的估计研究及采摘过程中裂果的自动分级筛选具有较好的指导意义,为未来实现温室番茄果实生长状态在线监测提供参考。     

基于图像特征融合的苹果在线分级方法

苹果在线分级是提升苹果商品化价值的重要环节,需要同时满足分级准确度和速度要求。为进一步提高苹果在线分级效率,该文借助机器视觉技术动态采集苹果传输过程中的实时图像,提出改进的三层Canny边缘检测算法来提取苹果轮廓以克服采集图像中的光线噪声影响,通过分析苹果分级指标,采用判别树对苹果的果径、缺陷面积、色泽等特征进行初步分级判断,并采用粒子群参数优化的支持向量机对果形、果面纹理、颜色分布等特征进行模型构建与分级,最后,通过将两种分级判断结果进行决策融合来实现样本精确分级。同时,采取图像压缩和特征降维方法提高实时性。试验结果表明,基于图像特征决策融合的苹果分级准确率可达到95%,平均分级速率可达到4个/s。研究结果为水果的在线分级提供参考。     

温室绿熟番茄机器视觉检测方法

针对基于可见光图像对绿色番茄进行识别过程中,光线不均造成的阴影等会影响果实的识别、枝干和叶片对果实的遮挡以及果实之间的遮挡对果实识别的影响等难题,该文对基于机器视觉的绿色番茄检测方法进行研究。首先通过快速归一化互相关函数(FNCC,fast normalized cross correlation)方法对果实的潜在区域进行检测,再通过基于直方图信息的区域分类器对果实潜在区域进行分类,判别该区域是否属于绿色果实,并对非果实区域进行滤除,估计果实区域的个数。与此同时,基于颜色分析对输入图像进行分割,并通过霍夫变换圆检测绿色果实的位置。最终对基于FNCC和霍夫变换圆检测方法的检测结果进行融合,实现对绿色番茄果实的检测。当绿色果实和红色果实同时存在时,将绿色果实检测结果与基于局部极大值法和随机圆环变换检测圆算法的红色番茄果实检测结果进行合并。算法通过有机结合纹理信息、颜色信息及番茄的形状信息,对绿色番茄果实进行了检测,解决了绿色番茄与叶子、茎秆等背景颜色接近等难题。文中共使用了70幅番茄图像,其中35幅图像作为训练集图像,35幅作为验证集图像。所提出算法对训练集图像中的83个果实的检测正确率为89.2%,对验证集图像中105个果实的检测正确率为86.7%,为番茄采摘机器人采摘红色和绿色成熟番茄奠定了基础。     

基于改进Hough变换的类圆果实目标检测

为了能够快速准确地计算出类圆果实的形心坐标和半径,提出了一种基于改进圆形随机Hough变换的快速类圆果实目标检测方法。在以2R-G色差分量实现背景分离后,采用模板匹配细化算法获取单像素果实轮廓,并按步长获取果实的边缘特征点;然后,根据边缘特征点的平均切线方向对特征点进行分组,并以此为依据对圆形RHT算法进行改进;最后利用改进后的圆形RHT算法计算出类圆果实的形心坐标和半径。该方法能够快速准确地对类圆果实进行检测,对部分被遮挡的类圆果实识别效果较好。     

苹果采摘机器人快速跟踪识别重叠果实

为解决采摘机器人在运动状态下对重叠果实的识别问题,减少采摘过程处理的时间,对重叠果实的快速跟踪识别进行了研究。首先,对采集到的第1幅图像进行分割并去噪,之后通过计算圆内的点到轮廓边缘最小距离的极大值确定圆心的位置,计算圆心到轮廓边缘距离的最小值确定半径,通过圆心与半径截取后续匹配的模板,经试验证明该算法能较准确地找到重叠果实的圆心与半径。然后,确定连续采集的10幅图像的圆心,根据每幅图像圆心的位置对机器人的运动路径进行拟合、预判、综合半径与预判路径确定下一次图像处理的范围。最后,采用快速归一化互相关匹配对重叠果实进行匹配识别。试验证明,经过改进后的算法匹配识别时间与原算法相比,在没有进行预判的情况下匹配识别的时间为0.185 s,经过预判之后,匹配时间为0.133 s,减少了28.1%,采摘机器人的实时性得到了提高,能够满足实际需求。该研究可为苹果等类球形重叠果实的动态识别提供参考。     

复杂环境下柿子和苹果绿色果实的优化SOLO分割算法

为了实现果园复杂环境下柿子和苹果绿色果实的精准分割,该研究提出了一种基于SOLO的绿色果实优化分割算法。首先,利用分离注意力网络（ResNeSt）设计SOLO算法的主干网络,用于提取绿色果实特征;其次,为更好地应对绿色果实特征的多尺度问题,引入特征金字塔网络（Feature Pyramid Networks,FPN）,构造ResNeSt+FPN组合结构;最后,将SOLO算法分为类别预测和掩码生成2个分支,类别预测分支在预测语义类别的同时,掩码生成分支实现了对绿色果实的实例分割。试验结果表明,优化SOLO分割算法的平均召回率和精确率分别达到94.84%和96.16%,平均每张绿色果实图像在图形处理器（Graphics Processing Unit,GPU）上的分割时间为0.14 s。通过对比试验可知,优化SOLO分割算法的召回率分别比优化掩膜区域卷积神经网络算法（Optimized Mask Region Convolutional Neural Network,Optimized Mask R-CNN）、SOLO算法、掩膜区域卷积神经网络算法（Mask Region Convolutional Neural Network,Mask R-CNN）和全卷积实例感知语义分割算法（Fully Convolutional Instance-aware Semantic Segmentation,FCIS）提高了1.63、1.74、2.23和6.52个百分点,精确率分别提高了1.10、1.47、2.61和6.75个百分点,分割时间缩短了0.06、0.04、0.11和0.13 s。该研究算法可为其他果蔬的果实分割提供理论借鉴,扩展果园测产和机器采摘的应用范围。     

水果轮廓特征提取的Zernike矩分水岭分割方法

果实轮廓特征的测量提取是了解水果等农作物发育过程中内部生理生态变化的重要手段。该文提出了一种基于Zernike矩边缘检测的分水岭算法,并将该算法应用于葡萄果粒的轮廓特征提取。与传统的标记驱动分水岭算法相比,该算法利用Zernike矩边缘检测避免了标记对于轮廓的破坏,较好的保护了目标轮廓,从而减少了后续处理,提高了检测效率。最后,将用该算法所得到的轮廓和用传统的标记驱动分水岭算法所得到的轮廓进行比较,验证了该算法的可行性。该算法具有较高的检测效率,相较传统算法提高约6.9%左右,能够满足连续提取葡萄果粒的轮廓特征的要求。该方法可用于实时检测葡萄果粒的几何特征的变化。     

基于改进FCOS网络的自然环境下苹果检测

为了快速识别和准确定位自然环境下苹果果实目标,提出了一种改进全卷积单阶段无锚框（Fully Convolutional One-Stage Object Detection,FCOS）网络的苹果目标检测方法。该网络在传统FCOS网络基础上,使用模型体积较小的darknet19作为骨干网络,将center-ness分支引入到回归分支上。同时提出了一种融合联合交并比（GIoU）和焦点损失（Focal loss）的损失函数,在提高检测性能的同时降低正负样本比例失衡带来的误差。首先,对田间采集的自然环境下的苹果图像进行数据增强和标注,使用darknet骨干网络提取图像特征,然后将不同尺度待检测目标分配到不同的网络层中进行预测,最后进行分类和回归,实现苹果目标的检测。该研究在计算机工作站上对不同光照条件、不同密集程度和不同遮挡程度的苹果果实进行检测试验,并与传统FCOS网络的检测结果进行对比分析。基于改进FCOS网络的检测准确率为96.0%,检测精度均值（mean Average Precision,mAP）为96.3%。试验结果表明,改进FCOS网络比传统FCOS网络的苹果检测方法在检测准确度上有提高,具有较强的鲁棒性。