基于显著性检测与改进Hough变换方法识别未成熟番茄

通过自动识别自然环境下获取果实图像中的未成熟果实,以实现自动化果实估产的目的。该文以番茄为对象,根据视觉显著性的特点,提出了使用基于密集和稀疏重构(dense and sparse reconstruction,DSR)的显著性检测方法检测未成熟番茄果实图像,该方法首先计算密集和稀疏重构误差;其次使用基于上下文的重构误差传播机制平滑重构误差和提亮显著性区域;再通过多尺度重构误差融合与偏目标高斯细化;最后通过贝叶斯算法融合显著图得到DSR显著灰度图。番茄DSR灰度图再经过OTSU算法进行分割和去噪处理,最终使用该文提出的改进随机Hough变换(randomized hough transform,RHT)圆检测方法识别番茄果簇中的单果。结果显示,该文方法对未成熟番茄果实的正确识别率能达到77.6%。同时,该文方法与人工测量的圆心和半径的相关系数也分别达到0.98和0.76,研究结果为估产机器人的多种果实自动化识别提供参考。     

温室绿熟番茄机器视觉检测方法

针对基于可见光图像对绿色番茄进行识别过程中,光线不均造成的阴影等会影响果实的识别、枝干和叶片对果实的遮挡以及果实之间的遮挡对果实识别的影响等难题,该文对基于机器视觉的绿色番茄检测方法进行研究。首先通过快速归一化互相关函数(FNCC,fast normalized cross correlation)方法对果实的潜在区域进行检测,再通过基于直方图信息的区域分类器对果实潜在区域进行分类,判别该区域是否属于绿色果实,并对非果实区域进行滤除,估计果实区域的个数。与此同时,基于颜色分析对输入图像进行分割,并通过霍夫变换圆检测绿色果实的位置。最终对基于FNCC和霍夫变换圆检测方法的检测结果进行融合,实现对绿色番茄果实的检测。当绿色果实和红色果实同时存在时,将绿色果实检测结果与基于局部极大值法和随机圆环变换检测圆算法的红色番茄果实检测结果进行合并。算法通过有机结合纹理信息、颜色信息及番茄的形状信息,对绿色番茄果实进行了检测,解决了绿色番茄与叶子、茎秆等背景颜色接近等难题。文中共使用了70幅番茄图像,其中35幅图像作为训练集图像,35幅作为验证集图像。所提出算法对训练集图像中的83个果实的检测正确率为89.2%,对验证集图像中105个果实的检测正确率为86.7%,为番茄采摘机器人采摘红色和绿色成熟番茄奠定了基础。     

基于颜色特征的绿色作物图像分割算法

绿色作物的识别是农业机械视觉系统的重要研究内容之一,该文采用RGB颜色系统,基于统计分析提出了一种绿色作物图像分割方法。从简单物体光照颜色模型方面,分析了RGB颜色空间中作物绿色“恒量”（Gvalue>Rvalue and Gvalue>Bvalue）的存在性,构建了作物图像分割相对错误率评估模型。并与传统颜色索引方法Excess Green (ExG)+auto-threshold进行了对比分析。试验结果表明,在正常光照条件下：1）采用的算法对田间不同作物-土壤组图像分割的相对错误率均有显著影响;其中,相对ExG+auto-threshold算法,采用RGB算法的结果图像中大多能保留油菜、大豆和甘蔗的形态学特征;2）采用的算法、光照变化以及算法与光照变化的交互作用均对室外美人蕉图像分割的相对错误率有显著影响;其中,相对ExG+auto-threshold算法,采用RGB算法的结果图像中大多能去除背景噪声。单因子方差分析进一步表明,光照变化对采用ExG+auto-threshold算法分割图像的阈值有显著影响。该文提出的RGB算法相对传统的ExG+auto-threshold绿色索引,对于早期生长的绿色作物是一种有效、简单的图像分割方法,对作物-土壤、光照变化不敏感。     

机器人采摘苹果果实的K-means和GA-RBF-LMS神经网络识别

为进一步提升苹果果实的识别精度和速度,从而提高苹果采摘机器人的采摘效率。提出一种基于K-means聚类分割和基于遗传算法(genetic algorithm,GA)、最小均方差算法(least mean square,LMS)优化的径向基(radial basis function,RBF)神经网络相结合的苹果识别方法。首先将采集到的苹果图像在Lab颜色空间下利用K-means聚类算法对其进行分割,分别提取分割图像的RGB、HSI颜色特征分量和圆方差、致密度、周长平方面积比、Hu不变矩形状特征分量。将提取的16个特征作为神经网络的输入,对RBF神经网络进行训练,以得到苹果果实的识别模型。针对RBF神经网络学习率低、过拟合等不足,引入遗传算法对RBF隐层神经元个数和连接权值进行优化,采取二者混合编码同时进化的优化方式,最后再利用LMS对连接权值进一步学习,建立新的神经网络优化模型(GA-RBF-LMS),以提高神经网络的运行效率和识别精度。为了获得更精确的网络模型,在训练过程中,苹果果实连同树枝、树叶一块训练;得到的模型在识别过程中,可一定程度上避免枝叶遮挡对果实识别的影响。为了更好地验证新方法,分别与传统的BP(back propagation)和RBF神经网络、GA-RBF优化模型比较,结果表明,该文算法对于遮挡、重叠果实的识别率达95.38%、96.17%,总体识别率达96.95%;从训练时间看,该文算法虽耗时较长,用150个样本进行训练平均耗时4.412 s,但训练成功率可达100%,且节省了人工尝试构造网络结构造成的时间浪费;从识别时间看,该文算法识别179个苹果的时间为1.75 s。可见GA-RBF-LMS网络模型在运行效率和识别精度较优。研究结果为苹果采摘机器人快速、精准识别果实提供参考。     

改进类圆随机Hough变换及其在油茶果实遮挡识别中的应用

为将目标油茶果实从树枝、树叶等外界遮挡中分离出来,以利于油茶采摘机器视觉的图像形态学识别,该文提出了一种改进的类圆随机Hough变换算法,在算法中添加了边缘预检测、快速定位圆心点等模块以提高算法的识别率。仿真结果表明,改进算法对遮挡果实的识别率较其他Hough遮挡识别算法有所提高,最高达到90.70%,识别时间为1.3s。该研究为采摘机器人的后续采摘工作打下了基础。     

基于凸壳理论的遮挡苹果目标识别与定位方法

为实现受果树枝叶遮挡、果实间相互遮挡的果实目标识别,该文提出了一种基于凸壳理论的遮挡苹果目标识别方法。该方法首先将图像由RGB颜色空间转换至L*a*b*颜色空间,并利用K-means聚类算法将图像分为树叶、枝条和果实3个类别,然后利用形态学方法对果实目标进行处理,得到目标边缘并进行轮廓跟踪,接着利用目标边缘的凸壳提取连续光滑的轮廓曲线,最后估计该光滑曲线段的圆心及半径参数,实现遮挡果实的定位。为了验证该算法的有效性,利用Hough圆拟合算法进行了对比试验,试验结果表明,该方法的平均定位误差为4.28%,低于Hough圆拟合方法的平均定位误差16.3%,该方法显著提高了目标定位的精度,能够有效识别遮挡苹果。     

基于光照无关图的苹果图像识别方法

为了解决苹果采摘机器人的果实识别率在不同光照条件下表现不稳定的问题,该文提出一种基于光照无关图的苹果识别方法。该方法首先采用中值滤波法对苹果图像进行预处理,然后对处理后的彩色图像提取光照无关图,消除光照变化的影响,再采用Ostu阈值分割法进行目标果实的提取。最后通过对苹果图像进行识别试验的结果表明,在4种不同的光照情况下,采用基于光照无关图的识别方法得出的识别率的稳定度是不采用光照无关图的识别方法的3倍,并且其平均识别率也高达90.45%。基于光照无关图的苹果识别方法能够克服光照变化对目标识别带来的负面影     

复杂背景下甜瓜果实分割算法

为解决复杂背景下甜瓜果实与背景图像分割的问题,该文提出了一种融合颜色特征和纹理特征的图像分割算法。首先,把采集到的甜瓜果实图像从RGB色彩空间分别转换到CIELAB和HSV色彩空间,应用a*b*分量建立角度模型,根据甜瓜果实的颜色特点选取阈值并对图像作二值化处理;为降低光照分布不均匀对图像分割的影响,采用HSV空间的HS颜色分量对果实图像进行阈值分割。在以上2种色彩空间分割的基础上,融合角度模型分割和HS阈值分割的结果,得到基于颜色特征的分割结果。然后,再按照图像的纹理特征对图像进行分割处理,融合按照颜色特征和纹理特征的分割结果。最后,为解决分割结果中的分割误差和边缘毛刺问题,以颜色特征分割的果实区域为限定条件,对按照融合特征分割的果实区域进行约束性区域生长,得到最终的图像分割结果。为了对该文提出算法的分割效果进行检验,采用超绿阈值分割算法和归一化差异指数算法(NDI)对试验图像进行分割,3种算法的平均检出率分别为83.24%、43.12%、99.09%。对比3种分割算法的检出率和误检率,可以看出,该文提出的算法试验结果明显优于超绿阈值分割算法和归一化差异指数(NDI)分割算法。     

基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割

为了提高在自然采摘环境中成熟桑葚机器视觉识别的有效性和鲁棒性,克服图像目标形态小、分布杂散、背景干扰多和光照不均匀等困难,该文提出了一种采用视觉显著性和脉冲耦合神经网络(pulse coupled neural network,PCNN)模型的成熟桑葚图像分割方法。该方法首先将采集的图像映射到Lab颜色空间,利用空间颜色分量的算术平均值和高斯滤波值之间的差异,构建起桑葚图像的频率调谐视觉显著图;其次,提取采集图像在HSI颜色空间的色调分量,经过均衡化处理后,与视觉显著图进行融合,实现桑葚目标的融合特征表达;最后,通过改进的分层阈值化脉冲耦合神经网络模型进行目标分割以及形态学处理,得到成熟桑葚的识别结果。利用从重庆市天府镇果桑生态园采集到的200余幅桑树挂果图像进行试验,结果表明,该方法能够在不同光照条件的复杂背景下,有效分割出成熟果实,平均误分率为1.87%,优于结合频率调谐视觉显著性的OTSU法(17.73%)、K-means聚类算法(10.69%)、基于Itti视觉显著性的PCNN分割方法(7.34%)和基于GBVS(graph-based visual saliency,GBVS)视觉显著性的PCNN分割方法(5.83%)。研究结果为成熟桑葚果实的智能化识别提供参考。     

基于Retinex图像增强的不同光照条件下的成熟荔枝识别

为了满足自然环境下荔枝采摘机器人视觉定位系统的有效性和实时性的要求,针对不同光照条件的荔枝彩色图像,采用基于双边滤波的Retinex图像增强算法凸显图像中的荔枝果实和果梗,对增强处理后的图像在HSI颜色空间中进行H分量旋转的处理,再对旋转处理后的H分量进行Otsu自动阈值分割去除荔枝图像果实和果梗外的复杂背景;然后通过将双三次插值算法和传统的模糊C均值（FuzzyC-Mean）算法融合,对去背景后的荔枝图像在YCbCr颜色空间中进行Cr分量模糊聚类分割,实现荔枝果实和果梗的识别。荔枝图像的分割试验结果表明：该算法对晴天顺光、逆光、遮阴、阴天顺光等光照条件的荔枝图像能够有效地分割,对阴天弱光照、果实被遮阴条件下的荔枝也能较好的识别,并保持荔枝果实和果梗区域的完整性,4种光照条件荔枝图像分割正确率分别为96%、90%、89.3%和88.9%,成熟荔枝识别的正确率达到了90.9%,该研究为水果采摘机器人的室外作业的实时性和有效性提供指导。     

基于视觉显著性改进的水果图像模糊聚类分割算法

准确分割水果图像是采摘机器人实现视觉定位的关键技术。该文针对传统模糊聚类对初始聚类中心敏感、计算量大和易出现图像过分割等问题,结合机器人的视觉特性,提出了一种基于多尺度视觉显著性改进的水果图像模糊聚类分割算法。首先,选择适当的颜色模型把彩色水果图像转换为灰度图像;然后对灰度图像做不同尺度的高斯滤波处理,基于视觉显著性的特点,融合了多个不同尺度的高斯滤波图像,形成图像聚类空间;最后,用直方图和模拟退火粒子群算法对图像的传统模糊聚类分割算法进行了改进,用改进的算法分别对采集到的100张成熟荔枝和柑橘图像,各随机选取50张,进行图像分割试验。试验结果表明:该方法对成熟荔枝和柑橘的图像平均果实分割率分别为95.56%和93.68%,平均运行时间分别为0.724和0.790s,解决了水果图像过分割等问题,满足实际作业中采摘机器人对果实图像分割率和实时性的要求,为图像分割及其实时获取提供了一种新的基础算法,为视觉精确定位提供了有效的试验数据。     

基于图像显著性分析与卷积神经网络的茶园害虫定位与识别

为实现在茶园环境中快速、准确地识别害虫目标,该文提出了一种基于卷积神经网络的深度学习模型来进行害虫定位和识别的方法。该文通过对整个图像进行颜色衰减加速运算,结合超像素区域之间的空间影响,计算各个超区域的显著性值,进而提供害虫目标的潜在区域,最终结合Grab Cut算法进行害虫目标的定位和分割。对于分割后的害虫目标,通过优化后的卷积神经网络进行表达和分类,并进一步对卷积神经网络的结构进行了约减。通过对23种茶园主要害虫的识别,试验结果表明,识别准确率在优化前后分别为0.915和0.881,优化后的模型内存需求和运行耗时分别降低至6 MB和0.7 ms,取得了较好的识别效果。     

自然光照条件下采摘机器人果实识别的表面阴影去除方法

有效的阴影检测和去除算法会大大提高自然环境下果实识别算法的性能,为农业智能化提供技术支持。该研究采用超像素分割的方法,将一张图像分割成多个小区域,在对图像进行超像素分割的基础上,对自然光照下的果园图像阴影区域与非阴影区域进行对比分析,探索8个自定义特征用于阴影检测。然后采用SVM的方法,结合8个自主探索的自定义特征,对图像中每个超像素分割的小区域进行检测,判断每个小区域是否处于阴影中,再使用交叉验证方法进行参数优化。根据Finlayson的二维积分算法策略,对检测的每一个阴影区域进行阴影去除,获得去除阴影后的自然光照图像。最后进行阴影检测的识别准确性试验,试验结果表明,本研究的阴影检测算法的平均识别准确率为83.16%,经过阴影去除后,图像的阴影区域亮度得到了提高,并且整幅图像的亮度更为均匀。该研究可为自然环境下机器人识别果实及其他工农业应用场景提供技术支持。     

复杂环境下柿子和苹果绿色果实的优化SOLO分割算法

为了实现果园复杂环境下柿子和苹果绿色果实的精准分割,该研究提出了一种基于SOLO的绿色果实优化分割算法。首先,利用分离注意力网络（ResNeSt）设计SOLO算法的主干网络,用于提取绿色果实特征;其次,为更好地应对绿色果实特征的多尺度问题,引入特征金字塔网络（Feature Pyramid Networks,FPN）,构造ResNeSt+FPN组合结构;最后,将SOLO算法分为类别预测和掩码生成2个分支,类别预测分支在预测语义类别的同时,掩码生成分支实现了对绿色果实的实例分割。试验结果表明,优化SOLO分割算法的平均召回率和精确率分别达到94.84%和96.16%,平均每张绿色果实图像在图形处理器（Graphics Processing Unit,GPU）上的分割时间为0.14 s。通过对比试验可知,优化SOLO分割算法的召回率分别比优化掩膜区域卷积神经网络算法（Optimized Mask Region Convolutional Neural Network,Optimized Mask R-CNN）、SOLO算法、掩膜区域卷积神经网络算法（Mask Region Convolutional Neural Network,Mask R-CNN）和全卷积实例感知语义分割算法（Fully Convolutional Instance-aware Semantic Segmentation,FCIS）提高了1.63、1.74、2.23和6.52个百分点,精确率分别提高了1.10、1.47、2.61和6.75个百分点,分割时间缩短了0.06、0.04、0.11和0.13 s。该研究算法可为其他果蔬的果实分割提供理论借鉴,扩展果园测产和机器采摘的应用范围。     

基于叶片病斑特征的茄子褐纹病识别方法

目前对蔬菜病害的识别方法都有一定的局限性,难以满足现代农业要求。该文以计算机视觉技术为手段,结合图像处理与模式识别技术,重点分析了茄子病害叶片上褐纹病病斑的颜色、形状、纹理特征参数,提出了一种基于叶片病斑特征的茄子褐纹病识别方法。根据在HSI(hue-saturation-intensity)颜色空间中叶片上病斑色调不同的特点,利用H分量图像提取病斑,获取病斑图片,然后提取每个病斑区域的12个颜色参数、11个形状参数和8个纹理参数等共31个特征参数。再通过方差和主成分分析法选择20个分类能力强的特征参数组成分类特征向量,并随机选取35个非褐纹病病斑的特征向量与35个褐纹病病斑的特征向量组成的训练集,构建Fisher判别函数对测试集进行分类,试验结果表明,对茄子褐纹病的识别准确率达到90%,说明该识别方法可以对茄子叶部病害进行快速、准确识别,为田间开放环境下实现茄子病害实时检测提供了技术支撑。     

基于颜色及纹理特征的果蔬种类识别方法

为更好地表述果蔬图像纹理特征,提高智能果蔬识别系统识别准确性,提出一种颜色完全局部二值模式纹理特征提取算法。果蔬识别系统模型利用颜色完全局部二值模式提取图像纹理特征,利用HSV颜色直方图、外点/内点颜色直方图提取图像颜色特征,采用匹配得分融合算法将颜色和纹理特征相融合,采用最近邻分类器实现果蔬农产品分类。通过不同光照条件下和不同数量训练样本条件下的试验得出：颜色完全局部二值模式的果蔬图像纹理表述能力明显优于和差直方图等果蔬图像纹理操作子,识别率提升最小在5%以上,更适合果蔬分类;对比其他纹理特征提取算法,采用颜色完全局部二值模式与颜色特征进行融合时,识别率最优,时间开销约为1.1 s。该方法能够应用到智能果蔬识别系统中,提升系统识别准确性。     

基于机器视觉的温室番茄裂果检测

该文通过对温室番茄果实进行定位及裂果检测,可为番茄裂果率预估及后续裂果自动筛选提供参考。针对自然光照下采集的各类番茄图像,在相关颜色空间中进行阈值预分割,利用前期支持向量机训练得到的纹理特征分类器对预分割区域进行二次判别;之后在前景区域利用显著性角点分割构造边缘轮廓集,利用基于最小二乘法修正的改进霍夫变换拟合单个番茄目标;最后利用二维Gabor小波算子对拟合的单个番茄区域进行纹理特征提取及裂果判别。文中共采集82幅番茄图像,其中50幅图像作为训练集图像,32幅图像作为验证集,所提算法对测试集中总共128个番茄的果实正确检出率为91.41%,对其中35裂果的正确判别率为97.14%,裂果判别部分平均耗时21 ms。试验结果表明,该方法具有较好的鲁棒性与可靠性,对成熟期番茄裂果率的估计研究及采摘过程中裂果的自动分级筛选具有较好的指导意义,为未来实现温室番茄果实生长状态在线监测提供参考。