温室绿熟番茄机器视觉检测方法

针对基于可见光图像对绿色番茄进行识别过程中,光线不均造成的阴影等会影响果实的识别、枝干和叶片对果实的遮挡以及果实之间的遮挡对果实识别的影响等难题,该文对基于机器视觉的绿色番茄检测方法进行研究。首先通过快速归一化互相关函数(FNCC,fast normalized cross correlation)方法对果实的潜在区域进行检测,再通过基于直方图信息的区域分类器对果实潜在区域进行分类,判别该区域是否属于绿色果实,并对非果实区域进行滤除,估计果实区域的个数。与此同时,基于颜色分析对输入图像进行分割,并通过霍夫变换圆检测绿色果实的位置。最终对基于FNCC和霍夫变换圆检测方法的检测结果进行融合,实现对绿色番茄果实的检测。当绿色果实和红色果实同时存在时,将绿色果实检测结果与基于局部极大值法和随机圆环变换检测圆算法的红色番茄果实检测结果进行合并。算法通过有机结合纹理信息、颜色信息及番茄的形状信息,对绿色番茄果实进行了检测,解决了绿色番茄与叶子、茎秆等背景颜色接近等难题。文中共使用了70幅番茄图像,其中35幅图像作为训练集图像,35幅作为验证集图像。所提出算法对训练集图像中的83个果实的检测正确率为89.2%,对验证集图像中105个果实的检测正确率为86.7%,为番茄采摘机器人采摘红色和绿色成熟番茄奠定了基础。     

基于胚部区域特征的麦粒姿态自动识别

麦粒姿态的自动判别,是近红外高光谱成像系统自动检测多姿态麦粒内部虫害的前提。依据麦粒目标在最优波长图像中的坐标、重心等信息,从高光谱数据立方体中自动分割出单个完整麦粒的子图像。利用麦粒胚部端粗糙度较大的原理,依据纹理、不变矩、均值等13个可能胚部区域特征的判别正确率,确定不变矩4为判别麦粒胚部区域的有效特征。针对麦粒胚部区域,提取梯度图像和二值图像的26个特征,利用人工鱼群算法选择出延伸率、胚部区域对称度、延伸率等13个特征。选取1 200个样本进行训练,600个样本进行检验,利用最大离差法自动确定13个特征的模糊权重,麦粒3个姿态可拓分类的正确识别率为94.5%,证实了基于局部区域特征的麦粒姿态自动识别的可行性。     

复杂背景下甜瓜果实分割算法

为解决复杂背景下甜瓜果实与背景图像分割的问题,该文提出了一种融合颜色特征和纹理特征的图像分割算法。首先,把采集到的甜瓜果实图像从RGB色彩空间分别转换到CIELAB和HSV色彩空间,应用a*b*分量建立角度模型,根据甜瓜果实的颜色特点选取阈值并对图像作二值化处理;为降低光照分布不均匀对图像分割的影响,采用HSV空间的HS颜色分量对果实图像进行阈值分割。在以上2种色彩空间分割的基础上,融合角度模型分割和HS阈值分割的结果,得到基于颜色特征的分割结果。然后,再按照图像的纹理特征对图像进行分割处理,融合按照颜色特征和纹理特征的分割结果。最后,为解决分割结果中的分割误差和边缘毛刺问题,以颜色特征分割的果实区域为限定条件,对按照融合特征分割的果实区域进行约束性区域生长,得到最终的图像分割结果。为了对该文提出算法的分割效果进行检验,采用超绿阈值分割算法和归一化差异指数算法(NDI)对试验图像进行分割,3种算法的平均检出率分别为83.24%、43.12%、99.09%。对比3种分割算法的检出率和误检率,可以看出,该文提出的算法试验结果明显优于超绿阈值分割算法和归一化差异指数(NDI)分割算法。     

基于稀疏场水平集的荔枝图像分割算法

为了给采摘机器人提供完整的荔枝果实轮廓,该文选择HSV彩色空间中色调H分量的旋转分量作为图像分割的特征;然后,通过模糊聚类算法自动获取合适的初始演化曲线轮廓,再利用稀疏场水平集方法对目标区域轮廓进行精确提取;最后,对分割的区域进行标记,并利用图像标记来恢复分割区域的原始图像。结果表明,该算法不仅很好地克服随机噪声的影响,而且很好地保持果实区域的完整性,使成熟荔枝分割的正确率达到了84.1%。     

不同生长状态下多目标番茄图像的自动分割方法

将自然生长状态下的成熟果实从复杂背景中识别出来并确定其空间位置，是实现果实采摘作业智能化的基础。该文针对在自然光照条件下多个番茄自然生长状态为相互分离、靠拢或重叠以及被枝叶部分遮挡的情况，研究了一种成熟番茄图像的自动分割方法。该方法利用RGB颜色空间下番茄图像中目标与背景的(R-G)灰度值存在明显差异的特点，首先使用Otsu法对番茄的RGB彩色图像的色差灰度图像(R-G)进行动态阈值分割,然后对番茄的R分量灰度图像应用基于形态重建的受控标记分水岭算法搜索靠拢或重叠番茄的分界线，最后对前面两次运算的结果作交集运算得到最终分割的二值图像，将番茄从背景中分割出来。通过100幅番茄图像进行试验表明，该方法不仅能对自然光照条件下不同生长状态的多目标番茄图像进行有效分割，而且对番茄的成熟度及品种差异也具有很好的鲁棒性。     

基于吊蔓绳的温室番茄主茎秆视觉识别

为了精确识别番茄植株以供精确对靶喷施,该文提出一种基于温室吊蔓绳对番茄主茎进行检测识别的算法。通过分析番茄作物图像在HSI颜色空间的分布特性,基于H分量应用Otsu分割算法对番茄作物图像进行二值化处理,以突出图像中吊蔓绳区域。利用细化算法提取出吊蔓绳区域离散特征点簇,并采用最小二乘法直线拟合特征点簇获取吊蔓绳位置。试验结果表明,处理分辨率640×480像素的图像平均用时0.16s,对100张图像进行识别试验,正确率达93%,该算法提取吊蔓绳和番茄主茎间的最大距离偏差为48像素单位,能够准确识别番茄主茎秆,具备较强的鲁棒性。     

基于Niblack自适应修正系数的温室成熟番茄目标提取方法

番茄目标的准确提取是番茄采摘的基础,目前番茄目标提取方法都有一定的局限性,难以满足采摘需求。该研究在传统Niblack算法的基础上,结合图像全局灰度变化的估计信息与局部区域信息之间的关联性,提出了一种基于Niblack自适应修正系数的温室成熟番茄目标提取新方法。首先对R-G番茄灰度图像,采用基于自适应修正系数选取的Niblack算法进行阈值分割,从理论意义上确定修正系数的选取原则,归一化局部标准差,实现修正值的计算及二值化过程,然后对分割后的图像去噪,最后采用最小临界矩形法提取成熟番茄果实。试验结果表明,该方法对温室成熟番茄图像有较好的提取效果,识别正确率达到98.3%,与基于归一化红绿色差灰度化的Otsu算法和传统的Niblack算法相比有更高的识别率和更快的处理速度,噪声率也明显减少,能够满足后续成熟番茄定位的需要,有效地解决传统方法适应性低,易产生伪噪声块等问题。     

番茄果实串采摘点位置信息获取与试验

针对番茄收获机器人在采摘过程中果实串采摘点位置难以确定的问题,提出了基于果梗骨架角点计算方法,并利用该算法对番茄果实串果梗采摘点进行位置信息获取:首先采用最大类间方差分割法进行目标果实串分割,通过形态学方法和阈值法去除干扰,提取出目标果实串分割图像;根据果实串的质心和果串的轮廓边界确定果梗的感兴趣区域,采用快速并行细化算法提取果梗的骨架,利用Harris算法检测得到果实串第一个果实分叉点与植株主干之间果梗骨架角点,通过计算获得采摘点位置信息。然后进行验证试验,利用双目视觉图像采集系统采集了60组果实串图像并获取果梗采摘点位置信息,结果表明,采摘点位置成功率为90%,为采摘机器人提供准确的采摘位置信息。     

基于三维点云的番茄植株茎叶分割与表型特征提取

针对当前温室番茄表型参数难以自动获取的问题，研究提出通过对三维点云进行配准、骨架提取以及分割从而自动获取苗期番茄植株株高、茎粗、叶倾角和叶面积参数的方法。首先通过机器人搭载机械臂在温室中自动获取多视角番茄点云，并通过配准得到完整植株点云；对番茄点云利用拉普拉斯收缩的骨架提取算法获取植株骨架，对骨架进行修正后分解为茎秆和叶片子骨架，实现茎秆叶柄分割；再通过基于区域生长的MeanShift聚类方法对叶片和叶柄进行分割；最后通过番茄点云获取株高、茎粗参数，通过骨架测量叶倾角，对叶片点云进行曲面拟合提取叶面积参数。试验结果表明，茎叶分割与叶片分割的精确率、召回率、F1分数和平均总体准确率分别为0.84、0.91、0.87、0.92和0.92、091、0.91、0.93。株高、茎粗、叶倾角和叶面积参数的提取值与人工测量值的决定系数分别为0.97、0.53、0.90和0.87，均方根误差分别为1.40 cm、1.52 mm、5.14°和37.56 cm2。结果表明该研究方法与人工测量值具有较强的相关性，可以为温室番茄的高通量自动化表型测量提供技术支持。     

基于两级分割与区域标记梯度Hough圆变换的苹果识别

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果，该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先，使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正，增强图像的细节信息。结合果实颜色特征，提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后，采用改进后的Otsu算法进行初次分割，得到苹果目标的二值图像，该算法通过引入形态学开-闭重建滤波去除大量背景噪声，通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割，分离粘连果实区域，提取目标苹果的外部轮廓。最后，在轮廓外设置最小外接矩形标记有效区域，在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试，并与传统梯度Hough圆变换方法进行对比，本文方法在顺、逆光下的识别准确率为90.75和89.79%，比传统方法提高了15.03和16.41%，平均识别时间为0.665和0.693 s，比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域，而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求，可为苹果等类球形果实的快速识别提供参考。     

基于颜色及纹理特征的果蔬种类识别方法

为更好地表述果蔬图像纹理特征,提高智能果蔬识别系统识别准确性,提出一种颜色完全局部二值模式纹理特征提取算法。果蔬识别系统模型利用颜色完全局部二值模式提取图像纹理特征,利用HSV颜色直方图、外点/内点颜色直方图提取图像颜色特征,采用匹配得分融合算法将颜色和纹理特征相融合,采用最近邻分类器实现果蔬农产品分类。通过不同光照条件下和不同数量训练样本条件下的试验得出：颜色完全局部二值模式的果蔬图像纹理表述能力明显优于和差直方图等果蔬图像纹理操作子,识别率提升最小在5%以上,更适合果蔬分类;对比其他纹理特征提取算法,采用颜色完全局部二值模式与颜色特征进行融合时,识别率最优,时间开销约为1.1 s。该方法能够应用到智能果蔬识别系统中,提升系统识别准确性。     

基于分水岭和凸包理论的自然场景下未成熟苹果直径测量方法

针对自然场景下生长期内树上未成熟果实的自动探测与大小计算问题,提出了一种基于改进分水岭和凸包理论的自然场景下未成熟苹果识别与直径计算方法。该方法首先对灰度图像进行形态学重构后进行边缘检测,再利用合并局部极小值点分水岭分割方法从粘连区域中提取目标果实,并结合基于凸包理论的真轮廓提取和圆拟合方法,实现目标果实圆拟合直径的自动测量。计算结果与人工测量结果进行对比试验,结果表明:在不考虑扁平型目标果的情况下,该方法的直径计算均方根误差最小值为1.91 mm,均值为2.27 mm,误差范围在品质评定等级差(5 mm)以内,具有较好的推广应用价值。研究结果为生长期内果实的大小监测提供参考。     

基于显著性检测与改进Hough变换方法识别未成熟番茄

通过自动识别自然环境下获取果实图像中的未成熟果实,以实现自动化果实估产的目的。该文以番茄为对象,根据视觉显著性的特点,提出了使用基于密集和稀疏重构(dense and sparse reconstruction,DSR)的显著性检测方法检测未成熟番茄果实图像,该方法首先计算密集和稀疏重构误差;其次使用基于上下文的重构误差传播机制平滑重构误差和提亮显著性区域;再通过多尺度重构误差融合与偏目标高斯细化;最后通过贝叶斯算法融合显著图得到DSR显著灰度图。番茄DSR灰度图再经过OTSU算法进行分割和去噪处理,最终使用该文提出的改进随机Hough变换(randomized hough transform,RHT)圆检测方法识别番茄果簇中的单果。结果显示,该文方法对未成熟番茄果实的正确识别率能达到77.6%。同时,该文方法与人工测量的圆心和半径的相关系数也分别达到0.98和0.76,研究结果为估产机器人的多种果实自动化识别提供参考。     

弱光复杂背景下基于MSER和HCA的树上绿色柑橘检测

基于图像处理和机器视觉的树上绿色柑橘检测,能为果园管理者施肥、估产及采摘作业提供指导.该文提出一种基于水果表面光照分布的分层轮廓分析(hierarchical Contour Analysis,HCA)算法实现了树上绿色柑橘的检测.彩色数码相机拍摄弱光下由闪光灯补光的树上柑橘场景彩色图像,基于水果表面的光照分布应用最大稳定极值区域(maximally stable extremal region,MSER)算法提取图像中的感兴趣区域,然后建立感兴趣区域周围的分层轮廓图,并利用霍夫变换拟合每一级轮廓获得分层圆形目标,最后进行拟合圆嵌套分析得到绿色柑橘水果目标.所提算法在20张复杂的柑橘果园场景图像中进行了测试,最终的召回率达81.2%,查准率达到83.5%,单幅图像平均处理时间为3.70 s.该文所提出的基于光照分布的分层轮廓分析算法,不仅适用于绿色柑橘的检测,也可为其他树上绿色水果检测提供通用的框架和思路.     

基于机器视觉自然场景下成熟柑橘识别

采用2R-G-B色差分量,通过Ostu自适应阈值算法进行图像分割,利用形态运算消除分割后随机噪声,并对分割区域进行标记,利用区域面积和区域最小外接矩形长宽比参数进一步去除背景区域.对于多果重叠问题,利用T=Sqrt(S×I)形成新的图像提取边界,再结合形态学运算实现分割.最后利用优化的圆形Hough变换提取目标图像的形心坐标及半径,恢复遮挡果形.经验证有95%果实能正确识别.     

基于区域亮度矫正的番茄成熟度定量分级方法

针对现有番茄成熟度分级标准不统一,泛化性有待提高等问题,该研究提出一种基于区域亮度矫正的果面红色着色区域提取的方法。采用R-G法增强番茄表面的红色区域,利用Otsu分割方法提取表面着色区域,判断各着色区域的轮廓树结构以计算着色区域面积占图像总面积的比例作为主要特征,构建多因子融合的随机森林模型以实现番茄成熟度的量化分级。同时,利用基于局部亮度均衡的图像快速修复方法以解决光照变化导致的番茄表面高亮度反射问题。结果表明：以番茄表面着色面积比成熟度评价指标的分级平均正确率为92.96%,相比传统颜色矩和颜色直方图作为评价指标时的分级准确率提高了6.53和20.6个百分点。高亮区域领域像素加权替代法可对番茄高亮区域亮度实现有效矫正,矫正后的未熟、半熟和成熟番茄图像的果面着色区域面积占番茄图像总面积的比例较矫正前提高了0.06、0.15和0.11,分级准确率分别提高了17.24、11.47和4.69个百分点。研究可为番茄成熟度的定量性分级提供决策基础。     

采摘机器人振荡果实匹配动态识别

为解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题,对采摘机器人在果实振荡状况下的匹配动态识别方法进行了研究。首先介绍了振荡果实的动态识别流程,确定出采摘目标果实作为后续匹配识别的模板;然后引入去均值归一化积相关匹配识别算法,采用FastInverseSquareRoot算法和快速哈特莱变换对其进行加速优化,同时借鉴以往旋转无关匹配识别算法进行抗旋转改进;试验结果表明,加速优化后的匹配识别算法能够进行采摘目标果实的匹配识别,单幅平均匹配识别时间为0.33s,经过抗旋转等改进的匹配识别算法在[-55°,60°]较大范围内旋转无关,可以准确识别振荡果实,加上模板适时更新,能够满足实际需求。该研究可为果蔬采摘的动态识别提供参考。     

基于果萼图像的猕猴桃果实夜间识别方法

根据猕猴桃的棚架式栽培方式,提出了一种适用于猕猴桃采摘机器人夜间识别的方法。采用竖直向上获取果实图像的拍摄方式,以果萼为参考点,进行果实的识别,并测试该方法对光照的鲁棒性。试验结果表明:基于果萼能够有效的识别猕猴桃果实,成功率达94.3%;未识别和误识别的果实一般出现在5果及5果以上的簇中,原因是果实相互挤压导致的果萼部分不在果实图像的中心区域,以及果实之间的三角区形成暗色封闭区域;光照过小或过大会导致成像模糊或过曝,对正确率有细微影响;识别速度达到了0.5 s/个。因此,基于果萼的猕猴桃果实夜间识别方法在正确识别率和速度上都有很大提升,更接近实际应用。