基于机器视觉的番茄多目标提取与匹配

果实的提取和匹配是番茄采摘机器人进行番茄定位和采摘的基础。为解决获取图像中多个成熟番茄粘连或被遮挡的情况下果实的提取和匹配问题,该文提出了使用局部极大值法和随机圆环变换检测圆算法结合进行目标提取,再使用SURF算法进行目标匹配的算法。该方法首先基于颜色对番茄进行分割提取,然后使用局部极大值法对番茄个数进行估计,结合番茄区域面积进行半径估计,之后通过随机圆环变换算法检测番茄中心和半径进行目标定位,再使用SURF算法进行双目目标匹配的算法。该方法在一定程度上解决了复杂自然环境下,多个番茄的提取和图像特征匹配的问题,并通过试验验证了其有效性和准确性,可为采摘机器人目标识别技术的研究提供参考。     

基于机器视觉的温室番茄裂果检测

该文通过对温室番茄果实进行定位及裂果检测,可为番茄裂果率预估及后续裂果自动筛选提供参考。针对自然光照下采集的各类番茄图像,在相关颜色空间中进行阈值预分割,利用前期支持向量机训练得到的纹理特征分类器对预分割区域进行二次判别;之后在前景区域利用显著性角点分割构造边缘轮廓集,利用基于最小二乘法修正的改进霍夫变换拟合单个番茄目标;最后利用二维Gabor小波算子对拟合的单个番茄区域进行纹理特征提取及裂果判别。文中共采集82幅番茄图像,其中50幅图像作为训练集图像,32幅图像作为验证集,所提算法对测试集中总共128个番茄的果实正确检出率为91.41%,对其中35裂果的正确判别率为97.14%,裂果判别部分平均耗时21 ms。试验结果表明,该方法具有较好的鲁棒性与可靠性,对成熟期番茄裂果率的估计研究及采摘过程中裂果的自动分级筛选具有较好的指导意义,为未来实现温室番茄果实生长状态在线监测提供参考。     

基于两级分割与区域标记梯度Hough圆变换的苹果识别

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果，该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先，使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正，增强图像的细节信息。结合果实颜色特征，提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后，采用改进后的Otsu算法进行初次分割，得到苹果目标的二值图像，该算法通过引入形态学开-闭重建滤波去除大量背景噪声，通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割，分离粘连果实区域，提取目标苹果的外部轮廓。最后，在轮廓外设置最小外接矩形标记有效区域，在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试，并与传统梯度Hough圆变换方法进行对比，本文方法在顺、逆光下的识别准确率为90.75和89.79%，比传统方法提高了15.03和16.41%，平均识别时间为0.665和0.693 s，比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域，而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求，可为苹果等类球形果实的快速识别提供参考。     

基于YOLO v4+HSV的成熟期番茄识别方法

为解决成熟番茄采摘识别中由于藤蔓、叶片、果实遮挡或光照影响而引起的误识别问题,该研究提出了一种基于YOLO v4与HSV（Hue, Saturation, Value）相结合的识别方法,以实现自然环境下成熟期番茄的准确识别。在YOLO v4网络的检测框内通过HSV方法对番茄的红色区域进行分割,并将分割部分面积在检测框中达到一定占比的番茄作为目标输出。通过对比不同占比下该算法对测试集的识别效果,将16%作为成熟期番茄识别算法的占比,该占比下YOLO v4+HSV算法的正确率为94.77%,在工作站中检测单幅图片的速度为25.86 ms。为验证算法的性能,对改进前后算法进行了比较,改进后的正确率比改进前提高了4.30个百分点,说明通过HSV处理能够提高原网络识别成熟期番茄的准确性。此外,为测试算法的实用性,统计了在不同类型设备上该算法从调用深度相机到检测到第一个目标番茄所用的时间,经计算,其在工作站上所用的平均时间为0.51 s,在微型工控机上为1.48 s,均可满足实际采摘需要。该研究直接面向果蔬实时采摘中的目标高效检测问题,其方法可为果蔬采摘的准确高效识别提供借鉴。     

改进类圆随机Hough变换及其在油茶果实遮挡识别中的应用

为将目标油茶果实从树枝、树叶等外界遮挡中分离出来,以利于油茶采摘机器视觉的图像形态学识别,该文提出了一种改进的类圆随机Hough变换算法,在算法中添加了边缘预检测、快速定位圆心点等模块以提高算法的识别率。仿真结果表明,改进算法对遮挡果实的识别率较其他Hough遮挡识别算法有所提高,最高达到90.70%,识别时间为1.3s。该研究为采摘机器人的后续采摘工作打下了基础。     

基于改进判别区域特征融合算法的近色背景绿色桃子识别

针对机器视觉识别中自然光照条件下未成熟绿色果实的识别存在颜色与背景相似、光照不均、果叶遮挡等问题,该文提出在判别区域特征集成(discriminative regional feature integration,DRFI)算法框架的基础上,结合颜色、纹理、形状特征,对未成熟绿色桃子进行识别。首先通过基于图的图像分割(graph-based image segmentation)算法,取不同的参数将图像分割为多层,再计算各层图像的显著图,并用线性组合器将其融合,得到DRFI显著图。再用OTSU算法得到的阈值自适应调整之后对DRFI显著图进行分割,减少了显著图中识别为低概率果实的误分割。对于分割后仍存在的果实相互粘连的情况,通过控制标记符和距离变换相结合的分水岭分割算法将其分开。试验结果表明:该方法在训练集中的准确识别率为91.7%,在验证集中的准确识别率为88.3%,与相关文献报道的结果以及原始DRFI算法在验证集中的检测结果相比,该文方法的准确识别率提高了3.7~10.7个百分点,较有效地解决了颜色相近和果叶遮挡问题,可为果树早期估产和绿色果实采摘自动化、智能化提供参考。     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

番茄果实串采摘点位置信息获取与试验

针对番茄收获机器人在采摘过程中果实串采摘点位置难以确定的问题,提出了基于果梗骨架角点计算方法,并利用该算法对番茄果实串果梗采摘点进行位置信息获取:首先采用最大类间方差分割法进行目标果实串分割,通过形态学方法和阈值法去除干扰,提取出目标果实串分割图像;根据果实串的质心和果串的轮廓边界确定果梗的感兴趣区域,采用快速并行细化算法提取果梗的骨架,利用Harris算法检测得到果实串第一个果实分叉点与植株主干之间果梗骨架角点,通过计算获得采摘点位置信息。然后进行验证试验,利用双目视觉图像采集系统采集了60组果实串图像并获取果梗采摘点位置信息,结果表明,采摘点位置成功率为90%,为采摘机器人提供准确的采摘位置信息。     

基于吊蔓绳的温室番茄主茎秆视觉识别

为了精确识别番茄植株以供精确对靶喷施,该文提出一种基于温室吊蔓绳对番茄主茎进行检测识别的算法。通过分析番茄作物图像在HSI颜色空间的分布特性,基于H分量应用Otsu分割算法对番茄作物图像进行二值化处理,以突出图像中吊蔓绳区域。利用细化算法提取出吊蔓绳区域离散特征点簇,并采用最小二乘法直线拟合特征点簇获取吊蔓绳位置。试验结果表明,处理分辨率640×480像素的图像平均用时0.16s,对100张图像进行识别试验,正确率达93%,该算法提取吊蔓绳和番茄主茎间的最大距离偏差为48像素单位,能够准确识别番茄主茎秆,具备较强的鲁棒性。     

基于Niblack自适应修正系数的温室成熟番茄目标提取方法

番茄目标的准确提取是番茄采摘的基础,目前番茄目标提取方法都有一定的局限性,难以满足采摘需求。该研究在传统Niblack算法的基础上,结合图像全局灰度变化的估计信息与局部区域信息之间的关联性,提出了一种基于Niblack自适应修正系数的温室成熟番茄目标提取新方法。首先对R-G番茄灰度图像,采用基于自适应修正系数选取的Niblack算法进行阈值分割,从理论意义上确定修正系数的选取原则,归一化局部标准差,实现修正值的计算及二值化过程,然后对分割后的图像去噪,最后采用最小临界矩形法提取成熟番茄果实。试验结果表明,该方法对温室成熟番茄图像有较好的提取效果,识别正确率达到98.3%,与基于归一化红绿色差灰度化的Otsu算法和传统的Niblack算法相比有更高的识别率和更快的处理速度,噪声率也明显减少,能够满足后续成熟番茄定位的需要,有效地解决传统方法适应性低,易产生伪噪声块等问题。     

基于显著性检测与改进Hough变换方法识别未成熟番茄

通过自动识别自然环境下获取果实图像中的未成熟果实,以实现自动化果实估产的目的。该文以番茄为对象,根据视觉显著性的特点,提出了使用基于密集和稀疏重构(dense and sparse reconstruction,DSR)的显著性检测方法检测未成熟番茄果实图像,该方法首先计算密集和稀疏重构误差;其次使用基于上下文的重构误差传播机制平滑重构误差和提亮显著性区域;再通过多尺度重构误差融合与偏目标高斯细化;最后通过贝叶斯算法融合显著图得到DSR显著灰度图。番茄DSR灰度图再经过OTSU算法进行分割和去噪处理,最终使用该文提出的改进随机Hough变换(randomized hough transform,RHT)圆检测方法识别番茄果簇中的单果。结果显示,该文方法对未成熟番茄果实的正确识别率能达到77.6%。同时,该文方法与人工测量的圆心和半径的相关系数也分别达到0.98和0.76,研究结果为估产机器人的多种果实自动化识别提供参考。     

基于区域亮度矫正的番茄成熟度定量分级方法

针对现有番茄成熟度分级标准不统一,泛化性有待提高等问题,该研究提出一种基于区域亮度矫正的果面红色着色区域提取的方法。采用R-G法增强番茄表面的红色区域,利用Otsu分割方法提取表面着色区域,判断各着色区域的轮廓树结构以计算着色区域面积占图像总面积的比例作为主要特征,构建多因子融合的随机森林模型以实现番茄成熟度的量化分级。同时,利用基于局部亮度均衡的图像快速修复方法以解决光照变化导致的番茄表面高亮度反射问题。结果表明：以番茄表面着色面积比成熟度评价指标的分级平均正确率为92.96%,相比传统颜色矩和颜色直方图作为评价指标时的分级准确率提高了6.53和20.6个百分点。高亮区域领域像素加权替代法可对番茄高亮区域亮度实现有效矫正,矫正后的未熟、半熟和成熟番茄图像的果面着色区域面积占番茄图像总面积的比例较矫正前提高了0.06、0.15和0.11,分级准确率分别提高了17.24、11.47和4.69个百分点。研究可为番茄成熟度的定量性分级提供决策基础。     

复杂背景下甜瓜果实分割算法

为解决复杂背景下甜瓜果实与背景图像分割的问题,该文提出了一种融合颜色特征和纹理特征的图像分割算法。首先,把采集到的甜瓜果实图像从RGB色彩空间分别转换到CIELAB和HSV色彩空间,应用a*b*分量建立角度模型,根据甜瓜果实的颜色特点选取阈值并对图像作二值化处理;为降低光照分布不均匀对图像分割的影响,采用HSV空间的HS颜色分量对果实图像进行阈值分割。在以上2种色彩空间分割的基础上,融合角度模型分割和HS阈值分割的结果,得到基于颜色特征的分割结果。然后,再按照图像的纹理特征对图像进行分割处理,融合按照颜色特征和纹理特征的分割结果。最后,为解决分割结果中的分割误差和边缘毛刺问题,以颜色特征分割的果实区域为限定条件,对按照融合特征分割的果实区域进行约束性区域生长,得到最终的图像分割结果。为了对该文提出算法的分割效果进行检验,采用超绿阈值分割算法和归一化差异指数算法(NDI)对试验图像进行分割,3种算法的平均检出率分别为83.24%、43.12%、99.09%。对比3种分割算法的检出率和误检率,可以看出,该文提出的算法试验结果明显优于超绿阈值分割算法和归一化差异指数(NDI)分割算法。     

弱光复杂背景下基于MSER和HCA的树上绿色柑橘检测

基于图像处理和机器视觉的树上绿色柑橘检测,能为果园管理者施肥、估产及采摘作业提供指导.该文提出一种基于水果表面光照分布的分层轮廓分析(hierarchical Contour Analysis,HCA)算法实现了树上绿色柑橘的检测.彩色数码相机拍摄弱光下由闪光灯补光的树上柑橘场景彩色图像,基于水果表面的光照分布应用最大稳定极值区域(maximally stable extremal region,MSER)算法提取图像中的感兴趣区域,然后建立感兴趣区域周围的分层轮廓图,并利用霍夫变换拟合每一级轮廓获得分层圆形目标,最后进行拟合圆嵌套分析得到绿色柑橘水果目标.所提算法在20张复杂的柑橘果园场景图像中进行了测试,最终的召回率达81.2%,查准率达到83.5%,单幅图像平均处理时间为3.70 s.该文所提出的基于光照分布的分层轮廓分析算法,不仅适用于绿色柑橘的检测,也可为其他树上绿色水果检测提供通用的框架和思路.     

采用组合增强的YOLOX-ViT协同识别温室内番茄花果

番茄花果的协同识别是温室生产管理调控的重要决策依据,针对温室番茄栽培密度大,植株遮挡、重叠等因素导致的现有识别算法精度不足问题,该研究提出一种基于级联深度学习的番茄花果协同识别方法,引入图像组合增强与前端ViT分类网络,以提高模型对于小目标与密集图像检测性能。同时,通过先分类识别、再进行目标检测的级联网络,解决了传统检测模型因为图像压缩而导致的小目标模糊、有效信息丢失问题。最后,引入了包括大果和串果在内的不同类型番茄品种数据集,验证了该方法的可行性与有效性。经测试,研究提出的目标检测模型的平均识别率均值（mean average precision,m AP）为92.30%,检测速度为28.46帧/s,其中对小花、成熟番茄和未成熟番茄识别平均准确率分别为87.92%、92.35%和96.62%。通过消融试验表明,与YOLOX、组合增强YOLOX相比,改进后的模型m AP提高了2.38～6.11个百分点,相比于现有YOLOV3、YOLOV4、YOLOV5主流检测模型,m AP提高了16.56～23.30个百分点。可视化结果表明,改进模型实现了对小目标的零漏检和对密集对象的无误检,从而达到...     

基于级联视觉检测的樱桃番茄自动采收系统设计与试验

樱桃番茄串生长姿态多样、果实成熟度不一，采摘机器人进行“粒收”作业时，常面临果梗干涉末端执行器、成熟度判断错误等问题，导致采摘效率低下、难以有效实现分级采收。针对上述问题，该研究提出一种级联视觉检测流程，包括采收目标检测、目标果实特性判别、果实与果梗位置关系判断3个关键环节。首先根据农艺要求按成熟度将番茄果实分为4个等级，引入YOLOv5目标检测模型对番茄串和番茄果实进行检测并输出成熟度等级，实现分期采收。然后对果实与果梗的相对位置进行判断，利用MobileNetv3网络模型对膨胀包围盒进行果实与果梗相对位置关系判断，实现末端执行器采摘位姿控制。日光温室实际测试结果表明，本文提出的级联检测系统平均推理用时22ms，在IOU(intersectionoverunion)阈值为0.5的情况下，樱桃番茄串与果实的平均检测精度达到89.9%，满足采摘机器人的视觉检测精度和实时性要求，相比末端执行器以固定角度靠近待采目标的方法，本文方法采收效率提升28.7个百分点。研究结果可为各类果蔬采摘机器人研究提供参考。     

基于颜色及纹理特征的果蔬种类识别方法

为更好地表述果蔬图像纹理特征,提高智能果蔬识别系统识别准确性,提出一种颜色完全局部二值模式纹理特征提取算法。果蔬识别系统模型利用颜色完全局部二值模式提取图像纹理特征,利用HSV颜色直方图、外点/内点颜色直方图提取图像颜色特征,采用匹配得分融合算法将颜色和纹理特征相融合,采用最近邻分类器实现果蔬农产品分类。通过不同光照条件下和不同数量训练样本条件下的试验得出：颜色完全局部二值模式的果蔬图像纹理表述能力明显优于和差直方图等果蔬图像纹理操作子,识别率提升最小在5%以上,更适合果蔬分类;对比其他纹理特征提取算法,采用颜色完全局部二值模式与颜色特征进行融合时,识别率最优,时间开销约为1.1 s。该方法能够应用到智能果蔬识别系统中,提升系统识别准确性。