基于Retinex图像增强的不同光照条件下的成熟荔枝识别

为了满足自然环境下荔枝采摘机器人视觉定位系统的有效性和实时性的要求,针对不同光照条件的荔枝彩色图像,采用基于双边滤波的Retinex图像增强算法凸显图像中的荔枝果实和果梗,对增强处理后的图像在HSI颜色空间中进行H分量旋转的处理,再对旋转处理后的H分量进行Otsu自动阈值分割去除荔枝图像果实和果梗外的复杂背景;然后通过将双三次插值算法和传统的模糊C均值（FuzzyC-Mean）算法融合,对去背景后的荔枝图像在YCbCr颜色空间中进行Cr分量模糊聚类分割,实现荔枝果实和果梗的识别。荔枝图像的分割试验结果表明：该算法对晴天顺光、逆光、遮阴、阴天顺光等光照条件的荔枝图像能够有效地分割,对阴天弱光照、果实被遮阴条件下的荔枝也能较好的识别,并保持荔枝果实和果梗区域的完整性,4种光照条件荔枝图像分割正确率分别为96%、90%、89.3%和88.9%,成熟荔枝识别的正确率达到了90.9%,该研究为水果采摘机器人的室外作业的实时性和有效性提供指导。     

基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割

为了提高在自然采摘环境中成熟桑葚机器视觉识别的有效性和鲁棒性,克服图像目标形态小、分布杂散、背景干扰多和光照不均匀等困难,该文提出了一种采用视觉显著性和脉冲耦合神经网络(pulse coupled neural network,PCNN)模型的成熟桑葚图像分割方法。该方法首先将采集的图像映射到Lab颜色空间,利用空间颜色分量的算术平均值和高斯滤波值之间的差异,构建起桑葚图像的频率调谐视觉显著图;其次,提取采集图像在HSI颜色空间的色调分量,经过均衡化处理后,与视觉显著图进行融合,实现桑葚目标的融合特征表达;最后,通过改进的分层阈值化脉冲耦合神经网络模型进行目标分割以及形态学处理,得到成熟桑葚的识别结果。利用从重庆市天府镇果桑生态园采集到的200余幅桑树挂果图像进行试验,结果表明,该方法能够在不同光照条件的复杂背景下,有效分割出成熟果实,平均误分率为1.87%,优于结合频率调谐视觉显著性的OTSU法(17.73%)、K-means聚类算法(10.69%)、基于Itti视觉显著性的PCNN分割方法(7.34%)和基于GBVS(graph-based visual saliency,GBVS)视觉显著性的PCNN分割方法(5.83%)。研究结果为成熟桑葚果实的智能化识别提供参考。     

基于视觉伺服的樱桃番茄果串对靶测量方法

针对鲜食番茄自动化采收实际需要,为了实现对樱桃番茄果串自动识别定位,基于激光测距和视觉伺服技术设计了果串自动对靶测量视觉系统。通过分析成熟番茄果串图像色彩特征,采用R-G色差模型凸显目标与背景差异,并根据色差灰度逐列统计锁定果串图像区域;基于Cognex Vision Pro图像处理类库Cog PMAlign Tool模板匹配工具,对果串区域内果粒进行分割;根据对边缘果粒空间坐标估算,同时对采摘机械臂进行视觉伺服控制,实现对边缘果粒对靶定位测量,并根据其空间坐标测算果串长宽特征,为采摘执行部件提供作业依据。试验结果表明,视觉系统对果串内果粒的平均识别率为83.5%,对果粒视觉对靶的平均偏差为8.38像素,果串长度测量平均误差为8.25 mm,果串宽度测量平均误差为5.25 mm。该研究结果为串形果实自动采收目标识别定位提供参考。     

采摘机械手对扰动荔枝的视觉定位

为了解决采摘机器人在自然环境中对扰动状态荔枝的视觉精确定位问题,该文分析机械手采摘过程中荔枝产生扰动的因素,设计制造了模拟荔枝振动的试验平台,该试验平台通过改变方向、振频、振幅等振动条件来模拟采摘过程中的扰动环境;结合振动平台运动参数,提出了双目立体视觉系统采集扰动状态的荔枝图像方法,在HSI颜色空间中对预处理后荔枝图像利用模糊C均值聚类法(FCM,fuzzyC-means)分割荔枝果实和果梗,然后利用Hough变换算法进行直线拟合确定有效的果梗采摘区域和采摘点,对多帧图像中采摘点坐标取平均值,然后进行三维重建确定空间采摘点坐标。荔枝扰动状态的视觉定位试验结果表明,空间定位深度值误差小于6cm,荔枝采摘机械手能实现有效采摘,该研究为机械手实际作业提供指导。     

基于改进判别区域特征融合算法的近色背景绿色桃子识别

针对机器视觉识别中自然光照条件下未成熟绿色果实的识别存在颜色与背景相似、光照不均、果叶遮挡等问题,该文提出在判别区域特征集成(discriminative regional feature integration,DRFI)算法框架的基础上,结合颜色、纹理、形状特征,对未成熟绿色桃子进行识别。首先通过基于图的图像分割(graph-based image segmentation)算法,取不同的参数将图像分割为多层,再计算各层图像的显著图,并用线性组合器将其融合,得到DRFI显著图。再用OTSU算法得到的阈值自适应调整之后对DRFI显著图进行分割,减少了显著图中识别为低概率果实的误分割。对于分割后仍存在的果实相互粘连的情况,通过控制标记符和距离变换相结合的分水岭分割算法将其分开。试验结果表明:该方法在训练集中的准确识别率为91.7%,在验证集中的准确识别率为88.3%,与相关文献报道的结果以及原始DRFI算法在验证集中的检测结果相比,该文方法的准确识别率提高了3.7~10.7个百分点,较有效地解决了颜色相近和果叶遮挡问题,可为果树早期估产和绿色果实采摘自动化、智能化提供参考。     

大视场下荔枝采摘机器人的视觉预定位方法

机器人采摘荔枝时需要获取多个目标荔枝串的空间位置信息,以指导机器人获得最佳运动轨迹,提高效率。该文研究了大视场下荔枝采摘机器人的视觉预定位方法。首先使用双目相机采集荔枝图像;然后改进原始的YOLOv3网络,设计YOLOv3-DenseNet34荔枝串检测网络;提出同行顺序一致性约束的荔枝串配对方法;最后基于双目立体视觉的三角测量原理计算荔枝串空间坐标。试验结果表明,YOLOv3-DenseNet34网络提高了荔枝串的检测精度与检测速度;平均精度均值(mean average precision,m AP)达到0.943,平均检测速度达到22.11帧/s。基于双目立体视觉的荔枝串预定位方法在3 m的检测距离下预定位的最大绝对误差为36.602 mm,平均绝对误差为23.007 mm,平均相对误差为0.836%,满足大视场下采摘机器人的视觉预定位要求,可为其他果蔬在大视场下采摘的视觉预定位提供参考。     

基于视觉显著性改进的水果图像模糊聚类分割算法

准确分割水果图像是采摘机器人实现视觉定位的关键技术。该文针对传统模糊聚类对初始聚类中心敏感、计算量大和易出现图像过分割等问题,结合机器人的视觉特性,提出了一种基于多尺度视觉显著性改进的水果图像模糊聚类分割算法。首先,选择适当的颜色模型把彩色水果图像转换为灰度图像;然后对灰度图像做不同尺度的高斯滤波处理,基于视觉显著性的特点,融合了多个不同尺度的高斯滤波图像,形成图像聚类空间;最后,用直方图和模拟退火粒子群算法对图像的传统模糊聚类分割算法进行了改进,用改进的算法分别对采集到的100张成熟荔枝和柑橘图像,各随机选取50张,进行图像分割试验。试验结果表明:该方法对成熟荔枝和柑橘的图像平均果实分割率分别为95.56%和93.68%,平均运行时间分别为0.724和0.790s,解决了水果图像过分割等问题,满足实际作业中采摘机器人对果实图像分割率和实时性的要求,为图像分割及其实时获取提供了一种新的基础算法,为视觉精确定位提供了有效的试验数据。     

自然环境下贴叠葡萄串的识别与图像分割算法

针对自然环境下贴叠葡萄串难以识别与分割的问题,该文首先提取HSV颜色空间中的H分量,获取贴叠葡萄串区域,分析该区域长宽比从而判定葡萄串的贴叠性质;提取葡萄串图像轮廓信息,获取轮廓拐点与类圆心点信息;利用拐点与中心点之间的斜率判定目标葡萄串所在位置。然后,利用Chan-Vese模型进行葡萄串的迭代识别,并结合拐点信息获得重叠边界的轮廓信息。最后,将重叠边界轮廓与图像轮廓进行融合,实现目标葡萄串识别。试验结果表明,该文方法的平均精准度为89.71%,平均假阳率为4.24%,识别成功率为90.91%,与现有方法相比,该文方法可实现完整目标葡萄串的识别与分割,并提高了识别与分割的精准度,为葡萄采摘机器人成功采收贴叠葡萄串提供切实可行的算法。     

基于深度学习的葡萄果梗识别与最优采摘定位

针对葡萄采摘机器人在采摘作业中受果园环境干扰,难以准确识别与分割葡萄果梗及定位采摘点的问题,该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络(Mask Region with Convolutional Neural Network,Mask R-CNN)模型对果梗进行识别与粗分割;然后结合阈值分割思想对果梗的色调、饱和度、亮度(Hue Saturation Value,HSV)色彩空间进行分段式提取,取每段色彩平均值作为该段果梗基准颜色阈值,利用区域生长算法对果梗进行精细化分割;最后计算果梗图像区域的质心,并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明,在不同天气光照下该方法对葡萄果梗的检测精确率平均值为88%;在果梗成功识别后最优采摘点定位准确率达99.43%,单幅图像的果梗采摘定位平均耗时为4.90s,对比改进前Mask R-CNN检测耗时减少了0.99 s,F1-得分提高了3.24%,检测效率明显提升,该研究为葡萄采摘机器人提供了一种采摘点定位方法。     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

基于深度图像和生猪骨架端点分析的生猪步频特征提取

为高效提取生猪的行走快慢特征,以微软公司Kinect作为图像采集设备,采集生猪运动深度图像序列。在对各帧深度图像进行骨架提取、剪枝的基础上,采用基于路径相似性骨架图匹配法确定生猪前后肢骨架端点,进一步以骨架端点所属骨架枝子集像素值特征判定端点远近侧属性。以生猪前后肢远、近侧端点的帧间相对坐标变化建立了生猪运动模型,提出了通过帧间坐标变化点集拟合正弦曲线计算生猪行走完整步的方法。最后,通过计算序列完整步与序列采集时间长度比值提取生猪步频特征。通过对采集的28个生猪运动深度图像序列及其镜像序列共56个图像序列进行的试验,表明该文提出方法的正确率达到82.1%。该项研究对于开展生猪异常步态分析,进一步建立生猪多源特征融合的计算机视觉异常监测系统,提高生猪异常行为预警可靠性具有重要意义。     

基于图像法和粒度分形模型的打叶过程烟片结构在线检测

为实现烟叶采收后初加工过程打叶质量的实时监测与调控,该文采用图像分析法在线检测烟叶打后叶片结构,即叶片面积分布,应用分形理论建立烟叶打后叶片面积分布的分形模型,用分维数表征叶片面积分布特征。结果表明:分形模式计算的打后叶片面积分布结果与实测值相关系数较高,粒度分形模式可较准确描述烟叶打后叶片面积分布;分维数可表征打后叶片面积分布均匀程度,可反映出不同等级烟叶打叶特性差异;分维数与目前打叶过程的主要工艺控制指标大中片率成线性关系,相关系数大于0.90。基于图像法和粒度分形模型建立的打叶过程烟叶结构在线检测方法,可用于打叶质量的实时监测与调控。     

用K-means图像法和主成分分析法监测生菜生长势

温室植物生长状况的实时监测可为生产管理提供科学的决策支持.为开发实时监测中的机器视觉技术,该文选定生菜为研究对象,从单株和群体两个角度构建生菜生长势图像检测法.采集自然光条件下生菜整个生命周期俯视及侧视两类序列图像样本,并同步人工实测生菜生长势的动态数据样本,探讨生长势的图像检测指标与人工实测综合指标之间的相关性.对于单株生菜,通过CCD相机获取其投影图像及水平面两垂直方向侧视图像.就投影图像分割,为提高算法运行效率,将图像由RGB模型转换到HSI模型并提取H分量图像,再运用自动阈值法进行图像二值化处理,可测得单株生菜的投影面积.由于侧视图像背景较复杂,故联合使用K-means彩色图像分割法及伪彩色图像处理方法,获得生菜株高值.同时手工测量表达单株生菜生长势的叶片数、株高、x轴和y轴方向生菜植株的最大宽度、生菜植株某选定叶片的长和宽等6个指标,用主成分分析法从中提取出总生长势信息.将该值作为因变量,图像测得的投影面积和株高值作为自变量并进行回归分析.结果表明,模型的显著性检验概率均小于0.0001,除第4株生菜外,其余模型的决定系数均大于0.80,说明模型极显著且具有较高的拟合精度.对于群体生菜,预试验发现其侧视图像难以准确表达群体生菜生长势信息,故只考虑投影图像,其分割方法与单株生菜侧视图像相同.从中可计算得到群体生菜覆盖指数,再手工测量并算得群体生菜体积指数,以体积指数为因变量,以覆盖指数为自变量建模并进行回归分析.结果表明,模型显著性检验概率均小于0.0001,且决定系数均大于0.89,覆盖指数较好地表达了群体生菜生长势信息.故用图像检测获得的生菜投影面积、株高、群体覆盖指数等三项指标表征生菜生长势一方面具有科学性和可行性,在植物生长状况实时监测领域具有潜在的应用价值,另一方面,其图像分割方法和数据统计方法也可为植物生长状况实时监测等提供一定的借鉴和参考.     

Towards systematic image analysis in the study of soil micromorphology

Operational laboratories for quantitative image analysis of soil thin sections are now possible. This paper describes the evolving methodology at the University of Guelph, Ontario, Canada, and its application in selected Canadian soils. The paper deals with the collection of data under transmitted, reflected and circularly polarized illumination. The perfect registration of all data is achieved simply by not moving the thin section. The protocol for analysis of differentiation of voids, organic matrix, clay coatings, carbonate and iron concretions is presented. The storage and retrieval of data from CD-ROMs for analysis and sharing is also outlined. Once the digital imagery is stored it is easily useable for more studies as a greater understanding of the value of data is recognized. The paper makes the case for much greater use of the soil thin sections that already exist in the laboratories around the world.     

基于激光图像的苹果品质分析与模型

该试验利用波长650 nm,功率25 mW的半导体激光及计算机视觉技术,初步探讨了激光图像的影响因素以及利用激光图像对苹果(嘎拉、红富士)品质进行无损检测的可行性。分别测定贮藏期间苹果的硬度、固酸比、果面底色、果型等品质指标,并获取图像参数及其像素个数(S1、S2、S3、S4)。试验结果显示,苹果的向阳面和背阳面对获取的激光图像的像素个数有显著的影响,而果型大小对其无显著影响。其中图像参数S3与各品质指标的皮尔逊相关系数最高。逐步回归表明,引入变量S3后模型的解释率最好(最高R²为0.99),且都为极显著水平(P≤0.01)。试验的结果为利用小功率激光图像对苹果品质进行无损检测提供了理论依据。     

采用染色示踪技术的土壤优先流自动分割与量化系统

针对土壤染色图像色度不一致、染色/非染色区域对比度低的特点,以及现有土壤染色图像分割方法自动化程度弱的问题,该研究提出一种土壤优先流自动分割与量化系统。该系统采用基于H分量改进的模糊C均值方法(Fuzzy C-Means Based on H Component and Morphology,HM-FCM)实现染色区域的自动分割,运用数学统计法提取总染色面积比、基质流深度、优先流比等特征参数,实现对土壤染色区域的量化分析,以揭示优先流的发育程度。并基于2种林地染色图像验证了系统性能。试验结果表明:1)HM-FCM法对于天然次生林和榛子林图像均具有最佳分割效果,其分割准确率为87.9%和83.3%,调和平均值为90.5%和80.3%;2)2种林地土壤染色区域总体集中于0～50 cm土层,优先流具有不同发育程度(P0.05)。该系统可为优先流路径的空间演变提供技术支持和理论依据。     

采摘期成熟棉花不同部位颜色识别分析

为正确识别自然环境中处于采摘期的成熟棉花,确定其在三维空间中的准确位置,从而为机械手运动提供参数完成棉桃的自动采摘,研究了基于色差信息的棉花识别方法。对200幅自然环境下拍摄的图像在不同的颜色模型下,分析了棉花不同部分颜色的特征,利用成熟期棉桃表面颜色特征与棉叶、棉枝颜色特征的差异,建立了利用色差信息进行识别的视觉模型,将成熟棉桃从背景中识别出来。试验结果表明,该方法具有对棉花进行识别的良好性能,而且不需要模型转化,提高了识别效率。     

基于高光谱图像纹理特征的牛肉嫩度分布评价

传统牛肉品质的检测方法耗时长,效率低,破坏样品,已不能满足现代化生产的需要。为了实现对牛肉嫩度品质的快速无损检测和评价,该文利用高光谱成像系统,以西门塔尔牛多个胴体的背最长肌部位为研究对象,采集56个有效样本的高光谱立体图像,研究无损评价牛肉样品的嫩度分布。通过提取样本的反射光谱信息,并利用逐步回归算法结合遗传算法(GA,genetic algorithm)筛选出牛肉剪切力值(WBSF,warner-bratzler shear force)的特征波段。利用主成分分析(PCA,principle component analysis)提取样品的3个主成分。基于选出的特征波段图像和提取的主成分,通过计算图像灰度共生矩阵求取每幅图像8个主要纹理特征参数,分别建立了基于支持向量机(SVM,support vector machine)和线性判别(LDA,linear discriminant analysis)法的嫩度等级判别模型。经分析比较,基于主成分纹理特征优于基于特征波段图像建立的预测模型,并且,线性判别模型识别准确率相比支持向量机模型较高。基于主成分纹理特征建立的线性判别模型预测集判别精度为94.44%。研究结果证明,基于高光谱图像纹理特征分析,可以建立牛肉的嫩度判别模型,对牛肉嫩度快速无损检测技术研究提供理论参考。     

Evaluating an image analysis system for mapping white clover pastures

We have developed an image analysis system for mapping white clover pastures. The information from digital colour photographs is processed by software (Trifolium.exe) specially designed for the purpose. The software estimates the coverage of clover, weeds and bare ground, and the unidentified remainder of the total area is regarded as covered by grass. To evaluate the reliability of the estimates of clover content, the clover on paper printouts of non-processed images were marked manually and analysed by a photo scanner and commercially available software. The outputs from Trifolium.exe and the estimates from scanned manual markings were highly correlated (r ²=0.81). A sensitivity test was conducted to quantify the impact of changes of six user-adjustable parameters of Trifolium.exe. The software output of clover coverage was sensitive for changes in three, soil coverage for changes in one, and weed coverage for changes in all parameters. The fact that the digital image acquisition and analysis produce nearly continuous and exactly positioned data, implies further that it is a very appropriate tool for analyses of spatial dynamics in grass-clover pastures.     

基于粒子图像测速的离心泵叶轮内流动分离测试与分析

离心泵在小流量工况下运行极易产生流动分离,严重影响泵的运行稳定性。为了揭示离心泵小流量工况下叶轮内流动分离的变化规律,对一比转数为73的离心泵小流量工况下叶轮内部流动进行了PIV测试和分析,并以流动偏移角和回流强度为参数对测试结果做了量化分析。不同工况的测试结果表明,0.6Qd工况下叶轮内开始出现流动分离,到0.2Qd工况下流动分离已发展充分;随着流量的降低分离泡向流道中部和出口方向移动发展。0.2Qd工况下不同相位的试验结果显示叶轮流道接近隔舌时会出现分离泡,经过隔舌后分离泡迅速发展,远离隔舌后分离泡逐渐消失。流动偏移角的量化分析能够准确反映出叶轮流道内分离泡的数目;回流强度的量化分析表明叶片旋转过隔舌135°后,动静干涉对流动分离的作用明显减弱。