果实成熟度识别机器人设计——基于近红外线信号处理

为了提高采摘机器人自动识别果实成熟度的智能化水平,提高果实识别的准确性,实现机器人自主定位和自动规划路径能力,设计了一种新的自动化采摘机器人。该机器人利用图像分割技术和近红外信号处理技术,实现了果实成熟度的自动定位和判别。对采摘机器人的性能进行了测试,包括苹果图像的分割和提取、果实成熟度的判断和机器人路径规划。通过测试发现:机器人可以在复杂采摘背景下准确地识别苹果果实,并可以通过红外线探测实现果实成熟度的判别,最终规划出来合理的采摘路径,实现果实的精准采摘,为果蔬采摘机器人的研究提供了较有价值的参考。     

基于改进凸壳理论的遮挡油茶果定位检测算法

针对传统凸壳理论进行遮挡果实定位检测时由于过多剔除有效轮廓,造成目标果实定位误差较大,甚至无法识别目标果实的问题,提出了一种基于改进凸壳理论的遮挡油茶果定位检测算法。首先利用基于颜色特征的阈值分割法对油茶果遮挡图像进行目标分割,并通过预处理操作剔除图像中的背景噪声,获得目标果实的二值图像;然后采用凹点搜寻算法检测重叠目标的凹点,并根据凹点对重叠目标进行分离,获得相互独立的目标图像;再构建各独立目标的凸包,并提取凸壳,利用轮廓提取算法确定各独立目标凸壳上的有效轮廓;最后根据提取的有效轮廓求解目标果实形心坐标和半径,完成遮挡果实的定位检测。试验结果表明,改进算法平均耗时为0.491 s,比传统凸壳方法增加了24.07%,但其仅占油茶果采摘机器人单个果实采摘周期的2.46%,对于图像中的遮挡油茶果目标,改进方法的识别率达到93.21%,相比传统凸壳方法提升了7.47个百分点,改进算法的平均定位检测误差和平均重合度分别为5.53%和93.43%,比传统凸壳算法平均定位误差降低了6.22个百分点,平均重合度提高了6.79个百分点,表明文中所提出的方法能够较好地识别和定位自然环境中的遮挡油茶果。     

采摘机器人识别抓取重叠番茄果实的方法研究

为适应农业果实采摘机器人自主采摘的需求,针对重叠番茄果实,设计了一种在不同光照条件下改进色差算子的组合处理识别并抓取重叠果实的方法。首先,利用中值滤波滤除噪声;然后,采用改进算子的OTSU分割算法和形态学处理对番茄图像进行背景分割,通过异或运算、腐蚀操作,使未覆盖果实与被覆盖果实的分离更加明显,进而将凸包算法、泛洪填充算法和霍夫直线检测相结合,提取出番茄的真实轮廓,并利用最小二乘法对其进行椭圆拟合,计算出果实质心进行立体匹配;最后,设计了适用于番茄果实采摘的原型机器人,主要由三自由度的机械臂构成,用于抓取果实。分别从不同角度对不同光照条件下重叠的番茄果实图像进行了实验,并进行了水果立体匹配实验,结果表明:该方法是有效、可行且高效的。     

基于SOM-K-means算法的番茄果实识别与定位方法

为解决多个番茄重叠黏连时难以识别与定位的问题,提出一种基于RGB-D图像和K-means优化的自组织映射(Self-organizing map,SOM)神经网络相结合的番茄果实识别与定位方法.首先,利用RGB-D相机拍摄番茄图像,对图像进行预处理,获取果实的轮廓信息;其次,提取果实轮廓点的平面和深度信息,筛选后进行处...     

基于深度学习的茶嫩芽分割与采摘点定位方法研究

为实现茶嫩芽快速识别与采摘点定位,研究一种轻量级深度学习网络实现茶嫩芽分割与采摘点定位。采用MobileNetV2主干网络与空洞卷积相结合,较好地平衡茶嫩芽图像分割速度与精度的矛盾,实现较高分割精度的同时,满足茶嫩芽快速识别的要求,并设计外轮廓扫描与面积阈值过滤相结合的采摘点定位方法。试验表明：所提出的茶嫩芽分割算法在单芽尖及一芽一叶数据集中精度优异,平均交并比mIoU分别达到91.65%和91.36%;在保持高精度的同时,模型复杂度低,参数量仅5.81 M、计算量仅39.78 GFOLPs;在单芽尖、一芽一叶及一芽两叶数据集中各随机抽取200张图片进行采摘点定位验证,定位准确率分别达到90.38%、95.26%和96.60%。     

基于VUE的智能采摘机器人前端开发框架研究

以智能采摘自动识别定位方式为研究对象,对葡萄自动采摘前端的图像采集和分析处理过程进行分析,利用VUE自底向上逐层构建的方式,设计一种能够对目标进行自动识别定位的智能采摘机器人识别定位算法。采用高清相机对采摘目标图像进行采集,将原始图像进行二值化处理,获取图像灰度等级,并采用葡萄图像分割的方式获取葡萄采摘点,最后通过最小角度拟合的方式确定葡萄果梗采摘点。试验结果表明:智能采摘机器人前端识别定位方法平均运行成功率高于90%,平均运行时间0.65s,能够快速准确地进行采摘对象识别定位,可为智能采摘机器人技术的推广提供理论基础。     

基于机器视觉的苹果识别和形状特征提取

提出了利用色差R-G和色差比(R-G)/(G-B)相结合的苹果识别方法.在顺光、逆光等不同情况下对拍摄的苹果图像进行了识别,并对识别后的图像进行消除噪声、区域填充等预处理,获得苹果的轮廓图像.针对轮廓图像,采用遗传算法进行形状特征提取.采取多次运行遗传算法,并依次转换目标轮廓点为背景点的方法,处理果实图像邻接、重叠问题.实验结果表明:苹果识别方法在一定程度上消除了阴影、逆光、土壤等影响,识别率达97%.基于遗传算法的形状特征提取方法,可对邻接、重叠图像进行有效分割,快速、准确地实现苹果图像圆心坐标和半径的提取.     

基于超像素特征的苹果采摘机器人果实分割方法

针对苹果采摘机器人在自然环境下对着色不均匀果实的识别分割问题,提出了基于超像素特征的苹果采摘机器人果实分割方法。首先,采用简单线性迭代聚类算法将图像分割成内部像素颜色较为一致的若干超像素单元;然后,提取每个超像素的纹理和颜色特征,并采用支持向量机将超像素分为果实和背景两个类别;最后,根据超像素之间的邻接关系对分类结果进行进一步修正。实验表明,该方法能够对大部分超像素单元进行正确分类,平均每幅图像被错误分类的超像素约为2.28个。与采用像素级特征的色差法和采用邻域像素特征的果实分割方法相比,采用超像素特征的果实分割方法具有更好的分割效果。在进行邻接关系修正前,该方法图像分割准确率达0.9214,召回率达0.8565,平均识别分割一幅图像耗时0.6087s,基本满足实时性需求。     

基于机器视觉的苹果识别和形状特征提

提出了利用色差R—G和色差比(R—G)/(G—B)相结合的苹果识别方法。在顺光、逆光等不同情况下对拍摄的苹果图像进行了识别,并对识别后的图像进行消除噪声、区域填充等预处理,获得苹果的轮廓图像。针对轮廓图像,采用遗传算法进行形状特征提取。采取多次运行遗传算法,并依次转换目标轮廓点为背景点的方法,处理果实图像邻接、重叠问题。实验结果表明：苹果识别方法在一定程度上消除了阴影、逆光、土壤等影响,识别率达97%。基于遗传算法的形状特征提取方法,可对邻接、重叠图像进行有效分割,快速、准确地实现苹果图像圆心坐标和半径的提取。     

基于高斯自适应拟合的苹果目标分割方法研究

苹果目标的准确识别是苹果机械化采摘需要解决的关键问题之一。为此,基于YUV颜色空间模型,提出了一种结合色差分量与高斯自适应拟合算法的苹果目标分割方法。该方法采用首先将苹果目标由RGB颜色空间转换至YUV颜色空间,并利用色差分量V建立果实与背景分割的高斯分布拟合模型,根据拟合结果自动获取分割阈值,以实现自然场景下苹果目标的准确分割。为了验证文中算法的有效性,利用多幅图像进行了试验并与Otsu自适应阈值分割算法进行了比较。试验结果表明,采用文中算法得到的苹果果实的平均检出率达87.08%,识别率领先Otsu算法9.91%。因此,对于着色度较为均匀的苹果目标,采用高斯自适应拟合方法可以有效提高其识别率。     

基于最小外接圆法的苹果直径检测技术

水果大小是水果机器视觉自动分选的重要依据。以苹果为研究对象,提出了一种利用最小外接圆检测苹果直径的方法。苹果样本为12枚,共计144幅苹果图像,经过图像处理后,获取每个苹果的12个近似圆度,选取最小近似圆度对应的外接圆像素直径作为该苹果的像素直径。通过对8组苹果像素直径和近似圆度与实测直径进行二元拟合,得到拟合方程,其相关系数为0.988。利用此方法估测苹果直径的绝对误差在±1.8 mm以内,同时能够确定果梗-花萼轴线与摄像机的光轴接近重合的那幅图像。该方法为利用图像中的水果姿态进行检测直径提供了新的思路。     

基于介电特征的苹果霉心病检测方法

针对苹果霉心病无法有效根据外表进行识别,且传统检测方法具有设备复杂、成本高昂等问题,本研究通过采集苹果介电参数构建苹果霉心病检测模型,从而实现简单快速的苹果霉心病无损检测。基于LCR测量仪采集220个苹果的108项介电指标（9个频率下的12项介电指标）作为原始参数,使用数据标准化、主成分分析算法等对数据进行预处理,并利用BP神经网络、支持向量机、随机森林算法构建霉心病果检测模型。试验结果表明,基于随机森林算法构建的霉心病果检测模型性能最佳,在150个苹果构建的训练集和70个苹果构建的测试集中分类准确率分别达到96.66%和95.71%;基于采用BP神经网络构建的霉心病果检测模型效果次之,分类准确率分别可达到94.66%和94.29%;基于使用支持向量机构建的模型检测效果相对较差,分类准确率分别为93.33%和91.43%。试验结果表明,使用随机森林构建的模型可以更有效地识别霉心病果和好果。本研究可为苹果病虫害及苹果品质无损检测等提供参考。     

基于机器视觉和信息融合的邻接苹果分割算

提出了利用亮度和颜色的信息融合来分割邻接苹果的方法.首先使用Lab模型对苹果图像进行分割.然后计算分割后每个区域的面积,并判断其是否为邻接苹果区域.接着在邻接区域内计算亮度信息,利用亮度产生的亮斑对邻接苹果进行分割.这样,在邻接区域以外的部分,亮度信息产生的噪声被Lab模型的信息屏蔽,而邻接区域以内的部分,具有惟一性的亮度信息可以较好分割经Lab模型处理后的邻接苹果.实验表明,此算法对邻接苹果识别非常有效,识别率大于92.89%,而且算法简单快速,平均每幅图片识别时间小于0.5 s.     

近色背景中树上绿色苹果识别方法

为实现大型果园生产中果实产量监控和预测,研究了基于机器视觉的树上绿色苹果识别方法。为彩色相机配备一环形闪光灯用于夜间苹果树的图像采集,设计了以归一化的g分量和HSV颜色空间中H、S分量为特征参数的支持向量机(SVM)分类器和以超绿算子(2G-R-B)为特征的阈值分类器组合而成的混合分类器,实现了绿色苹果在近色背景中的有效识别;针对识别结果中的果实粘连情况,通过计算区域面积以及区域长、短轴之比,识别粘连区域,并对粘连果实区域图像进行欧氏距离变换,进而针对粘连区域距离变换图像采用分水岭算法进行分割,可将大部分粘连果实分开,并最终实现近色背景中绿色苹果的识别与计数。通过对64幅果树图像实验表明,该方法平均识别正确率为89.30%。     

苹果无损检测和品质分级技术研究进展及展望

中国苹果总产量高,但出口量占比低,高端苹果市场多被进口苹果所占领,主要原因是缺乏果品品质分级精选技术与装备,采摘后处理自动化程度低,大部分果品未经加工或简单粗加工后进入消费市场,果品品质不稳定,大大降低了市场竞争力。本文分别对苹果品质无损检测和分级技术的现状进行了研究进展分析,并对其发展进行了展望。苹果无损检测技术主要包括光谱、电特性、CT、色谱、电子鼻和计算机视觉技术,针对各种技术的功能特点和优缺点,提出了发展基于新型传感器技术的苹果气味检测方法;苹果品质分级则主要采用基于机器视觉的多特征分级方法,苹果品质无损检测技术与分级技术的有机结合是苹果品质分级技术的发展方向,同时这对于提高苹果产业竞争力具有促进作用。整体而言,中国苹果品质无损检测和分级技术发展需求紧迫,检测新技术如采用纳米科学、生物技术和人工智能方法的传感器技术及产品在苹果无损、品质分级检测方面具有巨大潜力,多技术的融合如集成电、光、气和计算机视觉等实时、高效、高精度的苹果品质分级系统可能是提高苹果分级品质和提升苹果产业竞争力的重要发展方向。     

可移动式苹果内部品质果园产地分级系统

为满足苹果内部品质产地检测分级需求,本研究研发出检测模块和分级模块,构成可移动式苹果内部品质果园产地分级系统。在此系统的基础上,以苹果糖度和霉心病为代表品质指标,提出一种基于乘法效应消除（Multiplicative Effect Elimination,MEE）的光谱校正方法,用于消除苹果物理属性差异导致的有效光程变化对光谱的影响。利用该系统获取苹果600~900 nm漫透射光谱数据,分别采用多元散射校正（Multiple Scattering Correction,MSC）、标准正态变量变换（Standard Normal Variate Transform,SNV）和MEE算法对苹果光谱预处理后,建立糖度偏最小二乘回归（Partial Least Squares Regression, PLSR）预测模型和霉心病偏最小二乘判别（Partial Least Squares - Discriminant Analysis,PLS-DA）模型。结果表明,MEE算法相比于MSC和SNV算法建模结果更好,糖度预测模型的校正集相关系数（Rc）、校正集均方根误差（Root Mean Square Error of Calibration,RMSEC）、预测集相关系数（Rp）和预测集均方根误差（Root Mean Square Error of Prediction,RMSEP）分别为0.959、0.430%、0.929和0.592%;霉心病判别模型的校正集敏感性、校正集特异性、校正集准确率、预测集敏感性、预测集特异性和预测集准确率分别为98.33%、96.67%、97.50%、100.00%、90.00%和95.00%。将建立的最佳预测模型导入分级系统进行试验,结果表明该系统的分级准确率为90.00%,分级速度约3个/s。该系统具有成本低、结构简单、移动方便等优点,可以满足苹果内部品质果园产地检测分级需求。     

融合K-means聚类分割算法与凸壳原理的遮挡苹果目标识别与定位方法

自然场景下苹果目标的精确识别与定位是智慧农业信息感知与获取领域的重要内容。为了解决自然场景下苹果目标识别与定位易受枝叶遮挡的问题,在K-means聚类分割算法的基础上,提出了基于凸壳原理的目标识别算法,并与基于去伪轮廓的目标识别算法和全轮廓拟合目标识别算法作了对比。基于凸壳原理的目标识别算法利用了苹果近似圆形的形状特性,结合K-means算法与最大类间方差算法将果实与背景分离,由凸壳原理得到果实目标的凸壳多边形,对凸壳多边形进行圆拟合,标定出果实位置。为验证算法有效性,对自然场景下的157幅苹果图像进行了测试,基于凸壳原理的目标识别算法、基于去伪轮廓的目标识别方法和全轮廓拟合目标识别方法的重叠率均值分别为83.7%、79.5%和70.3%,假阳性率均值分别为2.9%、1.7%和1.2%,假阴性率均值分别为16.3%、20.5%和29.7%。结果表明,与上面两种对比算法相比较,基于凸壳原理的目标识别算法识别效果更好且无识别错误的情况,该算法可为自然环境下的果实识别与分割问题提供借鉴与参考。     

基于SIRI和CNN的苹果隐性损伤检测方法

苹果从采摘到销售过程中易发生机械损伤,需要及时剔除以避免腐烂变质。然而机械损伤早期苹果外观颜色变化不明显,通常表现为隐性损伤,检测比较困难。提出了一种基于结构光反射成像(SIRI)和卷积神经网络(CNN)的苹果隐性损伤检测方法。通过搭建SIRI系统,采集待测苹果调制的结构光图像,再利用三相位解调法提取交流分量,增强苹果隐性损伤对比度;然后利用交流分量图像制作苹果隐性损伤数据集,并使用基于CNN的语义分割网络FCN、UNet、HRNet、PSPNet、DeepLabv3+、LRASPP和SegNet训练损伤检测模型,多组试验结果表明上述模型均能有效地检测出不同情况下的苹果隐性损伤。其中HRNet模型精确率、召回率、F1值和平均交并比较高,分别为97.96%、97.52%、97.74%和97.58%,但检测速度仅为60 f/s; PSPNet模型检测速度较快,可达到217 f/s,但其检测精度略低,精确率、召回率、F1值和平均交并比分别为97.10%、94.57%、95.82%和95.90%。     

苹果采后加工碰撞损伤影响因素研究

针对苹果在清洗、分级和包装等采后加工过程中损伤率较高的问题,以红富士苹果为试验材料,利用自制的苹果跌落试验台,研究跌落高度、果实质量、碰撞材料对苹果碰撞损伤的影响。通过3因素3水平正交试验,分析试验因素对苹果碰撞损伤体积影响显著性;并通过试验确定苹果在2种碰撞材料下的碰撞损伤临界跌落高度。试验结果表明:影响苹果碰撞损伤体积的因素显著性由高到低依次为跌落高度、碰撞材料、果实质量;3种质量苹果与2种碰撞材料的碰撞损伤临界跌落高度为150 g苹果与普通碳素钢、PE板碰撞损伤临界跌落高度值分别为59.06 mm和70.93 mm;200 g苹果与普通碳素钢、PE板碰撞损伤临界跌落高度值分别为51.70 mm和63.03 mm;250 g苹果与普通碳素钢、PE板碰撞损伤临界跌落高度值分别为41.65 mm和49.88 mm。     

苹果采摘机器人夜间识别方法

提出了一种适用于苹果采摘机器人夜间识别的方法。在图像采集阶段,通过对比不同光源的照明效果,选用白炽灯作为照明光源并采用2盏白炽灯从不同角度照明的方式削弱图像中的阴影。在图像分割阶段,对比白天图像的分割方法,提出改进R-G色差分割法。此外针对夜间图像中的高亮反光区,采用二次分割的方法提取出水果表面的高亮反光区以此对分割后的图像进行修补,以得到完整的分割结果。经统计不考虑果实的遮挡和粘连,夜间苹果正确识别率达到83.7%。