基于最小错误率贝叶斯决策的苹果图像分割

为了实现苹果分级完全自动化,对苹果图像的分割进行了研究。依据最小错误率贝叶斯决策理论,提出了一种基于最小错误率贝叶斯决策的图像分割方法。从图像的直方图中估计出服从正态分布的不同类别参数,对图像中每一像素点进行不同类别判断。通过对多幅图像试验,取得良好的分割结果。试验结果表明,该方法无须滤波而具有良好的抑制噪声的能力,在图像分割中是一种可行的方法。     

苹果、桃等农副产品品质检测与分级图像处理系统的研究

通过建立图像数据采集与分析系统及相关的农副产品图像数据库,实现对农副产品品质（表面颜色、形状、缺陷）的准确分级。使用该系统,对１００个富士苹果进行质量分级,检测优等果准确率达到９６％。对其它农副产品也可以通过建立其样本图像数据库,进行多种信息的综合分析与判断,实现对不同农产品品质的检测与分级。     

苹果内外品质在线无损检测分级系统设计与试验

目前苹果品质检测分级机械存在结构复杂、价格昂贵以及不能兼顾内外品质的缺点。苹果的内部品质和外部品质都是决定苹果价值的关键因素,故该研究根据静态条件下的试验分析,设计了苹果内外品质在线无损检测分级系统。该系统主要由哑铃式滚子、机器视觉外观品质检测系统模块、近红外内部品质检测系统模块、分级模块以及控制系统组成。在机器视觉外部品质检测模块设计中,为了增大苹果有碰伤部位和无碰伤部位之间的对比度,通过采集有碰伤部位和无碰伤部位的反射率光谱,确定在730 nm处两者的反射率差异最大,并以此选用波长为730 nm的红色LED光源作为机器视觉模块的光源。为获得苹果整个表面信息,苹果在向前运动的过程中完成自转,并利用算法将单个苹果3个运动状态下的图像进行提取和合成,随后对图像进行高斯滤波,大津法二值化以及轮廓提取处理,当该苹果判断为有碰伤时,直接发送剔除指令,当判断为无碰伤,对轮廓提取后图像进行圆拟合处理,并利用拟合圆直径得到该苹果的大小。近红外内部品质检测系统模块设计中,对比2种近红外检测结构,并以试验确定了将探头和光源布置在下的设计方式。最终,通过试验验证得到了系统的在线检测性能,系统对于苹果有无碰伤检测总体正确率为94%,大小检测的相关系数为0.964 6,均方根误差为2.28 1 mm,苹果内部可溶性固形物含量所建立模型的校正集相关系数为0.950 8,校正集均方根误差为0.342 6%,预测集相关系数为0.949 2,预测集均方根误差为0.448 7%。单个苹果的检测时间为0.71 s。整机具有体积小、结构简单、成本较低的优点,适用于农户和中小型企业。     

应用纹理分析方法在线监测苹果冻干含水率

在果蔬真空冷冻干燥过程中对果蔬物料含水率进行实时监测,可为冻干过程监控和优化提供依据。该文研究以冻干果蔬物料含水分图像纹理分析为技术手段,实现连续表达干燥过程中物料的含水率。试材选用苹果,采用环形光源和高速CCD组件,在冻干仓窗外分别采集原始苹果样本MA和经CuSO4溶液染色的苹果样本MB在一个完整冻干周期中表面含水纹理变化的动态图像,运用主成分分析法对图像均值等6个含水纹理特征指标进行统计分析,并对原始样本纹理特征的第一主分量与其含水率W1、染色样本含水纹理特征的第一主分量与其含水率W2、W1和W2分别进行非线性回归分析。结果表明,模型的决定系数达到0.9376、0.9289和0.9930,且显著性检验概率均<0.0001,模型检验极显著。同时,模型相对误差基本<3%。因此,由果蔬物料含水图像的纹理特征可实现含水率的在线监测。该方法不但为真空冷冻干燥加工过程控制探索一种利用水分图像处理方法进行水分在线监测的新方法,而且也可在其他干燥加工水分监测及过程控制中应用。     

基于多方位视觉的果实形状特征的提取研究

针对传统瓜果分级中捕捉单幅果实图像来分析果实特征时信息较少的缺陷,提出了一种基于多方位视觉系统的果实形状特征提取算法。同步采集3个方向的果实图像信息,经OHTA空间上的图像分割和改进的BLOB算法去噪声等处理后,分别给出果实的多方位的图像特征信息。运用统计学原理,设计了线性分类器,对3个方向的图像特征信息进行了互补性融合,得出分级判别准则。利用开发的智能瓜果精选分级试验样机,验证了该算法的有效性, 试验结果证明识别成功率达到97％,达到了实用的要求。     

苹果品质动态无损感知及分级机器手系统

为了实现灵活高效的苹果多品质指标检测分级,基于机器视觉技术及可见/近红外光谱技术,开发了用于苹果内外部品质无损感知及分级的机器手系统。机器手系统采用六轴机械臂搭载自行研发的末端执行器,末端执行器上装载有光学传感器与抓取结构,可以抓取流水线上的苹果并同时采集苹果的光谱进行糖度检测。使用CMOS相机采集苹果图像,训练并使用PP-YOLO深度学习目标检测模型处理采集的苹果图像,计算苹果的坐标位置实现苹果的动态定位,并获取苹果的果径大小、着色度信息实现外部品质检测。采集苹果样本光谱,结合不同的光谱预处理方式,利用偏最小二乘（Partial Least-Square,PLS）方法进行建模分析。试验结果表明,使用PP-YOLO目标检测算法处理图像和计算苹果位置,其识别速度为38帧/s,极大地提高了检测速度。使用归一化光谱比值法（Normalized Spectral Ratio,NSR）作为预处理算法的糖度建模结果较佳。采用NSR+CARS（Competitive Adaptive Reweighted Sampling,竞争性自适应重加权算法）作为机器手的动态光谱模型效果较佳,该动态光谱模型相关系数Rv为0.958 9,验证均方根误差RMSEV（Root Mean Squared Error of Validation）为0.462 7%,与静态下建立的模型相比,机器手在动态状态下采集光谱对所建立的预测模型的预测效果影响较小。对整体机器手系统进行了试验验证,机器手在工作时能够无损伤地抓取苹果,给出果径大小、着色度、糖度3个检测指标并依据指标自动划分等级,然后依据等级信息分级。随后测定了3个指标的实测值与预测值进行分析,果径大小的预测相关系数为0.977 2,均方根误差为1.631 5 mm;着色度的预测相关系数为0.967 4,均方根误差为5.973 4%;糖度的预测相关系数为0.964 3,均方根误差为0.504 8%,预测结果与真实值均具有较强的线性关系和较低的预测误差,机器手系统分级正确率为95%,完成一颗苹果的定位、抓取、检测、分级和放置的时间约为5.2 s,具有较好的工作可靠性,研究结果可为苹果多品质指标的高效检测提供参考。     

基于高光谱成像的苹果虫害检测特征向量的选取

利用高光谱成像技术,明确苹果虫害无损检测的最优特征向量,以实现对苹果虫害的快速、准确、无损检测。本文首先对646 nm波长的特征图像进行阈值分割、膨胀与腐蚀运算获得掩膜图像,并利用掩模图像对高光谱图像进行掩模和主成分分析,对获得的PC1(the first principal component,第一主成分)图像进行最大熵阈值分割以有效提取虫害区域。然后对比分析虫害区域与正常区域图像的纹理特征,提取灰度共生矩阵的4个方向的4个纹理参数(能量、熵、惯性矩和相关性),并且采用基于高光谱图像的光谱差值获取了2个特征波长对应的光谱相对反射率作为光谱特征。优化组合纹理特征和光谱特征成4个特征向量组,采用BP(back propagation,反向传播)神经网络对正常苹果和虫害苹果进行检测。结果表明,融合0度方向的能量、熵、惯性矩和相关性的纹理特征和646、824 nm波段的相对光谱反射率的光谱特征进行检测识别效果最好,正常果的识别率为100%,虫害果的识别率为100%,并且速度快、误差小。该研究所获得的特征向量可为开发多光谱成像的苹果品质检测和分级系统提供参考。     

基于机器视觉的苹果最大横切面直径分级方法

针对中国苹果产后分选率和分选精度均较低而影响其商品价值等现状,在GB/T10651-2008《鲜苹果》颁布的背景下,设计了一套基于机器视觉技术的苹果分选系统。针对红富士苹果,采用了一种利用RGB颜色模型R-B通道进行阈值分割和均值滤波后,通过行扫描提取出轮廓的方法。提出了2种对苹果进行大小分级的理论模型:一种以苹果轮廓线上两点之间的最大距离作为分级标准;另一种以苹果最大横切面直径作为分级标准,其中苹果最大横切面直径通过曲线拟合得出。利用VC6.0软件编程实现了上述2种分级模型的算法。通过40个苹果6次在线分级试验表明,模型一分级正确率为93.3%,模型二分级正确率为87.1%,双通道分级效率最高可达12个/s,达到了苹果在线分选商品化应用的基本要求,为近球形果蔬参照行业分级标准进行大小自动化分选提供参考。     

基于相移算法的苹果果梗/花萼检测方法

由于苹果表面缺陷与果梗/花萼具有相似的灰度特征,通过传统机器视觉方法难以对两者进行有效区分。为避免苹果果梗/花萼对其表面缺陷识别造成干扰,该研究提出了一种基于相移算法的苹果果梗/花萼检测方法。通过搭建条纹投影系统,投影仪投射三步相移条纹至苹果样本,摄像机同步采集经苹果表面调制的条纹图像;通过分析发现果梗/花萼区域的条纹图像凹凸性与正常区域存在明显差异,利用三步相移算法恢复条纹图像的截断相位,结合相位偏移、阈值分割和二维凸包算法便可检测出苹果果梗/花萼。试验结果表明：该方法能够有效地区分果梗/花萼和表面缺陷,识别出不同位置和角度的果梗/花萼,整体准确率可达到99.12%;同时能够满足在线检测需求,平均处理时间约为0.479 s。该研究可为苹果外观品质检测提供技术支持。     

芒果双面成熟度在线检测分级系统

芒果属于后熟水果,芒果成熟度分级可为芒果后熟、加工、包装、运输等工作提供便利条件。针对芒果形状不规则,难以对整个外观进行检测的问题,该文提出了一种基于迁移学习的芒果双面成熟度在线检测分级系统。通过上、下层输送带将芒果运输到图像采集区域,分别获取正、反面图像;2层输送带之间利用柔性翻面机构实现芒果无损翻面,通过压缩试验及ANSYS软件建模分析芒果承受挤压力范围。合并正、反2张图像并进行预处理,将数据以8:1.5:1.5的比例拆分为训练集、验证集、测试集,并用迁移学习方法在卷积神经网络模型进行芒果成熟度分级。使用卷积神经网络模型对芒果成熟度分级平均准确率达到96.72%,系统测定单个样品的平均耗时为0.16s,研究结果为芒果成熟度在线分级提供参考。     

苹果外部缺陷全表面在线检测分选装置研发

中国是水果消费大国,但在水果产后检测装备方面相对滞后。针对目前在线检测装置无法采集苹果全表面图像信息且无法精确计算缺陷面积的问题,该研究以表面缺陷面积的快速检测为主要目标,提出苹果全表面图像合成算法,设计了一套苹果外部品质在线检测及分级装置。该研究以苹果为例,基于球模型提出苹果全表面图像合成算法、缺陷面积校正算法精确计算苹果的表面缺陷面积。通过试验验证,对苹果表面图像进行分割合成后,整体的图像的漏检率为0。提出缺陷面积校正算法,可以计算图像中位于任意位置的苹果缺陷真实面积,选取了120个样本进行验证,其中擦伤样本、碰伤样本、痘斑病样本、表面腐败样本各30个。4种表面损伤面积的预测值和真实值的决定系数R²均在0.97以上,均方根误差(Root Mean Squared Error, RMSE)在4 mm²以下。在偏角试验中,4种表面损伤面积的预测值和真实值的决定系数R²均在0.974 2以上,RMSE在6.304 4 mm²以下。装置检测苹果的速度为2个/s,评级准确率为95%。研究结果表明,检测与苹...     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM(convolutional block attention module),改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

基于分水岭和凸包理论的自然场景下未成熟苹果直径测量方法

针对自然场景下生长期内树上未成熟果实的自动探测与大小计算问题,提出了一种基于改进分水岭和凸包理论的自然场景下未成熟苹果识别与直径计算方法。该方法首先对灰度图像进行形态学重构后进行边缘检测,再利用合并局部极小值点分水岭分割方法从粘连区域中提取目标果实,并结合基于凸包理论的真轮廓提取和圆拟合方法,实现目标果实圆拟合直径的自动测量。计算结果与人工测量结果进行对比试验,结果表明:在不考虑扁平型目标果的情况下,该方法的直径计算均方根误差最小值为1.91 mm,均值为2.27 mm,误差范围在品质评定等级差(5 mm)以内,具有较好的推广应用价值。研究结果为生长期内果实的大小监测提供参考。     

结合LLE流形学习和支持向量机的猪肉颜色分级

猪肉颜色分级是肉品品质无损检测的重要内容。该文通过对猪肉彩色数字图像颜色规律的分析,结合猪肉红(R)、绿(G)、蓝(B)颜色分量及其亮度和饱和度值,构建了一个新的颜色维度。将采集的1070份猪肉图像样本进行专家分级和标记后,给出了猪肉颜色的特征表示,并利用支持向量机(SVM)进行了颜色分级。试验结果表明,随着训练集样本数的增加,分级准确率有所提高。当将所有样本作为训练集时,分级准确率高达96.5%。针对SVM分级后泛化能力不强的问题,采用流形学习LLE维数变换,使其泛化能力由37%提高近1倍。结果表明LLE可有效改善SVM的分级准确率。该方法可为猪肉品质无损检测的研究与应用提供参考。     

苹果采摘机器人夜间图像边缘保持的Retinex增强算法

为了提高采摘机器人的适用性和工作效率,保证成熟苹果果实的及时采摘,需要机器人具有夜间连续识别、采摘作业的能力。针对夜间苹果图像的特点,该文提出一种基于引导滤波的具有边缘保持特性的Retinex图像增强算法。利用颜色特征分量采用具有边缘保持功能的引导滤波来估计出照度分量;进而利用单尺度Retinex算法对图像进行对数变换获得仅包含物体本身特性的反射分量图像;分别对照度分量和反射分量图像增强后,再合成为新的夜间苹果的增强图像。文中选取30幅荧光灯辅助照明下采集到的夜间苹果图像进行试验的结果显示,该文增强算法处理后的30幅图像的平均灰度值,分别比原始图像、直方图均衡算法、同态滤波算法和双边滤波Retinex算法处理后的图像平均提高230.34%、251.16%、14.56%、7.75%,标准差平均提高36.90%、-23.95%、53.37%、28.00%,信息熵平均提高65.88%、99.68%、66.85%、17.53%,平均梯度提高161.70%、64.71%、139.89%、17.70%。且该文算法较双边滤波Retinex方法的运行时间平均减少74.56%。表明该文算法在夜间图像增强效果和运行时间效率上有明显的提高,为后续夜间图像的分割和目标识别提供了保障。     

自动监测装置用温室粉虱和蓟马成虫图像分割识别算法

为了监测温室黄瓜作物虫害种类、数量变化情况以预测虫害发展趋势,该文以粉虱和蓟马为例,提出了一种基于Prewitt、Canny边缘检测算子分割和SVM(support vector machine)的温室粉虱和蓟马诱虫板的图像识别算法。该方法利用HSI(Hue-Saturation-Intensity)颜色空间的I分量与L*a*b*颜色空间的b分量二值图像中害虫目标与背景的高对比性,再分别相应地利用Prewitt算子和Canny算子进行单头害虫边缘分割,再经过形态学处理,最后融合这两幅二值图像完成单头害虫区域的提取。然后提取害虫的5个形态特征(面积、相对面积、周长、复杂度、占空比)及9个颜色特征(Hue-Saturation-Value颜色空间、HSI颜色空间、L*a*b*颜色空间各分量的一阶矩),并对这14个特征参数进行归一化处理,将特征值作为SVM的输入向量,进行温室粉虱和蓟马的诱虫板图像识别。通过分析比较不同向量组合的BP(back propagation)与SVM的害虫识别率、4种不同SVM核函数的害虫识别率,发现颜色特征向量是粉虱和蓟马识别的主成分,且SVM的识别效果优于BP神经网络、线性核函数的SVM分类性能最好且稳定。结果表明:平均识别准确率达到了93.5%,粉虱和蓟马成虫的识别率分别是96.0%和91.0%,能够实现温室害虫的诱虫板图像识别。该研究可以为虫害的监测与预警提供支持,为及时采取正确的防治措施提供重要的理论依据。     

苹果采摘机器人视觉系统研究进展

视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。