基于高光谱成像技术的马铃薯外部缺陷检测

为了实现马铃薯的准确快速分级,提出基于高光谱成像技术的马铃薯外部缺陷检测方法。通过反射高光谱成像技术采集马铃薯干腐、表面碰伤、机械损伤、绿皮、孔洞以及发芽等6类外部缺陷样本及合格样本的高光谱图像。提取合格及各类缺陷样本感兴趣区域的光谱曲线并进行光谱特性分析,采用主成分分析法确定了5个特征波段(480、676、750、800和960nm),以5个波段的主成分分析的第二主成分图像作为分类图像,识别率仅为61.52%;为了提高识别率,提出波段比算法与均匀二次差分算法相结合的方法,使缺陷识别率提高到95.65%。试验结果表明:通过高光谱成像技术可以准确有效地对常见马铃薯外部缺陷进行检测,为马铃薯在线无损检测分级提供了参考。     

苹果内外品质在线无损检测分级系统设计与试验

目前苹果品质检测分级机械存在结构复杂、价格昂贵以及不能兼顾内外品质的缺点。苹果的内部品质和外部品质都是决定苹果价值的关键因素,故该研究根据静态条件下的试验分析,设计了苹果内外品质在线无损检测分级系统。该系统主要由哑铃式滚子、机器视觉外观品质检测系统模块、近红外内部品质检测系统模块、分级模块以及控制系统组成。在机器视觉外部品质检测模块设计中,为了增大苹果有碰伤部位和无碰伤部位之间的对比度,通过采集有碰伤部位和无碰伤部位的反射率光谱,确定在730 nm处两者的反射率差异最大,并以此选用波长为730 nm的红色LED光源作为机器视觉模块的光源。为获得苹果整个表面信息,苹果在向前运动的过程中完成自转,并利用算法将单个苹果3个运动状态下的图像进行提取和合成,随后对图像进行高斯滤波,大津法二值化以及轮廓提取处理,当该苹果判断为有碰伤时,直接发送剔除指令,当判断为无碰伤,对轮廓提取后图像进行圆拟合处理,并利用拟合圆直径得到该苹果的大小。近红外内部品质检测系统模块设计中,对比2种近红外检测结构,并以试验确定了将探头和光源布置在下的设计方式。最终,通过试验验证得到了系统的在线检测性能,系统对于苹果有无碰伤检测总体正确率为94%,大小检测的相关系数为0.964 6,均方根误差为2.28 1 mm,苹果内部可溶性固形物含量所建立模型的校正集相关系数为0.950 8,校正集均方根误差为0.342 6%,预测集相关系数为0.949 2,预测集均方根误差为0.448 7%。单个苹果的检测时间为0.71 s。整机具有体积小、结构简单、成本较低的优点,适用于农户和中小型企业。     

基于相移算法的苹果果梗/花萼检测方法

由于苹果表面缺陷与果梗/花萼具有相似的灰度特征,通过传统机器视觉方法难以对两者进行有效区分。为避免苹果果梗/花萼对其表面缺陷识别造成干扰,该研究提出了一种基于相移算法的苹果果梗/花萼检测方法。通过搭建条纹投影系统,投影仪投射三步相移条纹至苹果样本,摄像机同步采集经苹果表面调制的条纹图像;通过分析发现果梗/花萼区域的条纹图像凹凸性与正常区域存在明显差异,利用三步相移算法恢复条纹图像的截断相位,结合相位偏移、阈值分割和二维凸包算法便可检测出苹果果梗/花萼。试验结果表明：该方法能够有效地区分果梗/花萼和表面缺陷,识别出不同位置和角度的果梗/花萼,整体准确率可达到99.12%;同时能够满足在线检测需求,平均处理时间约为0.479s。该研究可为苹果外观品质检测提供技术支持。     

基于高光谱成像技术的灵武长枣缺陷识别

为研究快速识别灵武长枣表面裂痕、虫眼、碰伤等常见缺陷的有效方法,利用特征波长主成分分析法结合波段比算法进行长枣裂痕、虫眼、碰伤识别。首先,采用近红外(Near Infrared Reflection,NIR)波段范围的高光谱成像系统获取300个长枣反射图像,提取并分析各类型长枣光谱曲线,选择918~1 678 nm波段范围进行主成分分析,通过权重系数提取特征波长;然后,对特征波长下图像进行主成分分析,选择最优的主成分图像进行识别;最后,对未识别的长枣图像采用波段比算法进一步进行识别。NIR波段的正常枣、虫眼枣、裂痕枣、碰伤枣的识别率分别100%、90%、86%、100%。结果表明:NIR高光谱成像仪对长枣外部缺陷识别是可行的,为多光谱成像技术应用于在线检测长枣品质提供了理论依据。     

苹果品质动态无损感知及分级机器手系统

为了实现灵活高效的苹果多品质指标检测分级,基于机器视觉技术及可见/近红外光谱技术,开发了用于苹果内外部品质无损感知及分级的机器手系统。机器手系统采用六轴机械臂搭载自行研发的末端执行器,末端执行器上装载有光学传感器与抓取结构,可以抓取流水线上的苹果并同时采集苹果的光谱进行糖度检测。使用CMOS相机采集苹果图像,训练并使用PP-YOLO深度学习目标检测模型处理采集的苹果图像,计算苹果的坐标位置实现苹果的动态定位,并获取苹果的果径大小、着色度信息实现外部品质检测。采集苹果样本光谱,结合不同的光谱预处理方式,利用偏最小二乘（Partial Least-Square,PLS）方法进行建模分析。试验结果表明,使用PP-YOLO目标检测算法处理图像和计算苹果位置,其识别速度为38帧/s,极大地提高了检测速度。使用归一化光谱比值法（Normalized Spectral Ratio,NSR）作为预处理算法的糖度建模结果较佳。采用NSR+CARS（Competitive Adaptive Reweighted Sampling,竞争性自适应重加权算法）作为机器手的动态光谱模型效果较佳,该动态光谱模型相关系数Rv为0.958 9,验证均方根误差RMSEV（Root Mean Squared Error of Validation）为0.462 7%,与静态下建立的模型相比,机器手在动态状态下采集光谱对所建立的预测模型的预测效果影响较小。对整体机器手系统进行了试验验证,机器手在工作时能够无损伤地抓取苹果,给出果径大小、着色度、糖度3个检测指标并依据指标自动划分等级,然后依据等级信息分级。随后测定了3个指标的实测值与预测值进行分析,果径大小的预测相关系数为0.977 2,均方根误差为1.631 5 mm;着色度的预测相关系数为0.967 4,均方根误差为5.973 4%;糖度的预测相关系数为0.964 3,均方根误差为0.504 8%,预测结果与真实值均具有较强的线性关系和较低的预测误差,机器手系统分级正确率为95%,完成一颗苹果的定位、抓取、检测、分级和放置的时间约为5.2 s,具有较好的工作可靠性,研究结果为苹果多品质指标的高效检测提供参考。     

基于照度-反射模型的在线水果表面缺陷检测

水果表面缺陷是影响水果价格最有力的因素之一,目前大部分研究基于静态图像采用较复杂的算法分割水果表面缺陷,因此很难满足在线水果缺陷的快速检测。本文介绍了一种在线水果表面亮度均一化校正及单阈值缺陷分割方法。首先,通过RGB颜色空间转换获取HIS空间图像的色调（H）分量,基于H分量建立掩模对RGB图像的R分量执行掩模去背景;然后,基于照度-反射模型,利用低通滤波获取R分量图像的亮度分量,利用此亮度分量对去背景后的R分量图像进行亮度均一化校正;最后,利用一个简单的阈值对亮度校正后的图像进行缺陷分割。利用此算法,对416幅图像的检测结果表明总体检测率超过99%。该方法简单、有效,在在线水果缺陷检测中具有较大的应用潜力。     

基于照度-反射模型的脐橙表面缺陷检测

水果表面缺陷是影响水果价格最主要的因素之一,目前大部分研究基于静态图像采用较复杂的算法分割水果表面缺陷。该文介绍了一种基于在线水果图像的表面亮度均一化校正及单阈值缺陷分割方法。首先,通过RGB颜色空间转换获取HIS空间图像的色调（H）分量,基于H分量建立掩模对RGB图像的R分量执行掩模去背景;然后,基于照度-反射模型,利用低通滤波获取R分量图像的亮度分量,利用此亮度分量对去背景后的R分量图像进行亮度校正;最后,利用一个简单的阈值对亮度校正后的图像进行缺陷分割。利用此算法,对416幅图像的检测结果表明总体检测正确率超过99%。该方法简单、有效,在在线水果缺陷检测中具有较大的应用潜力。     

Gram-Schmidt算法在加工番茄病叶水分估测中的应用

Gram—Schmidt正交变换算法通过成分提取提高了非线性回归模型的精度。利用Gram—Schmidt正交变换算法,对加工番茄病叶相对水分含量进行了高光谱估测。研究结果表明,病叶相对水分含量的敏感波段为可见光波段R695以及近红外波段R761,R1446,R1940和R2490。对敏感波段进行正交变换,得到相对水分含量与R1940和R2490的非线性回归模型,相关系数为0.724,相对误差为0.52%,标准误差(RMSE)为0.13,真实值与预测值拟合的相关系数为0.623,表明该方法优于传统相对水分含量的线性模型。研究结果可为加工番茄病害胁迫下品质的精确诊断提供了技术支撑。     

基于灰度截留分割与十色模型的马铃薯表面缺陷检测方法

为探索基于计算机视觉的马铃薯表面缺陷检测新方法,该研究提出能将马铃薯表面疑似缺陷一次性分离出来的快速灰度截留分割方法和用于缺陷识别的十色模型。选择面积比率和十色比率作为缺陷判别特征,对分割出来的深色部位采用阈值法进行缺陷识别。采用基于快速G与亮度截留分割的2种方法对发芽进行识别。通过对326个马铃薯样本的652幅正反面图像进行试验,基于十色模型的缺陷识别方法对分割出来的深色区域的正确识别率为93.6%,基于快速G与亮度截留分割2种方法结合对有芽体图像的正确识别率为97.5%,马铃薯表面缺陷正确检测率为95     

基于图像特征融合的苹果在线分级方法

苹果在线分级是提升苹果商品化价值的重要环节,需要同时满足分级准确度和速度要求。为进一步提高苹果在线分级效率,该文借助机器视觉技术动态采集苹果传输过程中的实时图像,提出改进的三层Canny边缘检测算法来提取苹果轮廓以克服采集图像中的光线噪声影响,通过分析苹果分级指标,采用判别树对苹果的果径、缺陷面积、色泽等特征进行初步分级判断,并采用粒子群参数优化的支持向量机对果形、果面纹理、颜色分布等特征进行模型构建与分级,最后,通过将两种分级判断结果进行决策融合来实现样本精确分级。同时,采取图像压缩和特征降维方法提高实时性。试验结果表明,基于图像特征决策融合的苹果分级准确率可达到95%,平均分级速率可达到4个/s。研究结果为水果的在线分级提供参考。     

基于平滑轮廓对称轴法的苹果目标采摘点定位方法

果实采摘点的精确定位是采摘机器人必须解决的关键问题。鉴于苹果目标具有良好对称性的特点,利用转动惯量所具有的平移、旋转不变性及其在对称轴方向取得极值的特性,提出了一种基于轮廓对称轴法的苹果目标采摘点定位方法。为了解决分割后苹果目标边缘不够平滑而导致定位精度偏低的问题,提出了一种苹果目标轮廓平滑方法。为了验证算法的有效性,对随机选取的20幅无遮挡的单果苹果图像分别利用轮廓平滑和未进行轮廓平滑的算法进行试验,试验结果表明,未进行轮廓平滑算法的平均定位误差为20.678°,而轮廓平滑后算法平均定位误差为4.542°,比未进行轮廓平滑算法平均定位误差降低了78.035%,未进行轮廓平滑算法的平均运行时间为10.2ms,而轮廓平滑后算法的平均运行时间为7.5ms,比未进行轮廓平滑算法平均运行时间降低了25.839%,表明平滑轮廓算法可以提高定位精度和运算效率。利用平滑轮廓对称轴算法可以较好地找到苹果目标的对称轴并实现采摘点定位,表明将该方法应用于苹果目标的对称轴提取及采摘点定位是可行的。     

基于分水岭和凸包理论的自然场景下未成熟苹果直径测量方法

针对自然场景下生长期内树上未成熟果实的自动探测与大小计算问题,提出了一种基于改进分水岭和凸包理论的自然场景下未成熟苹果识别与直径计算方法。该方法首先对灰度图像进行形态学重构后进行边缘检测,再利用合并局部极小值点分水岭分割方法从粘连区域中提取目标果实,并结合基于凸包理论的真轮廓提取和圆拟合方法,实现目标果实圆拟合直径的自动测量。计算结果与人工测量结果进行对比试验,结果表明:在不考虑扁平型目标果的情况下,该方法的直径计算均方根误差最小值为1.91 mm,均值为2.27 mm,误差范围在品质评定等级差(5 mm)以内,具有较好的推广应用价值。研究结果为生长期内果实的大小监测提供参考。     

基于特征光谱的苹果霉心病无损检测设备设计

针对现有农产品内部品质无损检测多采用宽波段光谱技术,集成应用光谱仪与计算机完成品质分析,存在成本高、能耗大、分析过程复杂以及光谱信息冗余等问题。该文结合苹果霉心病在果心发病的特征,采用透射光谱检测方式,设计实现了基于窄带LED光源与光敏二极管的苹果霉心病无损检测设备。通过霉心病发病特征的分析可得果径和特征光谱波段的透射强度是进行霉心病检测的关键影响因素,设计光谱特性试验,对多组宽波段光谱数据采用相关性分析法得到特征光谱波段为690～730 nm。设计果径与透射光谱信息采集的基础平台,该平台包括LED光源及其驱动模块、光电转换与检测模块以及基于丝杠滑台组件与限位传感器的果径在线测量模块;采用基础平台对样品进行数据获取,以果径与透射光谱强度值为输入,建立基于误差反向传播网络的霉心病判别模型。结果表明,采用该文所述测试试验样本进行验证,设备判别准确率达到95.83%。该研究结果表明,基于特征光谱采用 LED 光源的霉心病无损检测方法是可行的,可为其他果品内部病害的检测提供借鉴思路。     

基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位

为提高苹果采摘机器人的工作效率和环境适应性,使其能全天候的在不同光线环境下对遮挡、粘连和套袋等多种情况下的果实进行识别定位,该文提出了基于YOLOv3(you only look once)深度卷积神经网络的苹果定位方法。该方法通过单个卷积神经网络(one-stage)遍历整个图像,回归目标的类别和位置,实现了直接端到端的目标检测,在保证效率与准确率兼顾的情况下实现了复杂环境下苹果的检测。经过训练的模型在验证集下的m AP(meanaverageprecision)为87.71%,准确率为97%,召回率为90%,IOU(intersection over union)为83.61%。通过比较YOLOv3与Faster RCNN算法在不同数目、不同拍摄时间、不同生长阶段、不同光线下对苹果的实际检测效果,并以F1为评估值对比分析了4种算法的差异,试验结果表明YOLOv3在密集苹果的F1高于YOLOv2算法4.45个百分点,在其他环境下高于Faster RCNN将近5个百分点,高于HOG+SVM(histogram of oriented gradient+support vector machine)将近10个百分点。并且在不同硬件环境验证了该算法的可行性,一幅图像在GPU下的检测时间为16.69 ms,在CPU下的检测时间为105.21 ms,实际检测视频的帧率达到了60帧/s和15帧/s。该研究可为机器人快速长时间高效率在复杂环境下识别苹果提供理论基础。     

基于凸壳的重叠苹果目标分割与重建算法

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

Segmentation and reconstruction of overlappedapple images based on convex hull

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

基于两级分割与区域标记梯度Hough圆变换的苹果识别

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果，该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先，使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正，增强图像的细节信息。结合果实颜色特征，提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后，采用改进后的Otsu算法进行初次分割，得到苹果目标的二值图像，该算法通过引入形态学开-闭重建滤波去除大量背景噪声，通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割，分离粘连果实区域，提取目标苹果的外部轮廓。最后，在轮廓外设置最小外接矩形标记有效区域，在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试，并与传统梯度Hough圆变换方法进行对比，本文方法在顺、逆光下的识别准确率为90.75和89.79%，比传统方法提高了15.03和16.41%，平均识别时间为0.665和0.693 s，比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域，而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求，可为苹果等类球形果实的快速识别提供参考。     

基于光照无关图理论的苹果表面阴影去除方法

阴影影响下苹果目标的快速准确识别是苹果采摘机器人视觉系统必须解决的关键技术之一。为了实现阴影影响下苹果目标的准确识别,该研究采用光照无关图理论实现了苹果表面阴影的去除。以自然场景下获取的受不同程度阴影影响的苹果目标图像为研究对象,首先利用光照无关图原理获取阴影苹果图像的光照无关图,达到突出苹果目标阴影区域的目的;其次提取原图像的红色分量信息并与关照无关图进行相加处理;最后将相加后的图像进行自适应阈值分割处理,达到去除阴影的目的。为了验证该算法的有效性与准确性,利用20幅受阴影影响的苹果目标图像进行了试验,并与Otsu算法、1.5*R-G色差算法进行了对比,试验结果表明：Otsu算法仅能识别出未受阴影影响的苹果区域;1.5*R-G 色差算法受光照影响较大,对于苹果图像的相对强光照区域和部分阴影区域不能有效识别;基于光照无关图的苹果表面阴影去除方法对阴影影响下的苹果目标图像分割效果较好,可以克服光照过强的问题,并准确识别出阴影影响下的苹果目标。文中算法的平均假阳性率为17.49%,比Otsu算法降低了52.84%,比1.5*R-G算法降低了26.18%;文中算法的平均重叠系数为86.59%,比Otsu算法提高了47.2%,比1.5*R-G算法提高了11.03%;表明利用光照无关图可以有效地去除苹果表面的阴影,将其应用于阴影影响下的苹果目标的识别是可行的。