基于Niblack自适应修正系数的温室成熟番茄目标提取方法

番茄目标的准确提取是番茄采摘的基础,目前番茄目标提取方法都有一定的局限性,难以满足采摘需求。该研究在传统Niblack算法的基础上,结合图像全局灰度变化的估计信息与局部区域信息之间的关联性,提出了一种基于Niblack自适应修正系数的温室成熟番茄目标提取新方法。首先对R-G番茄灰度图像,采用基于自适应修正系数选取的Niblack算法进行阈值分割,从理论意义上确定修正系数的选取原则,归一化局部标准差,实现修正值的计算及二值化过程,然后对分割后的图像去噪,最后采用最小临界矩形法提取成熟番茄果实。试验结果表明,该方法对温室成熟番茄图像有较好的提取效果,识别正确率达到98.3%,与基于归一化红绿色差灰度化的Otsu算法和传统的Niblack算法相比有更高的识别率和更快的处理速度,噪声率也明显减少,能够满足后续成熟番茄定位的需要,有效地解决传统方法适应性低,易产生伪噪声块等问题。     

基于机器视觉的温室番茄裂果检测

该文通过对温室番茄果实进行定位及裂果检测,可为番茄裂果率预估及后续裂果自动筛选提供参考。针对自然光照下采集的各类番茄图像,在相关颜色空间中进行阈值预分割,利用前期支持向量机训练得到的纹理特征分类器对预分割区域进行二次判别;之后在前景区域利用显著性角点分割构造边缘轮廓集,利用基于最小二乘法修正的改进霍夫变换拟合单个番茄目标;最后利用二维Gabor小波算子对拟合的单个番茄区域进行纹理特征提取及裂果判别。文中共采集82幅番茄图像,其中50幅图像作为训练集图像,32幅图像作为验证集,所提算法对测试集中总共128个番茄的果实正确检出率为91.41%,对其中35裂果的正确判别率为97.14%,裂果判别部分平均耗时21 ms。试验结果表明,该方法具有较好的鲁棒性与可靠性,对成熟期番茄裂果率的估计研究及采摘过程中裂果的自动分级筛选具有较好的指导意义,为未来实现温室番茄果实生长状态在线监测提供参考。     

基于光照无关图理论的苹果表面阴影去除方法

阴影影响下苹果目标的快速准确识别是苹果采摘机器人视觉系统必须解决的关键技术之一。为了实现阴影影响下苹果目标的准确识别,该研究采用光照无关图理论实现了苹果表面阴影的去除。以自然场景下获取的受不同程度阴影影响的苹果目标图像为研究对象,首先利用光照无关图原理获取阴影苹果图像的光照无关图,达到突出苹果目标阴影区域的目的;其次提取原图像的红色分量信息并与关照无关图进行相加处理;最后将相加后的图像进行自适应阈值分割处理,达到去除阴影的目的。为了验证该算法的有效性与准确性,利用20幅受阴影影响的苹果目标图像进行了试验,并与Otsu算法、1.5*R-G色差算法进行了对比,试验结果表明：Otsu算法仅能识别出未受阴影影响的苹果区域;1.5*R-G 色差算法受光照影响较大,对于苹果图像的相对强光照区域和部分阴影区域不能有效识别;基于光照无关图的苹果表面阴影去除方法对阴影影响下的苹果目标图像分割效果较好,可以克服光照过强的问题,并准确识别出阴影影响下的苹果目标。文中算法的平均假阳性率为17.49%,比Otsu算法降低了52.84%,比1.5*R-G算法降低了26.18%;文中算法的平均重叠系数为86.59%,比Otsu算法提高了47.2%,比1.5*R-G算法提高了11.03%;表明利用光照无关图可以有效地去除苹果表面的阴影,将其应用于阴影影响下的苹果目标的识别是可行的。     

基于视觉伺服的樱桃番茄果串对靶测量方法

针对鲜食番茄自动化采收实际需要,为了实现对樱桃番茄果串自动识别定位,基于激光测距和视觉伺服技术设计了果串自动对靶测量视觉系统。通过分析成熟番茄果串图像色彩特征,采用R-G色差模型凸显目标与背景差异,并根据色差灰度逐列统计锁定果串图像区域;基于Cognex Vision Pro图像处理类库Cog PMAlign Tool模板匹配工具,对果串区域内果粒进行分割;根据对边缘果粒空间坐标估算,同时对采摘机械臂进行视觉伺服控制,实现对边缘果粒对靶定位测量,并根据其空间坐标测算果串长宽特征,为采摘执行部件提供作业依据。试验结果表明,视觉系统对果串内果粒的平均识别率为83.5%,对果粒视觉对靶的平均偏差为8.38像素,果串长度测量平均误差为8.25 mm,果串宽度测量平均误差为5.25 mm。该研究结果为串形果实自动采收目标识别定位提供参考。     

基于双目立体视觉技术的成熟番茄识别与定位

研究了基于双目立体视觉技术的成熟番茄的识别与定位方法,获取了成熟番茄的位置信息,用于指导温室内成熟番茄的自动化采摘作业.该方法利用成熟番茄与背景之间颜色特征的差异进行图像分割来识别成熟番茄;根据图像分割的结果,用形心匹配方法获取番茄中心的位置;然后根据相邻区域像素点灰度的相关性,利用区域匹配方法计算番茄表面各点的深度信息.使用限制候选区域和两次阈值分割的方法减少计算量,提高了计算精度.实验结果表明,工作距离小于550 mm时,番茄深度值的误差约为±15 mm.利用该测量方法可以实现成熟番茄位置信息的获取,测量精度较高.     

基于颜色特征的绿色作物图像分割算法

绿色作物的识别是农业机械视觉系统的重要研究内容之一,该文采用RGB颜色系统,基于统计分析提出了一种绿色作物图像分割方法。从简单物体光照颜色模型方面,分析了RGB颜色空间中作物绿色“恒量”（Gvalue>Rvalue and Gvalue>Bvalue）的存在性,构建了作物图像分割相对错误率评估模型。并与传统颜色索引方法Excess Green (ExG)+auto-threshold进行了对比分析。试验结果表明,在正常光照条件下：1）采用的算法对田间不同作物-土壤组图像分割的相对错误率均有显著影响;其中,相对ExG+auto-threshold算法,采用RGB算法的结果图像中大多能保留油菜、大豆和甘蔗的形态学特征;2）采用的算法、光照变化以及算法与光照变化的交互作用均对室外美人蕉图像分割的相对错误率有显著影响;其中,相对ExG+auto-threshold算法,采用RGB算法的结果图像中大多能去除背景噪声。单因子方差分析进一步表明,光照变化对采用ExG+auto-threshold算法分割图像的阈值有显著影响。该文提出的RGB算法相对传统的ExG+auto-threshold绿色索引,对于早期生长的绿色作物是一种有效、简单的图像分割方法,对作物-土壤、光照变化不敏感。     

复杂背景下甜瓜果实分割算法

为解决复杂背景下甜瓜果实与背景图像分割的问题,该文提出了一种融合颜色特征和纹理特征的图像分割算法。首先,把采集到的甜瓜果实图像从RGB色彩空间分别转换到CIELAB和HSV色彩空间,应用a*b*分量建立角度模型,根据甜瓜果实的颜色特点选取阈值并对图像作二值化处理;为降低光照分布不均匀对图像分割的影响,采用HSV空间的HS颜色分量对果实图像进行阈值分割。在以上2种色彩空间分割的基础上,融合角度模型分割和HS阈值分割的结果,得到基于颜色特征的分割结果。然后,再按照图像的纹理特征对图像进行分割处理,融合按照颜色特征和纹理特征的分割结果。最后,为解决分割结果中的分割误差和边缘毛刺问题,以颜色特征分割的果实区域为限定条件,对按照融合特征分割的果实区域进行约束性区域生长,得到最终的图像分割结果。为了对该文提出算法的分割效果进行检验,采用超绿阈值分割算法和归一化差异指数算法(NDI)对试验图像进行分割,3种算法的平均检出率分别为83.24%、43.12%、99.09%。对比3种分割算法的检出率和误检率,可以看出,该文提出的算法试验结果明显优于超绿阈值分割算法和归一化差异指数(NDI)分割算法。     

基于Retinex图像增强的不同光照条件下的成熟荔枝识别

为了满足自然环境下荔枝采摘机器人视觉定位系统的有效性和实时性的要求,针对不同光照条件的荔枝彩色图像,采用基于双边滤波的Retinex图像增强算法凸显图像中的荔枝果实和果梗,对增强处理后的图像在HSI颜色空间中进行H分量旋转的处理,再对旋转处理后的H分量进行Otsu自动阈值分割去除荔枝图像果实和果梗外的复杂背景;然后通过将双三次插值算法和传统的模糊C均值（FuzzyC-Mean）算法融合,对去背景后的荔枝图像在YCbCr颜色空间中进行Cr分量模糊聚类分割,实现荔枝果实和果梗的识别。荔枝图像的分割试验结果表明：该算法对晴天顺光、逆光、遮阴、阴天顺光等光照条件的荔枝图像能够有效地分割,对阴天弱光照、果实被遮阴条件下的荔枝也能较好的识别,并保持荔枝果实和果梗区域的完整性,4种光照条件荔枝图像分割正确率分别为96%、90%、89.3%和88.9%,成熟荔枝识别的正确率达到了90.9%,该研究为水果采摘机器人的室外作业的实时性和有效性提供指导。     

不同类型叶面肥对日光温室越冬番茄风味品质的影响

为解决日光温室冬季低温弱光导致的番茄品质下降问题,该研究以 “184”番茄为试材,采用高效液相色谱法、顶空固相微萃取法与气相色谱-质谱联用（Gas Chromatography-Mass Spectrometry,GC-MS）等技术,研究5种不同类型叶面肥对番茄果实糖酸组分及挥发性物质种类和含量的影响。结果表明：喷施硒元素液体肥显著提高了白熟期、成熟期和完熟期番茄果实蔗糖和葡萄糖的含量（P < 0.05）,硅元素液体肥显著增加了白熟期、转色期和成熟期番茄果实蔗糖的含量,氨基酸液体肥显著提高了这三个时期番茄葡萄糖含量（P < 0.05）。喷施硒元素液体肥和鱼蛋白水溶肥显著降低了成熟期番茄α-酮戊二酸、柠檬酸和苹果酸含量（P < 0.05）。 硒元素液体肥显著提高了白熟期和转色期番茄糖酸比,分别较CK增加了15.32%和12.15%（ P < 0.05）。GC-MS结果显示,各处理成熟期番茄果实共检测到71种挥发性物质,包括20种醛类、9种酮类、17种醇类、5种酯类、10种烃类和10种其他类物质。各处理中醛类含量最多,酯类含量最少。5种叶面肥均可提高醛类含量,其中硅元素液体肥处理较对照显著增加21.89%（P < 0.05）。 所有被检测出的挥发性物质包含了9种特征香气成分,主要分为花香、果香和青香3种类型,硒元素液体肥、硅元素液体肥和海藻精水溶肥处理分别较对照显著提高番茄的特征香气成分总含量7.93%、17.68%和8.33%（P < 0.05）。综上,叶面喷施硒元素和硅元素液体肥可提高番茄果实糖组分,增加挥发性醛类物质和特征香气成分,对番茄风味品质提升效果显著,可在日光温室越冬番茄生产中推广应用。研究结果为设施番茄高品质栽培提供了数据支撑和实践参考。     

基于RGB和深度双模态的温室番茄图像语义分割模型

图像语义分割作为计算机视觉领域的重要技术,已经被广泛用于设施环境下的植物表型检测、机器人采摘、设施场景解析等领域。由于温室环境下未成熟番茄果实与其茎叶之间具有相似颜色,会导致图像分割精度不高等问题。本研究提出一种基于混合Transformer编码器的“RGB+深度”（RGBD）双模态语义分割模型DFST（depth-fusion semantic transformer）,试验在真实温室光照情况下获得深度图像,对深度图像做HHA编码并结合彩色图像输入模型进行训练,经过HHA编码的深度图像可以作为一种辅助模态与RGB图像进行融合并进行特征提取,利用轻量化的多层感知机解码器对特征图进行解码,最终实现图像分割。试验结果表明,DFST模型在测试集的平均交并比可达96.99%,对比不引入深度图像的模型,其平均交并比提高了1.37个百分点;对比使用卷积神经网络作为特征提取主干网络的RGBD语义分割模型,其平均交并比提高了2.43个百分点。结果证明,深度信息有助于提高彩色图像的语义分割精度,可以明显提高复杂场景语义分割的准确性和鲁棒性,同时也证明了Transformer结构作为特征提取网络在图像语义分割中也表现出了良好的性能,可为温室环境下的番茄图像语义分割任务提供解决方案和技术支持。     

融合K-means与Ncut算法的无遮挡双重叠苹果目标分割与重建

重叠苹果目标的准确分割是采摘机器人必须解决的关键问题之一。针对现有重叠苹果目标分割方法不能保留重叠部分轮廓信息的问题,提出了一种无枝叶遮挡的双果重叠苹果目标分割方法。该方法首先利用K-means聚类算法进行图像分割以提取苹果目标区域,然后利用Normalized Cut(Ncut)算法提取苹果目标轮廓,以实现未被遮挡苹果目标完整轮廓的准确提取,最后利用Spline插值算法对遮挡的苹果目标进行轮廓重建。为了验证算法的有效性,对20幅无枝叶遮挡双果重叠的苹果图像进行试验,并将该算法与寻找2个有效凹点用其连线分割重叠苹果目标,把分离的2个轮廓分别用Hough变换重建轮廓的方法进行对比。试验结果表明,对于图像中未被遮挡的苹果目标,利用该研究算法的平均分割误差为3.15%,提取的苹果目标与原始图像中苹果目标的平均重合度为96.08%,平均误差比Hough变换重建算法低7.73%,平均重合度高9.71%,并且该研究算法能够很好地保留未被遮挡苹果目标的完整轮廓信息,提高了分割精度。对于重叠被遮挡的苹果目标,平均分割误差和平均重合度分别为5.24%和93.81%,比Hough变换重建算法的平均分割误差低11.35%,平均重合度高12.74%,表明该算法可以较好地实现重叠被遮挡苹果目标的轮廓重建,研究结果可为实现枝叶遮挡影响下的多果重叠目标分割与重建提供参考。     

基于模糊C均值聚类的牛肉图像中脂肪和肌肉区域分割技术

介绍了一种自适应分割牛肉眼肌切面图像中脂肪和肌肉区域的图像处理技术。通过CCD摄像头获取以黑色平板为背景的牛肉眼肌切面彩色RGB图像。先根据彩色图像R分量的灰度直方图，利用最大方差自动取阀值法(OSTU)把黑色背景与整块牛肉图像分割开来；接着把处理后的图像变成灰度图像，用模糊C均值聚类算法(FCM)计算出牛肉脂肪像素和肌肉像素灰度值的聚类中心，以各个像素点灰度值与两个聚类中之间的绝对值距离来区分出图像中的脂肪和肌肉像素。结果表明，FCM方法是分割肌肉和脂肪区域的有效方法。     

改进圆形Hough变换的田间红提葡萄果穗成熟度判别

针对田间环境下红提葡萄果穗成熟度人眼判断效率低且易误判的问题,该研究采用K近邻(K-nearest neighbor,KNN)算法和最大类间方差(Otsu)法分别对葡萄果穗图像背景分割以找到最佳分割效果,采用圆形Hough变换识别葡萄果粒,并开发了可判别葡萄果穗成熟度的算法。研究结果表明,不论顺光、逆光或者与田间背景相似的绿色果穗,KNN法可实现良好的背景分割,然后圆形Hough变换法在边缘阈值和灵敏度分别取0.15和0.942时,识别葡萄果粒的准确率可达96.56%。在此研究基础上,采用该研究开发的葡萄果穗成熟度判断算法,可根据颜色将果粒划分不同成熟度等级,并实现对果穗成熟度判别,判别准确率为91.14%。该研究结果可为果农适宜期收获葡萄及自动化采摘提供重要指导。     

基于K-means算法的温室移动机器人导航路径识别

针对温室移动机器人机器视觉导航路径识别实时性差、受光照干扰影响严重等问题,首先,将HSI颜色空间3个分量进行分离,选取与光照信息无关且可以有效抑制噪声影响的色调分量H进行后续图像处理,以削弱光照对机器人视觉导航的不良影响;针对温室环境图像特有的颜色特征信息,引入K-means算法对图像进行聚类分割,将垄间道路信息与绿色作物信息各自聚类,再通过形态学腐蚀方法去除聚类后图像中存在的冗余、干扰信息,以获得完整的道路信息,与常用阈值分割方法相比,可降低因分割信息不明确而导致后续Hough变换进行直线拟合时需占据大量内存且计算量较大的问题,进而提高移动机器人路径识别的快速性,并适应温室作业机器人自主导航的高实时性要求。试验结果表明,该文方法在复杂背景与变光照条件下的温室作业环境中可大幅降低光照对机器人导航的影响,对于光照不均具有良好的鲁棒性,道路信息提取率可达95%。同时,其平均单幅图像处理时耗降低53.26%,可显著提高路径识别速度。该研究可为解决温室移动机器人机器视觉导航路径识别的鲁棒性及实时性问题提供参考。     

形态学多尺度重建结合凹点匹配分割枸杞图像

针对枸杞分级过程中因图像噪声、光照不均匀和粘连等造成枸杞难以准确分割的问题,提出了一种基于形态学多尺度开闭重建结合凹点匹配的分割方法。首先提取原始图像的红色分量去除枸杞光照阴影噪声,利用形态学多尺度混合开闭重建对红色分量图像进行重建,平滑枸杞内部而保留轮廓边缘信息;然后采用8邻域跟踪算法提取粘连枸杞轮廓边缘;最后运用圆形模板检测粘连枸杞的轮廓凹点,以凹点间最短欧氏距离为匹配条件连接凹点对,并对匹配错误的凹点对进行修正,实现粘连枸杞分割。试验结果表明,该文方法分割准确率较高,而过分割率较低,相比标记控制的分水岭和直接凹点匹配分割等方法,对粘连枸杞分割效果较好,分割准确率可达到96%。该研究可为枸杞分割技术提供理论支撑。     

基于朴素贝叶斯分类器的棉花盲椿象危害等级识别

针对自然条件下棉花盲椿象危害区域提取和危害等级识别难的问题,提出了棉花盲椿象危害等级自动识别方法。该方法以自然条件下采集的不同盲椿象危害等级棉叶图像为对象,利用最大类间方差阈值分割和多颜色分量组合方法进行作物与土壤分离和病斑分割,并利用分水岭分割方法对粘连棉叶进行分离并提取盲椿象危害棉叶区域,提取图像的颜色、纹理和形状特征,结合朴素贝叶斯分类器,依据划分的棉花盲椿象危害等级标准,对盲椿象危害等级进行识别。不同盲椿象危害等级识别试验结果表明:该模型平均识别正确率达90.0%,通过比较试验表明,该模型在识别精度比BP神经网络高2.5%,运行速度比支持向量机高11.7%,可较好的对棉花盲椿象危害等级进行识别,可为棉花盲椿象的防治提供技术支持。     

基于改进全卷积网络的棉田冠层图像分割方法

针对传统的全卷积网络分割精度低、效果差等问题,该文提出一种结合条件随机场的改进全卷积网络棉田冠层图像分割方法。首先通过提取和学习图像特征对全卷积网络进行训练以优化其分割性能,得到初步分割结果和训练后的全卷积网络模型;接着将初步分割结果以像素和像素对应的分类向量形式输入到条件随机场中,同时结合像素间相对关系构建能量函数再进行训练,对初步分割结果进行优化得到训练后的条件随机场模型;进而通过验证过程对全卷积网络和条件随机场模型参数进一步调优,得到最优的全卷积网络和条件随机场;最后结合最优的全卷积网络和条件随机场实现棉田冠层图像分割并进行试验。试验结果表明:该方法的平均像素准确率为83.24%,平均交并比为71.02%,平均速度达到0.33 s/幅,与传统的全卷积网络分割性能相比分别提升了16.22和12.1个百分点,改进效果明显;与Zoom-out和CRFas RNN(conditional random fields as recurrent neural networks)分割方法进行对比,平均像素准确率分别提升了4.56和1.69个百分点,平均交并比分别提升了7.23和0.83个百分点;与逻辑回归方法和SVM(support vector machine)方法进行对比,平均像素准确率分别提升了3.29和4.01个百分点,平均交并比分别提升了2.69和3.55个百分点。该文方法在背景复杂、光照条件复杂等环境下可以准确分割出冠层目标区域,鲁棒性较好,可为棉花生长状态自动化监测提供参考。     

基于改进判别区域特征融合算法的近色背景绿色桃子识别

针对机器视觉识别中自然光照条件下未成熟绿色果实的识别存在颜色与背景相似、光照不均、果叶遮挡等问题,该文提出在判别区域特征集成(discriminative regional feature integration,DRFI)算法框架的基础上,结合颜色、纹理、形状特征,对未成熟绿色桃子进行识别。首先通过基于图的图像分割(graph-based image segmentation)算法,取不同的参数将图像分割为多层,再计算各层图像的显著图,并用线性组合器将其融合,得到DRFI显著图。再用OTSU算法得到的阈值自适应调整之后对DRFI显著图进行分割,减少了显著图中识别为低概率果实的误分割。对于分割后仍存在的果实相互粘连的情况,通过控制标记符和距离变换相结合的分水岭分割算法将其分开。试验结果表明:该方法在训练集中的准确识别率为91.7%,在验证集中的准确识别率为88.3%,与相关文献报道的结果以及原始DRFI算法在验证集中的检测结果相比,该文方法的准确识别率提高了3.7~10.7个百分点,较有效地解决了颜色相近和果叶遮挡问题,可为果树早期估产和绿色果实采摘自动化、智能化提供参考。