基于改进可变形部件模型与判别模型的葡萄叶片检测与跟踪

为解决酿酒葡萄生长状态自动监测问题,该文提出基于机器视觉和视频处理技术的自动监测系统,开发了多角度可变形部件模型的葡萄叶片检测算法和基于颜色特征的判别模型跟踪算法。在叶片检测方面,该算法对颜色特征图像采用可变形部件模型训练出多角度叶片检测器,通过多模型匹配后产生叶片检测候选集合,选择集合中得分最高的检测结果作为最后的定位信息;在跟踪方面,结合图像中目标的颜色直方图,建立具有区分背景和目标的组合判别模型,并将位置函数的最大值作为相邻帧的目标位置,从而实现对叶片目标的实时跟踪。试验结果表明,该文检测算法对自然条件下的葡萄叶片平均检测率为88.31%,误检率为8.73%;叶片跟踪的准确性也相对较高,其重叠率高达0.83,平均中心误差为17.33像素,其证明了该算法的有效性,研究结果为葡萄生长状态的自动分析提供参考。     

基于局部判别映射算法的玉米病害识别方法

如何快速准确检测到作物病害信息是作物病害防治中的一个首要问题,根据作物叶片症状识别作物病害是作物病害检测的一个基本方法。由于病害叶片颜色、形状和纹理之间的差异很大,使得很多经典的模式识别方法不能有效地应用于作物病害识别中,为此提出了一种基于局部判别映射(local discriminant projects,LDP)的作物病害识别方法。首先,利用区域增长分割算法分割病害叶片中的病斑图像;然后,将病斑图像重组为一维向量,再由LDP对一维向量进行维数约简;最后,利用最近邻分类器识别作物病害类别。利用LDP算法将高维空间的一维向量样本点映射到低维子空间时,能够使得类内样本点更加紧凑,而类间样本点更加分离,从而得到最佳的低维分类特征。利用该方法在5种常见玉米病害叶片图像数据库上进行了病害识别试验,识别精度高达94.4%。与其他作物病害识别方法(如基于神经网络、主分量分析+概率神经网络和贝叶斯方法)和监督子空间学习算法(如算法局部判别嵌入和判别邻域嵌入)进行了比较。试验结果表明,该方法对作物病害叶片图像识别是有效可行的,为实现基于叶片图像处理技术的作物病害的田间实时在线检测奠定了基础。     

改进Hough变换的农作物病斑目标检测方法

为了能够快速、准确地对农作物病斑进行图像检测,该文根据病斑的形态特点,提出一种基于边缘检测与改进Hough变换的病斑目标检测方法。该研究根据不同种类的病害图像,采用R、G、B或者之间的差值分量确定病斑的特征图像,采用边缘提取、修复、过滤等方法获取病斑轮廓。对Hough变换的应用策略进行改进,采用边缘线编码,每个病斑根据自身形态确定变换的参数,并采用对应的圆形对病斑边界进行拟合,从而对病斑进行检测,同时对病斑边界进行有效识别。以90幅不同种类农作物病害图像为研究对象,对病斑进行类圆目标检测,检测圆拟合精度为87.01%,圆心定位误差为4.44%。结果表明,该方法能够快速、准确地对类圆病斑进行检测,同时对病斑边界有较好的识别效果。     

多尺度融合卷积神经网络的黄瓜病害叶片图像分割方法

黄瓜病害叶片中的病斑区域分割是病害检测与类型识别的关键步骤,分割效果将直接影响病害检测和识别的精度。针对传统方法对于黄瓜病害叶片图像分割精度低和泛化能力弱等问题,提出一种基于多尺度融合卷积神经网络(Multi-ScaleFusionConvolutionalNeuralNetworks,MSF-CNNs)的黄瓜病害叶片分割方法。MSF-CNNs由编码网络(EncoderNetworks,ENs)和解码网络(DecoderNetworks,DNs)两部分组成,其中ENs为一个多尺度卷积神经网络组成,用于提取病害叶片图像的多尺度信息;DNs基于九点双线性插值算法,用于恢复输入图像的尺寸和分辨率。在MSF-CNNs模型训练的过程中,使用一种渐进微调的迁移学习方法加速模型的训练,提高模型的分割精度。在复杂背景下的作物病害叶片图像数据库上进行病害叶片图像分割试验,并与现有的分割方法全卷积网络(FullyConvolutional Networks,FCNs)、Seg Net、U-Net、Dense Net进行比较。结果表明,该MSF-CNNs能够满足复杂环境下的黄瓜病害叶片图像分割需求,像素分类精度为92.38%、平均分割准确率为93.12%、平均交并比为91.36%、频率加权交并比为89.76%。与FCNs、Seg Net、U-Net、Dense Net相比较,MSF-CNNs的平均分割精度分别提高了13.00%、10.74%、10.40%、10.08%和6.40%。使用渐进学习训练方式后,训练时间缩短了0.9 h。该方法为进一步的黄瓜病害检测和识别方法研究提供了参考。     

基于深度学习与目标跟踪的苹果检测与视频计数方法

基于机器视觉技术自动检测苹果树上的果实并进行计数是实现果园产量测量和智慧果园生产管理的关键。该研究基于现代种植模式下的富士苹果视频,提出基于轻量级目标检测网络YOLOv4-tiny和卡尔曼滤波跟踪算法的苹果检测与视频计数方法。使用YOLOv4-tiny检测视频中的苹果,对检测到的果实采用卡尔曼滤波算法进行预测跟踪,基于欧氏距离和重叠度匹配改进匈牙利算法对跟踪目标进行最优匹配。分别对算法的检测性能、跟踪性能和计数效果进行试验,结果表明：YOLOv4-tiny模型的平均检测精度达到94.47%,在果园视频中的检测准确度达到96.15%;基于改进的计数算法分别达到69.14%和79.60%的多目标跟踪准确度和精度,较改进前算法分别提高了26.86和20.78个百分点;改进后算法的平均计数精度达到81.94%。该研究方法可有效帮助果农掌握园中苹果数量,为现代化苹果园的测产研究提供技术参考,为果园的智慧管理提供科学决策依据。     

自适应阈值Prewitt的石榴病斑检测算法

针对传统识别方法对石榴外表病斑及石榴轮廓检测精准度不高、抗噪声能力不强以及存在伪边缘等问题。该文提出一种基于自适应阈值Prewitt算子的石榴病斑检测算法。采用双边滤波减少噪声干扰;通过高频强调滤波提高图像高频分量,增强局部细节;根据高斯噪声概率分布设置算子卷积掩膜元素权重,利用对称性将方向梯度两两组合,并计算其L2范数作为该像素点的梯度。对人工拍摄的607张石榴图像进行图像增强和边缘检测试验,加入椒盐噪声和高斯噪声进行抗噪性能测试。试验结果表明,该文算法对石榴病斑的识别正确率为98.24%,获得图像的峰值信噪比为43.72 dB,单张图像识别耗时为0.174 s。该研究具有较好的病害样本与非病害样本区分能力,可为田间环境下石榴病害预防提供参考。     

基于卷积神经网络的温室黄瓜病害识别系统

基于图像处理和深度学习技术,该研究构建了一个基于卷积神经网络的温室黄瓜病害识别系统。针对温室现场采集的黄瓜病害图像中含有较多光照不均匀和复杂背景等噪声的情况,采用了一种复合颜色特征(combinations of color features,CCF)及其检测方法,通过将该颜色特征与传统区域生长算法结合,实现了温室黄瓜病斑图像的准确分割。基于温室黄瓜病斑图像,构建了温室黄瓜病害识别分类器的输入数据集,并采用数据增强方法将输入数据集的数据量扩充了12倍。基于扩充后的数据集,构建了基于卷积神经网络的病害识别分类器并利用梯度下降算法进行模型训练、验证与测试。系统试验结果表明,针对含有光照不均匀和复杂背景等噪声的黄瓜病害图像,该系统能够快速、准确的实现温室黄瓜病斑图像分割,分割准确率为97.29%;基于分割后的温室黄瓜病斑图像,该系统能够实现准确的病害识别,识别准确率为95.7%,其中,霜霉病识别准确率为93.1%,白粉病识别准确率为98.4%。     

基于JDE模型的群养生猪多目标跟踪

为实现群养生猪在不同场景下（白天与黑夜,猪只稀疏与稠密）的猪只个体准确检测与实时跟踪,该研究提出一种联合检测与跟踪（Joint Detection and Embedding,JDE）模型。首先利用特征提取模块对输入视频序列提取不同尺度的图像特征,产生3个预测头,预测头通过多任务协同学习输出3个分支,分别为分类信息、边界框回归信息和外观信息。3种信息在数据关联模块进行处理,其中分类信息和边界框回归信息输出检测框的位置,结合外观信息,通过包含卡尔曼滤波和匈牙利算法的数据关联算法输出视频序列。试验结果表明,本文JDE模型在公开数据集和自建数据集的总体检测平均精度均值（mean Average Precision,mAP）为92.9%,多目标跟踪精度（Multiple Object Tracking Accuracy,MOTA）为83.9%,IDF1得分为79.6%,每秒传输帧数（Frames Per Second,FPS）为73.9帧/s。在公开数据集中,对比目标检测和跟踪模块分离（Separate Detection and Embedding,SDE）模型,本文JDE模型在MOTA提升0.5%的基础上,FPS提升340%,解决了采用SDE模型多目标跟踪实时性不足问题。对比TransTrack模型,本文JDE模型的MOTA和IDF1分别提升10.4%和6.6%,FPS提升324%。实现养殖环境下的群养生猪多目标实时跟踪,可为大规模生猪养殖的精准管理提供技术支持。     

基于多层感知神经网络的水稻叶瘟病识别方法

为实现水稻叶瘟病的快速诊断,综合利用图像处理技术和神经网络来进行叶瘟病斑的识别研究。该文设计了3个多层感知分类器来进行病斑识别准确率的对比验证,分别采用叶片正常区域和病斑区域的纹理特征、颜色特征以及纹理和颜色的组合特征作为不同分类器的输入单元;输出层采用1个单元用于输出病斑区域和正常区域的识别结果。首先,该文将采集到的RGB图像转换成灰度图像,利用灰度共生矩阵分别提取叶片正常区域与病斑区域的能量、对比度、熵、逆差距作为纹理特征;紧接着,将RGB彩色空间转换至HIS和Lab空间,分别提取病斑区域和正常区域的L、a、b值作为颜色特征。最后,采用不同的BP神经网络分类器进行病斑区域识别。该文共采用120副图像作为待测对象,试验结果表明,采用颜色和纹理的组合特征进行识别,准确率要比单独使用纹理特征和颜色特征高10%～15%。本文的研究结果为进一步实现水稻病害自动诊断打下了基础。     

基于叶片病斑特征的茄子褐纹病识别方法

目前对蔬菜病害的识别方法都有一定的局限性,难以满足现代农业要求。该文以计算机视觉技术为手段,结合图像处理与模式识别技术,重点分析了茄子病害叶片上褐纹病病斑的颜色、形状、纹理特征参数,提出了一种基于叶片病斑特征的茄子褐纹病识别方法。根据在HSI(hue-saturation-intensity)颜色空间中叶片上病斑色调不同的特点,利用H分量图像提取病斑,获取病斑图片,然后提取每个病斑区域的12个颜色参数、11个形状参数和8个纹理参数等共31个特征参数。再通过方差和主成分分析法选择20个分类能力强的特征参数组成分类特征向量,并随机选取35个非褐纹病病斑的特征向量与35个褐纹病病斑的特征向量组成的训练集,构建Fisher判别函数对测试集进行分类,试验结果表明,对茄子褐纹病的识别准确率达到90%,说明该识别方法可以对茄子叶部病害进行快速、准确识别,为田间开放环境下实现茄子病害实时检测提供了技术支撑。     

采用改进Mask R-CNN算法定位鲜食葡萄疏花夹持点

为实现鲜食葡萄疏花机械化与自动化,该研究提出了一种鲜食葡萄疏花夹持点定位方法。首先基于ResNeXt骨干网络并融合路径增强,改进Mask R-CNN模型,解决鲜食葡萄花穗、果梗目标较小难以检测的问题;进而针对花穗、果梗生长姿态的复杂性与不确定性,提出一种集合逻辑算法,该算法采用IoU函数剔除重复检测的花穗与果梗,建立花穗、果梗对,并对果梗掩模进行形态学开运算,利用集合关系获取主果梗掩模,确定以主果梗质心附近的中心点为果梗的夹持点。最后,随机选取测试集中的图像进行试验。试验结果表明：果梗夹持点平均定位准确率为83.3%,平均定位时间为0.325 s,夹持点x、y方向定位误差及定位总误差最大值分别为10、12和16像素,能够满足鲜食葡萄疏花的定位精度与速度要求,可为实现鲜食葡萄疏花机械化与自动化提供理论支撑。     

基于支持向量机的葡萄病害图像识别方法

应用计算机图像处理技术和支持向量机识别方法研究了葡萄叶部病害的识别，以提高识别的准确性和效率。首先对采集到的葡萄病害彩色图像采用矢量中值滤波法去除噪声，然后采用统计模式识别方法和数学形态学对病叶图像进行了分割。最后提取了葡萄病叶彩色图像的纹理特征、病斑的形状特征和颜色特征，并用支持向量机的模式识别方法来识别葡萄病害。试验结果表明：支持向量机识别方法能获得比神经网络方法更好的识别性能；综合形状特征和纹理特征的支持向量机识别方法对葡萄病害的正确识别率优于只用形状特征或纹理特征的病种识别，综合颜色特征和纹理特征     

基于多源信息融合技术的马铃薯痂疮病无损检测方法

为了提高马铃薯痂疮病无损检测识别精度,基于机器视觉和近红外光谱的多源信息融合技术,该文提出DS（dempster shafer）证据理论结合支持向量机的马铃薯痂疮病无损检测方法。试验以360个马铃薯为研究对象,在图像特征分割时,确定了差影法结合马尔可夫随机场模型法为最佳分割方法;在光谱特征提取时,确定主成分分析方法为最佳降维方法。采用支持向量机识别方法分别建立机器视觉和近红外光谱的马铃薯痂疮病识别模型,模型对测试集马铃薯识别率分别为89.17%、91.67%。采用DS证据理论与支持向量机相结合的方法对获取的图像特征和光谱特征进行融合,建立了基于机器视觉和近红外光谱技术的多源信息融合马铃薯痂疮病检测模型,该模型对测试集马铃薯识别率为95.83%。试验结果表明,该技术对马铃薯痂疮病进行检测是可行的,融合模型比单一的机器视觉模型或近红外光谱模型识别率高。     

基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位

无损收获是采摘机器人的研究难点之一,葡萄采摘过程中容易因机械碰撞而损伤果实,为便于机器人规划出免碰撞路径,提出一种基于双目立体视觉的葡萄包围体求解与定位方法。首先通过图像分割获得葡萄图像质心及其外接矩形,确定果梗感兴趣区域并在该区域内进行霍夫直线检测,通过寻找与质心距离最小的直线来定位果梗上的采摘点,运用圆检测法获取外接矩形区域内果粒的圆心和半径。然后运用归一化互相关的立体匹配法求解采摘点和果粒圆心的视差,利用三角测量原理求出各点的空间坐标。最后以采摘点的空间坐标为原点构建葡萄空间坐标系,求解葡萄最大截面,再将该截面绕中心轴旋转360°得到葡萄空间包围体。试验结果表明:当深度距离在1 000 mm以内时,葡萄空间包围体定位误差小于5 mm,高度误差小于4.95%,最大直径误差小于5.64%,算法时间消耗小于0.69 s。该研究为葡萄采摘机器人的防损采摘提供一种自动定位方法。     

采用轻量级网络MobileNetV2的酿酒葡萄检测模型

为提高高分辨率田间葡萄图像中小目标葡萄检测的速度和精度,该研究提出了一种基于轻量级网络的酿酒葡萄检测模型（Wine Grape Detection Model,WGDM）。首先,采用轻量级网络MobileNetV2取代YOLOv3算法的骨干网络DarkNet53完成特征提取,加快目标检测的速度;其次,在多尺度检测模块中引入M-Res2Net模块,提高检测精度;最后,采用平衡损失函数和交并比损失函数作为改进的定位损失函数,增大目标定位的准确性。试验结果表明,提出的WGDM模型在公开的酿酒葡萄图像数据集的测试集上平均精度为81.2%,网络结构大小为44 MB,平均每幅图像的检测时间为6.29 ms;与单发检测器（Single Shot Detector,SSD）、YOLOv3、YOLOv4和快速区域卷积神经网络（Faster Regions with Convolutional Neural Network,Faster R-CNN）4种主流检测模型相比,平均精度分别提高8.15%、1.10%、3.33%和6.52%,网络结构分别减小了50、191、191和83 MB,平均检测时间分别减少了4.91、7.75、14.84和158.20 ms。因此,该研究提出的WGDM模型对田间葡萄果实具有更快速、更准确的识别与定位,为实现葡萄采摘机器人的高效视觉检测提供了可行方法。     

基于CSS-Cascade Mask R-CNN的有遮挡多片烟叶部位识别

烟叶的部位信息是进行烟叶分级的重要参考信息,准确识别烟叶部位对实现烟叶智能分级具有重要意义。在实际的烟叶智能分级应用中,为了提高分级效率,需要对多片烟叶等级进行同步识别。受现行上料方式的限制,同步识别的多片烟叶间往往存在局部遮挡的问题,给烟叶的目标检测和部位识别带来挑战。该研究提出一种基于改进Cascade Mask R-CNN,融合通道、非局部和空间注意力机制（channel-nonlocal-space attation）,并引入柔性极大值抑制检测框交并操作（soft non-max-suppression）与斯库拉交并比损失函数（SIoU）的目标检测与识别模型（CSS-Cascade Mask R-CNN）。该模型对Cascade Mask R-CNN进行了三方面的改进：一是在其骨干网络Resent101上同时引入通道、非局部、空间3种注意力机制,使网络更加关注未被遮挡且部位特征明显区域的显著度;二是将Cascade Mask R-CNN中的损失函数SmoothL1Loss替换为SIoU损失函数,将预测框与真实框之间的方向差异引入到模型训练中提高模型检测精度;三是在筛选候选框时将常规的非极大抑制（non-max-suppression）替换为柔性非极大抑制,以避免删除候选框造成信息丢失。试验结果表明,利用提出的模型对有遮挡多片烟叶进行检测和部位识别,检测框平均准确率均值（bbox_mAP50）达到了80.2%,与改进前的Cascade Mask R-CNN模型相比提高了7.5个百分点。提出的模型与多个主流的目标检测模型（YOLO VX、YOLO V3、YOLO V5、Mask R-CNN、Cascade R-CNN）相比,也分别高出7.1、10.2、5.8、9.2、8.4个百分点,尤其是对较难区分的下部烟叶优势明显,因此研究结果可以为有遮挡多片烟叶部位的检测识别提供参考。     

采用YOLO算法和无人机影像的松材线虫病异常变色木识别

松材线虫病是一种传播速度快的毁灭性森林病害,利用无人机遥感及时对松材线虫病病害木进行监测,是控制松材线虫病蔓延的有效方式。该研究利用YOLO算法自动识别无人机遥感影像上的松材线虫病异常变色木,利用深度可分离卷积和倒残差结构改进YOLOv4算法,提高了识别的精度和效率。比较FasterR-CNN、EfficientDet、YOLOv4和YOLOv5与改进的YOLO算法的速度和精度,并分析了改进的YOLO算法在参与训练区域和未参与训练区域的异常变色木的识别效果。试验结果表明,改进后的YOLO算法的平均精度为80.85%,每个迭代周期的训练时间为164s,参数大小为44.2 MB,单张影像的测试时间为17 ms,表现优于Faster R-CNN和YOLOv4,但与EfficientDet和YOLOv5相比有优有劣,综合比较这4个指标,改进算法在检测速度和检测精度上的表现更为平衡。未参与训练区域异常变色木的F1分数(84.18%)略低于参与训练区域(87.92%),但基本满足异常变色木的监测要求。相似地物、林分郁闭度、坡向和分辨率会对识别精度产生影响,但影响较小。因此,改进的YOLO算法精度高、效率高,可用于松材线虫病异常变色木的快速识别,并且对未参与训练区域异常变色木的识别具有较高的适用性。     

基于迁移学习的葡萄叶片病害识别及移动端应用

为解决已有的卷积神经网络在小样本葡萄病害叶片识别的问题中出现的收敛速度慢,易产生过拟合现象等问题,提出了一种葡萄叶片病害识别模型(Grape-VGG-16,GV),并针对该模型提出基于迁移学习的模型训练方式。将VGG-16网络在ImageNet图像数据集上学习的知识迁移到本模型中,并设计全新的全连接层。对收集到的葡萄叶片图像使用数据增强技术扩充数据集。基于扩充前后的数据集,对全新学习、训练全连接层的迁移学习、训练最后一个卷积层和全连接层的迁移学习3种学习方式进行了试验。试验结果表明,1)迁移学习的2种训练方式相比于全新学习准确率增加了10～13个百分点,并在仅训练25轮达到收敛,该方法有效提升了模型分类性能,缩短模型的收敛时间;2)数据扩充有助于增加数据的多样性,并随着训练次数的增加,训练与测试准确率同步上升,有效缓解了过拟合现象。在迁移学习结合数据扩充的方式下,所构建的葡萄叶片病害识别模型(GV)对葡萄叶片病害的识别准确率能达到96.48%,对健康叶、褐斑病、轮斑病和黑腐病的识别准确率分别达到98.04%、98.04%、95.83%和94.00%。最后,将最终的研究模型部署到移动端,实现了田间葡萄叶片病害的智能检测,为葡萄病害的智能诊断提供参考。     

基于深度学习的葡萄果梗识别与最优采摘定位

针对葡萄采摘机器人在采摘作业中受果园环境干扰,难以准确识别与分割葡萄果梗及定位采摘点的问题,该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络(Mask Region with Convolutional Neural Network,Mask R-CNN)模型对果梗进行识别与粗分割;然后结合阈值分割思想对果梗的色调、饱和度、亮度(Hue Saturation Value,HSV)色彩空间进行分段式提取,取每段色彩平均值作为该段果梗基准颜色阈值,利用区域生长算法对果梗进行精细化分割;最后计算果梗图像区域的质心,并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明,在不同天气光照下该方法对葡萄果梗的检测精确率平均值为88%;在果梗成功识别后最优采摘点定位准确率达99.43%,单幅图像的果梗采摘定位平均耗时为4.90s,对比改进前Mask R-CNN检测耗时减少了0.99 s,F1-得分提高了3.24%,检测效率明显提升,该研究为葡萄采摘机器人提供了一种采摘点定位方法。