基于时序图像跟踪的葡萄叶片病害动态监测

为提高自然成像条件下的酿酒葡萄图像中病害识别的可靠性,对时序叶片图像作连续病害检测并监测病斑变化情况。首先,在每一天利用Faster R-CNN算法对摄像机视场中葡萄叶片进行检测,对检测到的叶片采用改进卡尔曼滤波法进行跟踪,以获得叶片正面图像。为了实现多叶片跟踪和解决由遮挡而造成的跟踪失败问题,该文在卡尔曼滤波和匈牙利算法基础上,结合运动测度和深度外观信息对跟踪目标进行匹配,运动匹配时采用马氏距离,外观匹配方面采用最小余弦距离。其次,将不同日期的叶片正面图像做SIFT(scale-invariant feature transform)匹配,找到同一叶片按日期排列的一组序列图像,并在序列图像中通过深度学习技术进行病害识别。最后,通过监测叶片序列图像上病斑相对面积变化或病斑数量是否增加来确认病害的存在。该文对提出的跟踪算法、叶片匹配算法和序列图像上病害识别的精度进行了测试,试验表明:跟踪算法平均多目标跟踪准确度为73.6%,多目标跟踪精度为74.6%,基于判别模型颜色特征的传统跟踪算法两指标分别为14.3%和61.3%;基于SIFT特征的叶片匹配在识别同一叶片时的精度达到了90.9%;病害监测方面,虚警综合排除率(马修斯相关系数)达到了84.3%。该文的方法可以排除一些虚假病害,病害监测的可靠性有所提高,可适用于自然条件下葡萄病害的连续在线监测。     

基于机器视觉的温室番茄裂果检测

该文通过对温室番茄果实进行定位及裂果检测,可为番茄裂果率预估及后续裂果自动筛选提供参考。针对自然光照下采集的各类番茄图像,在相关颜色空间中进行阈值预分割,利用前期支持向量机训练得到的纹理特征分类器对预分割区域进行二次判别;之后在前景区域利用显著性角点分割构造边缘轮廓集,利用基于最小二乘法修正的改进霍夫变换拟合单个番茄目标;最后利用二维Gabor小波算子对拟合的单个番茄区域进行纹理特征提取及裂果判别。文中共采集82幅番茄图像,其中50幅图像作为训练集图像,32幅图像作为验证集,所提算法对测试集中总共128个番茄的果实正确检出率为91.41%,对其中35裂果的正确判别率为97.14%,裂果判别部分平均耗时21 ms。试验结果表明,该方法具有较好的鲁棒性与可靠性,对成熟期番茄裂果率的估计研究及采摘过程中裂果的自动分级筛选具有较好的指导意义,为未来实现温室番茄果实生长状态在线监测提供参考。     

基于卡尔曼滤波的橘小实蝇成虫运动轨迹优化跟踪

为了实现橘小实蝇虫口密度的精准监测,该文将机器视觉技术作为田间橘小实蝇成虫入侵自动化监测的感知方法。通过对监测区域内运动目标和背景的颜色分析,提出了基于卡尔曼(Kalman)滤波的运动目标颜色均值漂移跟踪算法,优化了多目标运动轨迹跟踪效果。该算法通过图像处理和匹配技术提取了橘小实蝇成虫在虫口监测区域二维平面X轴和Y轴方向上的位置坐标和速度分量,推算了橘小实蝇成虫运动轨迹递推关系。基于动态系统的状态序列线性最小方差估计理论和成虫运动轨迹关系分析,构建了卡尔曼滤波状态估计模型,并建立其预测和修正方程实现了橘小实蝇成虫运动目标位置估计。通过在虫口监测区域开展单目标和多目标分散及粘连条件下的成虫跟踪试验,试验结果表明颜色均值漂移跟踪算法对橘小实蝇成虫单目标跟踪具有较好的适应性,成虫监测计数准确率达100%,对于多目标分散和粘连情况跟踪处理效果较差,计数准确率分别下降至86%和76%;通过在颜色空间均值漂移跟踪算法的基础上引入Kalman滤波器估算目标运动的近似位置,实现了对橘小实蝇成虫分散和粘连多目标运动的持续跟踪优化,监测计数准确率分别提升至96%和93%。机器视觉技术实时跟踪橘小实蝇成虫在虫口监测区域运动轨迹试验进一步验证了橘小实蝇成虫虫口密度监测的可行性,为田间橘小实蝇成虫发生自动化监测技术研究提供了参考。     

自然环境下贴叠葡萄串的识别与图像分割算法

针对自然环境下贴叠葡萄串难以识别与分割的问题,该文首先提取HSV颜色空间中的H分量,获取贴叠葡萄串区域,分析该区域长宽比从而判定葡萄串的贴叠性质;提取葡萄串图像轮廓信息,获取轮廓拐点与类圆心点信息;利用拐点与中心点之间的斜率判定目标葡萄串所在位置。然后,利用Chan-Vese模型进行葡萄串的迭代识别,并结合拐点信息获得重叠边界的轮廓信息。最后,将重叠边界轮廓与图像轮廓进行融合,实现目标葡萄串识别。试验结果表明,该文方法的平均精准度为89.71%,平均假阳率为4.24%,识别成功率为90.91%,与现有方法相比,该文方法可实现完整目标葡萄串的识别与分割,并提高了识别与分割的精准度,为葡萄采摘机器人成功采收贴叠葡萄串提供切实可行的算法。     

基于增强Tiny YOLOV3算法的车辆实时检测与跟踪

针对深度学习方法在视觉车辆检测过程中对小目标车辆漏检率高和难以实现嵌入式实时检测的问题,该文基于Tiny YOLOV3算法提出了增强Tiny YOLOV3模型,并通过匈牙利匹配和卡尔曼滤波算法实现目标车辆的跟踪。在车载Jetson TX2嵌入式平台上,分别在白天和夜间驾驶环境下进行了对比试验。试验结果表明:与Tiny YOLOV3模型相比,增强Tiny YOLOV3模型的车辆检测平均准确率提高4.6%,平均误检率减少0.5%,平均漏检率降低7.4%,算法平均耗时增加43.8 ms/帧;加入跟踪算法后,本文算法模型的车辆检测平均准确率提高10.6%,平均误检率减少1.2%,平均漏检率降低23.6%,平均运算速度提高5倍左右,可达30帧/s。结果表明,所提出的算法能够实时准确检测出目标车辆,为卷积神经网络模型的嵌入式工程应用提供了参考。     

采用轻量级网络MobileNetV2的酿酒葡萄检测模型

为提高高分辨率田间葡萄图像中小目标葡萄检测的速度和精度,该研究提出了一种基于轻量级网络的酿酒葡萄检测模型（Wine Grape Detection Model,WGDM）。首先,采用轻量级网络MobileNetV2取代YOLOv3算法的骨干网络DarkNet53完成特征提取,加快目标检测的速度;其次,在多尺度检测模块中引入M-Res2Net模块,提高检测精度;最后,采用平衡损失函数和交并比损失函数作为改进的定位损失函数,增大目标定位的准确性。试验结果表明,提出的WGDM模型在公开的酿酒葡萄图像数据集的测试集上平均精度为81.2%,网络结构大小为44 MB,平均每幅图像的检测时间为6.29 ms;与单发检测器（Single Shot Detector,SSD）、YOLOv3、YOLOv4和快速区域卷积神经网络（Faster Regions with Convolutional Neural Network,Faster R-CNN）4种主流检测模型相比,平均精度分别提高8.15%、1.10%、3.33%和6.52%,网络结构分别减小了50、191、191和83 MB,平均检测时间分别减少了4.91、7.75、14.84和158.20 ms。因此,该研究提出的WGDM模型对田间葡萄果实具有更快速、更准确的识别与定位,为实现葡萄采摘机器人的高效视觉检测提供了可行方法。     

基于多特征融合的粒子滤波生猪采食行为跟踪

针对中国养猪业规模化、集约化迅猛发展过程中,人工观察监测记录生猪生长情况需损耗大量人力和物力,得到数据误差大的问题,该文提出将颜色特征与目标轮廓形心特征融合,基于粒子滤波算法实现生猪采食行为跟踪,当目标跟踪矩形框中心坐标和跟踪目标轮廓形心坐标之间的横坐标偏差大于跟踪目标轮廓横坐标方向的最大值与最小值的差的一半时,或其之间的纵坐标偏差大于跟踪目标轮廓纵坐标方向的最大值与最小值的差一半时,对基于颜色特征粒子滤波算法得到的跟踪矩形框的中心坐标进行二次修正,提高了目标生猪跟踪的可靠性和鲁棒性;通过对比试验,结果表明:该方法能够对目标生猪的采食行为进行自动跟踪、记录和分析,记录的目标生猪一天内的采食次数和采食时间与人工记录结果基本相同,有效跟踪平均精度为93.4%。     

基于图像法和粒度分形模型的打叶过程烟片结构在线检测

为实现烟叶采收后初加工过程打叶质量的实时监测与调控,该文采用图像分析法在线检测烟叶打后叶片结构,即叶片面积分布,应用分形理论建立烟叶打后叶片面积分布的分形模型,用分维数表征叶片面积分布特征。结果表明:分形模式计算的打后叶片面积分布结果与实测值相关系数较高,粒度分形模式可较准确描述烟叶打后叶片面积分布;分维数可表征打后叶片面积分布均匀程度,可反映出不同等级烟叶打叶特性差异;分维数与目前打叶过程的主要工艺控制指标大中片率成线性关系,相关系数大于0.90。基于图像法和粒度分形模型建立的打叶过程烟叶结构在线检测方法,可用于打叶质量的实时监测与调控。     

基于时空域联合信息的高原鼠兔运动目标检测

自然场景下的高原鼠兔序列图像对比度低,边缘较弱,目标包含多色彩且目标运动具有突变性。针对传统运动目标检测方法不能精确提取多色彩目标轮廓的问题,提出一种基于时空域联合信息的运动目标检测方法。首先,利用背景减法确定当前帧图像中目标的形心位置,得到粗分割图像及初始轮廓,然后用改进Chan-Vese(CV)模型对粗分割图像进行分割,改进Chan-Vese模型对多色彩目标图像适应性强,从而获得精确的目标轮廓。鉴于几何活动轮廓模型在图像分割过程中需不断初始化水平集函数,且初始化计算量随图像规模的增大而增多,该文在背景减法获得目标形心的基础上,以形心为中心,截取包含目标的图像块作为粗分割图像,然后利用改进Chan-Vese模型对粗分割图像精确分割,以减少分割耗时。该文对包含50帧图像的视频处理,试验结果显示:该文方法耗时仅为15.25 s,相似度指数平均为0.852 929,Jaccard指数平均为0.744 57。和背景减与CV模型相结合的运动目标检测方法相比,该文方法过分割率低,无冗余轮廓,且耗时短;和背景减与改进CV模型相结合的运动目标检测方法相比,该文实时性更高;该文所提出的目标检测方法可精确提取目标轮廓且实时性高。     

鸡蛋新鲜度综合无损检测模型及试验

为了提高鸡蛋新鲜度无损检测的准确性,该文用反映鸡蛋内部颜色的计算机图像参数和鸡蛋敲击响应特性参数构成鸡蛋新鲜度综合无损检测模型,利用两种检测方法之间的参数进行相互补偿和修正。用机器视觉装置获取鸡蛋颜色的亮度、蛋形指数,用声音采集装置获取声音的功率谱面积、共振峰频率、X轴方向的质心,通过试验测得对应鸡蛋的新鲜度（哈夫单位）。以它们为样本数据建立多元线性回归模型,获取鸡蛋新鲜度与其图像特征参数和声音特征参数之间的最优关系。经检验,所建模型判别鸡蛋新鲜度的正确率为92%。     

采用计算机视觉进行棉花虫害程度的自动测定

采用计算机视觉技术，根据棉花叶片的孔洞及叶片边缘的残缺，来测定棉花虫害的受害程度。该方法应用局部门限法完成图像与背景的分割；用高斯拉普拉斯算子，进行棉花图像的边缘检测；利用边缘跟踪算法确定棉叶中的孔洞；利用膨胀算法确定叶片边缘的残缺。实验结果表明，该方法可有效的测定棉花虫害的受害程度，其测定误差小于0.05。     

基于迁移学习的葡萄叶片病害识别及移动端应用

为解决已有的卷积神经网络在小样本葡萄病害叶片识别的问题中出现的收敛速度慢,易产生过拟合现象等问题,提出了一种葡萄叶片病害识别模型(Grape-VGG-16,GV),并针对该模型提出基于迁移学习的模型训练方式。将VGG-16网络在ImageNet图像数据集上学习的知识迁移到本模型中,并设计全新的全连接层。对收集到的葡萄叶片图像使用数据增强技术扩充数据集。基于扩充前后的数据集,对全新学习、训练全连接层的迁移学习、训练最后一个卷积层和全连接层的迁移学习3种学习方式进行了试验。试验结果表明,1)迁移学习的2种训练方式相比于全新学习准确率增加了10～13个百分点,并在仅训练25轮达到收敛,该方法有效提升了模型分类性能,缩短模型的收敛时间;2)数据扩充有助于增加数据的多样性,并随着训练次数的增加,训练与测试准确率同步上升,有效缓解了过拟合现象。在迁移学习结合数据扩充的方式下,所构建的葡萄叶片病害识别模型(GV)对葡萄叶片病害的识别准确率能达到96.48%,对健康叶、褐斑病、轮斑病和黑腐病的识别准确率分别达到98.04%、98.04%、95.83%和94.00%。最后,将最终的研究模型部署到移动端,实现了田间葡萄叶片病害的智能检测,为葡萄病害的智能诊断提供参考。     

基于机器视觉的马铃薯晚疫病快速识别

晚疫病是马铃薯的一种严重病害,可造成减产甚至绝收。因此马铃薯晚疫病的识别与控制对提高其产量有非常重要的意义。该文基于机器视觉技术对马铃薯叶部晚疫病进行检测,根据马铃薯叶片上晚疫病斑的颜色、纹理和形状特征参数的不同,提取叶片表面的特征参数,并建立数学模型对病害程度做出评价。在RGB、HSV颜色空间中,根据马铃薯叶片在患病早期叶片颜色发生变化且与健康叶片不同,利用颜色特征,建立马铃薯晚疫病的无病和患病模型,该模型对马铃薯患病早期的识别率为67.5%。利用灰度共生矩阵,采用纹理统计参数进行病害等级评价,用熵值和能量值描述晚疫病的严重程度,纹理特征对患病程度的识别率比较稳定,对患病中期与后期的识别率分别为72.5%与80%。利用形状特征的相对特征,根据病斑面积比进行晚疫病诊断,该方法对马铃薯叶片晚疫病患病后期的诊断取得较好效果,识别率为90%,但由于叶片患病早期的病斑面积小且分散,识别难度大,识别率仅为50%。针对颜色、纹理及形状特征在识别马铃薯叶片晚疫病时的优势与局限性,提出颜色纹理形状特征结合的识别方法,对患病中期与后期的识别率分别为90%和92.5%。通常马铃薯晚疫病的理化值检测法耗时数天,但利用机器视觉识别马铃薯晚疫病患病情况非常快速,根据颜色特征进行病害识别的时间约为4 s,纹理特征识别的时间为7 s,形状特征特征识别的时间为3 s,综合颜色纹理形状特征的识别由于计算量较大,识别时间为9 s。该研究可为基于机器视觉的马铃薯晚疫病的快速检测提供理论依据。     

自然光照条件下采摘机器人果实识别的表面阴影去除方法

有效的阴影检测和去除算法会大大提高自然环境下果实识别算法的性能,为农业智能化提供技术支持。该研究采用超像素分割的方法,将一张图像分割成多个小区域,在对图像进行超像素分割的基础上,对自然光照下的果园图像阴影区域与非阴影区域进行对比分析,探索8个自定义特征用于阴影检测。然后采用SVM的方法,结合8个自主探索的自定义特征,对图像中每个超像素分割的小区域进行检测,判断每个小区域是否处于阴影中,再使用交叉验证方法进行参数优化。根据Finlayson的二维积分算法策略,对检测的每一个阴影区域进行阴影去除,获得去除阴影后的自然光照图像。最后进行阴影检测的识别准确性试验,试验结果表明,本研究的阴影检测算法的平均识别准确率为83.16%,经过阴影去除后,图像的阴影区域亮度得到了提高,并且整幅图像的亮度更为均匀。该研究可为自然环境下机器人识别果实及其他工农业应用场景提供技术支持。     

基于自纠正NMS-ByteTrack的套袋葡萄估产方法

针对套袋后的葡萄体积增加和葡萄叶片表面积大容易出现重叠遮挡,及人工拍摄视频的速度不稳定可能导致套袋葡萄目标丢失的问题,该研究提出一种基于自纠正NMS(non-maximum suppression)-ByteTrack的套袋葡萄估产方法。该方法首先通过目标检测方法YOLOv5s检测视频中的套袋葡萄,将检测阶段的NMS操作后置到追踪阶段,保留因遮挡而被过滤的果实检测框;其次在ByteTrack的基础上加入相机运动补偿和改进的卡尔曼滤波算法,以自动纠正果实预测框的位置并进行追踪;最后提出一种划线计数策略对套袋葡萄自动计数。试验结果表明,该方法的多目标追踪准确率、多目标追踪精度和ID调和平均数分别为64.6%、82.4%和80.8%,相比ByteTrack分别提高了1.7个百分点、1.0个百分点和4.1个百分点,平均计数精度达到82.8%。因此,基于自纠正NMS-ByteTrack的估产方法能有效解决套袋葡萄的追踪计数问题,实现对套袋葡萄更精确地估产。     

基于迁移学习和改进CNN的葡萄叶部病害检测系统

为建立高效、准确的葡萄叶部病害检测系统,引入迁移学习机制,利用大型公开数据集对VGG16模型预训练,保持模型前端13个层的参数和权重不变,对全连接层和分类层改进后利用新数据集微调训练模型,包括对训练优化器、学习率和中心损失函数平衡参数的优选试验,最后将模型部署在Android手机端。试验表明,在微调训练阶段选择Adam优化器、初始学习率设为0.001、中心损失函数平衡参数设为0.12时,改进的VGG16模型性能最优,对葡萄6类叶部图像的分类平均准确率为98.02%,单幅图像平均检测耗时为0.327s。与未改进的VGG16模型相比,平均准确率提高了2.82%,平均检测耗时下降了66.8%,权重参数数量减少了83.4%。改进后的模型综合性能优于AlexNet、ResNet50和Inceptionv3等模型。将模型跨平台部署在Android手机端,自然环境下验证的平均准确率为95.67%,平均检测耗时为0.357 s。该研究建立的基于迁移学习和改进卷积神经网络的病害检测系统可实现对葡萄叶部病害的快速、智能诊断,为葡萄病害的及时防控提供依据。     

葡萄叶片组织结构高光谱响应特征及相关性分析

  【目的】  研究不同葡萄品种叶片组织结构特征及其光谱响应差异,揭示葡萄叶片光谱反射率差异的主要影响因素,为提高葡萄叶片营养光谱诊断精度提供参考。  【方法】  在河北廊坊葡萄园,采集夏黑、意大利、红宝石、秋黑4个葡萄品种的叶片,用Fieldspec FR2500光谱仪测定叶片光谱数据,常规化学方法测定叶片含氮量,通过扫描电镜 (SU8010) 冷冻传输技术观察和测量叶片组织结构,进行不同葡萄品种的叶片光谱与叶片组织结构的相关分析。  【结果】  葡萄叶片气孔主要分布在叶片反面,是正反面光谱反射率产生差异的主要原因,在可见光波段范围内,叶片反面光谱反射率皆高于叶片正面光谱反射率,在近红外波段范围,叶片正面光谱反射率普遍高于叶片反面光谱反射率;不同葡萄品种叶片表面气孔数量和分布不同,栅栏组织细胞厚度以及海绵组织厚度存在差异,在叶片含氮量相近条件下,不同品种的光谱反射率曲线有差异,主要是叶片组织结构和形态差异所致;叶片正面光谱的红边参数λ_red (在660～770 nm波长范围内,当光谱反射率的一阶微分值达最大时所对应的波长) 与不同品种叶片厚度相关性均达到显著或极显著水平,光谱红边参数与其它叶片结构参数也有较强相关性,其中栅栏组织和海绵组织的厚度在不同品种的光谱响应中是不可忽略的因素。  【结论】  明确了叶片正反面表皮细胞形态、叶片内部结构差异及其与光谱特征的相关性,不同葡萄品种叶片厚度变化均可以用红边参数λ_red来反映,但若考虑品种因素,还可以针对每个品种选择相关性更好的参数,这为后期葡萄叶片营养光谱诊断模型的建立和优化提供了依据:为提高叶片营养光谱诊断模型的精度,在利用光谱技术进行叶片营养诊断时需要考虑叶片结构因素的影响。