基于深度学习的复杂自然环境下桑树枝干识别方法

在复杂自然环境下完成桑树枝干识别是实现桑叶采摘机智能化的关键部分，针对实际应用中光照条件变化多、桑叶遮挡和桑树分枝多等问题，提出一种基于深度学习的复杂自然环境下桑树枝干识别方法。首先，采用旋转、镜像翻转、色彩增强和同态滤波的图像处理方法扩展数据集，以提高模型的鲁棒性，通过Resnet50目标检测网络模型以及相机标定获得照片中所需的桑树枝干坐标，通过试验发现当学习率设置为0.001，迭代次数设置为600时模型的识别效果最优。该方法对于复杂自然环境中的不同光照条件具有良好的适应性，能够对存在多条分支以及被桑叶遮挡的桑树枝干进行识别并获取坐标信息，识别准确率达到87.42%，可以满足实际工作需求。     

基于深度学习的大田甘蓝在线识别模型建立与试验

针对大田蔬菜对靶施药过程中靶标难以精准识别定位的问题,以甘蓝为研究对象,进行基于深度学习的靶标在线识别方法与模型研究。对比3种当前性能较优的目标检测模型Faster R-CNN、SSD和YOLO v5s,选择YOLO v5s作为田间甘蓝识别迁移学习模型,提出一种MobileNet v3s主干特征提取网络与深度可分离卷积融合的YOLO-mdw大田甘蓝目标识别方法,实现复杂环境下的大田甘蓝实时识别;提出一种基于卡尔曼滤波和匈牙利算法的甘蓝目标定位方法,并将模型部署于NVIDIA Xavier NX开发板上。试验结果表明,YOLO-mdw识别模型在晴天、多云、阴雨天气条件下识别准确率分别为93.14%、94.75%和94.23%,图像处理时间为54.09 ms,相对于YOLO v5s模型用时缩短26.98%;速度不大于0.6 m/s时,识别准确率达94%,平均定位误差为4.13 cm,平均甘蓝直径识别误差为1.42 cm。该靶标识别系统能在大田复杂环境下对甘蓝进行实时识别定位,为对靶施药提供技术支持。     

一种用于机器人水果采摘的快速识别方法

针对机器人水果采摘中容易受遮挡、光照变化等因素的影响而产生误识别的问题,提出了一种基于颜色分量统计的特征匹配水果识别方法。根据成熟水果所特有的颜色特性,提取代表水果特征的描述值,将其作为识别时的特征进行匹配。在匹配过程中对每个搜索子图进行匹配时采用积分求和的思想,大大提高了水果识别的效率。实验结果表明:该算法在一定程度上有效解决了光照和遮挡对识别造成的影响,能快速准确地识别出需要采摘的成熟水果类型。     

面向复杂背景环境目标的快速识别研究

面向复杂背景环境的定位目标的快速识别是野外作业机器人的关键技术,以柑橘为例,研究了自然环境下基于彩色信息的目标定位的识别方法。首先,采用YCbCr颜色模型来分析柑橘彩色图像的颜色和灰度特征,并通过Otsu与FCM分割算法相结合对在不同光照条件下拍摄的彩色目标图像进行分割;然后,利用形态学数学和区域标记消除分割后产生的随机噪声;最后,用凸包算法提取果实形状特征,并通过凸包算法来判定是否为柑橘和是否可采。对500张彩色柑橘图像进行分割,结果表明采用Cr颜色分量和Otsu与FCM算法相结合有效地解决复杂自然光照下的分割问题;对963个柑橘进行了凸包算法识别试验,总体识别率达87.53%。凸包算法对遮挡图像也可进行高效识别,并能快速、准确地提取柑橘目标的质心坐标。     

基于YUV颜色模型的番茄收获机器人图像分割方法

在研究番茄收获机器人对目标图像分割识别时,经常由于采集的图像受光照影响以及分割识别算法的计算复杂性而影响到识别的准确性和实时性.通过比较RGB、HSI、YUV等颜色模型的特点,从理论上分析了YUV颜色模型应用于收获机器人视觉系统的可行性,提出了一种基于YUV颜色模型的成熟番茄分割方法.同时综合实验及经验确定了成熟的红色番茄在RGB、HSI、YUV颜色模型中阈值范围,采用直接确定色差阈值的双阈值分割算法识别成熟番茄,并对3种颜色模型在不同的光照条件下的分割识别效果进行实验对比.实验结果证实,将基于YUV颜色模型成熟番茄分割方法应用于番茄收获机器人视觉识别系统,能很好地解决其鲁棒性和实时性问题.     

多目标肉牛进食行为识别方法研究

基于计算机视觉技术，借助已有系统获得肉牛进食行为数据，并与体重变化、健康状况等进行关联分析，对肉牛科学养殖具有重要意义。为此提出了一种基于机器视觉的肉牛进食行为识别方法。该方法采用YOLOv3模型对观测范围内的肉牛目标进行检测，利用卷积神经网络识别单个目标的进食行为，进而实现对多目标肉牛进食行为的识别。卷积操作时，利用填充（padding）增强网络对目标边缘特征的提取能力；使用修正线性单元（ReLU）为激活函数，防止梯度消失；采用丢弃（dropout）方法提高网络的泛化能力。获取实际肉牛养殖场的监控视频，构建数据集，分别在8组测试集上进行试验，本文方法对观测范围内肉牛目标检测的平均精确度为83.8%，进食行为识别的平均精确度为79.7%、平均召回率为73.0%、平均准确率为74.3%，能够满足肉牛进食行为的监测需求。基于YOLOv3模型和卷积神经网络的多目标肉牛进食行为识别方法具有较高的准确性，为肉牛行为非接触式监测提供了新的途径。     

一种基于卷积神经网络的车辆检测方法

介绍了一种基于卷积神经网络的车辆识别方法。该方法首先对车道线进行边缘检测,采用车道线模型进行匹配,从而确定道路感兴趣区域。然后采集道路视频,对其中的车辆目标进行标注,制作车辆数据集,再设计一种卷积神经网络,利用车辆数据集训练检测器,使检测器适应于车辆二分类识别的任务。最后在道路感兴趣区域中检测车辆。相较于传统的车辆识别方法,该方法具有较好的准确性与鲁棒性,在复杂行驶环境下的识别效果令人满意。     

融合强化注意力机制的农田杂草识别方法

针对农作物与杂草交叉生长,导致杂草等目标难以识别的问题,提出一种融合强化注意力机制的农田杂草识别方法。首先,利用主干网络进行特征提取,并在此基础上提出一种强化注意力模块,从水平和垂直等两个维度细粒度进行位置特征编码,通过计算原始主干网络提取的特征与位置编码之间的偏移量,强化目标物体的定位与识别;然后,在单层注意力机制的基础上,引入上下文关系链条,进一步强化模型的泛化性能,最后,结合迁移学习的训练方式缓解小样本数据集极易造成过拟合的问题。通过测试单一目标物体和交叉生长的多目标物体在晴天、雨天和阴天等多场景环境下的识别性能,结果表明,本文方法分别可以实现单一目标物体和交叉生长的多目标物体92.84%和90.01%的平均识别准确率。     

基于改进YOLO v3模型的奶牛发情行为识别研究

为提高复杂环境下奶牛发情行为识别精度和速度,提出了一种基于改进YOLO v3模型的奶牛发情行为识别方法。针对YOLO v3模型原锚点框尺寸不适用于奶牛数据集的问题,对奶牛数据集进行聚类,并对获得的新锚点框尺寸进行优化;针对因数据集中奶牛个体偏大等原因而导致模型识别准确率低的问题,引入DenseBlock结构对YOLO v3模型原特征提取网络进行改进,提高了模型识别性能;将YOLO v3模型原边界框损失函数使用均方差(MSE)作为损失函数度量改为使用FIoU和两框中心距离Dc度量,提出了新的边界框损失函数,使其具有尺度不变性。从96段具有发情爬跨行为的视频片段中各选取50帧图像,根据发情爬跨行为在活动区出现位置的不确定性和活动区光照变化的特点,对图像进行水平翻转、±15°旋转、随机亮度增强（降低）等数据增强操作,用增强后的数据构建训练集和验证集,对改进后的模型进行训练,并依据F1、mAP、准确率P和召回率R指标进行模型优选。在测试集上的试验表明,本文方法模型的识别准确率为99.15%,召回率为97.62%,且处理速度达到31f/s,能够满足复杂养殖环境、全天候条件下奶牛发情行为的准确、实时识别。     

基于HSV与形状特征融合的花椒图像识别

光照条件变化会对花椒目标识别率产生影响,关系到机器视觉技术能否有效应用于生产现场的花椒采摘。通过对HSV特性图像识别技术的分析,提出HSV和形状特征融合的花椒识别算法。该算法采用同态滤波方法对光照进行补偿,解决因为光照不均匀而导致的花椒识别率低的问题,最后利用花椒圆度特征,排除树枝及树叶等的干扰,实现花椒的准确识别。利用同态滤波方法对光照进行补偿,对于光照不强或者发生遮挡的花椒图像有较大改善,通过试验得出其平均识别率达到94.0%,比单独采用HSV特性识别时,在顺光,背光和遮阴条件下,识别率分别提高4%,13%和21%,此外在遮阴条件下运行时间缩短14.6%。为遮阴条件下提高花椒识别率提供一种方法。     

基于深度学习与复合字典的马铃薯病害识别方法

为解决自然环境下小样本病害叶片识别率低、鲁棒性不强的问题,以马铃薯病害叶片为研究对象,提出一种基于深度卷积神经网络与复合特征字典结合的病害叶片识别方法。首先,利用迁移学习技术对Faster R-CNN模型进行训练,检测出病害叶片的斑块区域;然后,采用高密度采样方法对整个斑块区域提取颜色特征和SIFT特征,建立颜色特征和SIFT特征词汇表,再由K-均值聚类算法对两类表观特征词汇表进行聚类,构造出复合特征字典;最后,将病害区域提取的特征在复合特征字典中映射后获得特征直方图,利用支持向量机训练出病害的识别模型。试验结果表明,复合特征字典中视觉单词数为50时,病害识别的鲁棒性和实时性最佳,平均识别准确率为90.83%,单帧图像耗时1.68 s;在颜色特征和SIFT特征组合下,本文方法在自然光照条件下对病害的平均识别准确率最高,达到84.16%;在相同数据集下,与传统词袋法相比,本文方法的平均识别准确率提高了25.45个百分点。     

基于动态图像阈值的智能车辆路径导航

使用机器视觉技术进行智能车辆车道路径识别时,其识别效果易受光照等外界因素的影响.考虑到条带状的导航路径在获取的路径图像中的宽度应该在一个固定范围内,可以根据使用某一图像阈值识别路径后该路径的横向宽度判定先前使用的阈值是否适合,并进行相应调整,从而获取到适合各种环境的动态阈值.在给出动态图像阈值的获取流程及实现方法的基础上,对智能车辆车道路径识别和跟踪系统进行了软硬件设计,并进行实车道路试验.试验结果表明,与一般最优阈值算法相比,提出的动态阈值方法能够在各种光照条件下,尤其是强光照下准确地识别导航路径,且路径跟踪具有较好的精确性和鲁棒性.     

基于改进卷积神经网络的复杂背景下玉米病害识别

为解决田间环境复杂背景下病害识别困难、识别模型应用率低的问题,提出了一种基于改进卷积神经网络的玉米病害识别方法,探讨了数据集的品质对建立模型性能的影响。利用复杂背景下的玉米病害图像进行数据增强、背景去除、图像细分割和归一化等处理,设计了具有5层卷积、4层池化和2个全连接层的卷积神经网络结构,利用L2正则化和Dropout策略优化网络,对复杂背景下的玉米9种病害进行识别训练和测试,优化后的CNN模型平均识别精度为97.10%,比未优化的网络模型提高9.02个百分点。利用不同大小、不同品质的数据集对优选网络进行训练和测试,数据增强后比原始样本平均识别精度提高了28.17个百分点;将复杂背景去除后,模型性能进一步提升,识别精度达到97.96%;对数据集进行细分割处理后,平均识别精度为99.12%,表明卷积神经网络需要大量的训练数据,且数据集需有一定的代表性和品质。开发了基于移动端的玉米田间病害识别系统,系统测试结果表明,平均识别准确率为83.33%,系统能够实现田间复杂环境下的玉米病害识别。     

基于ECA-YOLO v5s网络的重度遮挡肉牛目标识别方法

肉牛目标检测和数量统计是精细化、自动化、智能化肉牛养殖要解决的关键问题,受肉牛个体颜色及纹理相近和遮挡等因素的影响,现有肉牛目标检测方法实用性较差。本研究基于YOLO v5s网络与通道信息注意力模块(ECABasicBlock),提出了一种融合通道信息的改进YOLO v5s网络(ECA-YOLO v5s),在YOLO v5s模型的骨干特征提取网络部分添加了3层通道信息注意力模块。ECA-YOLO v5s网络实现了重度遮挡环境下多目标肉牛的准确识别。对养殖场监控视频分帧得到的肉牛图像采用了一种基于结构相似性的冗余图像剔除方法以保证数据集质量。数据集制作完成后经过300次迭代训练,得到模型的精确率为89.8%,召回率为76.9%,全类平均精度均值为85.3%,检测速度为76.9 f/s,模型内存占用量为24 MB。与YOLO v5s模型相比,ECA-YOLO v5s的精确率、召回率和平均精度均值分别比YOLO v5s高1.0、0.8、2.2个百分点。为了验证不同注意力机制应用于YOLO v5s的性能差异,本研究对比了CBAM(Convolutional block attention mo...     

基于改进YOLOV4网络模型的番茄果实检测

果实识别是视觉检测技术重要的环节,其识别精度易受复杂的生长环境及果实状态的影响。以大棚环境下单个、一簇、光照、阴影、遮挡、重叠6种复杂生长状态下的番茄果实为对象,提出一种基于改进YOLOv4网络模型与迁移学习相结合的番茄果实识别方法。首先利用ImageNet数据集与VGG网络模型前端16卷积层进行模型参数预训练,将训练的模型参数初始化改进模型的权值以代替原始的初始化操作,然后使用番茄数据集在VGG19的卷积层与YOLOV4的主干网络相结合的新模型中进行训练,获得最优权重实现对复杂环境下的番茄果实进行检测。最后,将改进模型与Faster RCNN、YOLOv4-Tiny、YOLOv4网络模型进行比较。研究结果表明,改进模型在6种复杂环境下番茄果实平均检测精度值mAP达到89.07%、92.82%、92.48%、93.39%、93.20%、93.11%,在成熟、半成熟、未成熟3种不同成熟度下的F1分数值为84%、77%、85%,其识别精度优于比较模型。本文方法实现了在6种复杂环境下有效地番茄果实检测识别,为番茄果实的智能采摘提供理论基础。     

复杂光照条件下视觉导引AGV路径提取方法

针对复杂光照条件下视觉导引AGV的路径提取问题,提出一种基于光照色彩模型的自适应图像照度分区阈值分割方法。首先研究光照照度与图像亮度分量的关系,通过统计复杂光照条件下的图像色彩分布建立光照色彩模型。其次根据光照色彩模型将导引路径图像划分为不同照度区域。然后在RGB色彩空间对低照度区域进行图像增强以还原路径色彩信息,在高亮光区域对色度分量Cb与Cr进行差分运算以抑制共模照度干扰,最后对不同照度区域分别进行自适应阈值分割。大量实验结果表明,在光照环境中同时存在高反光和暗阴影的运行路面,该路径提取方法具有较强的复杂光照适应性,可显著降低在高反光和暗阴影区域的欠分割及过分割误差,对导引路径的识别率为98%。     

基于U-Net网络的果园视觉导航路径识别方法

针对视觉导航系统在果园环境中面临的图像背景复杂、干扰因素多等问题,提出了一种基于U-Net网络的果园视觉导航路径识别方法。使用Labelme对采集图像中的道路信息进行标注,制作果园数据集;基于U-Net语义分割算法在数据增强的基础上对全卷积神经网络进行训练,得到道路分割模型;根据生成的道路分割掩码进行导航信息提取,生成路径拟合中点;基于样条曲线拟合原理对拟合中点进行多段三次B样条曲线拟合,完成导航路径的识别;最后进行了实验验证。结果表明,临界阈值为0.4时,语义分割模型在弱光、普通光以及强光照条件下的分割交并比分别为89.52%、86.45%、86.16%,能够平稳实现果园道路像素级分割;边缘信息提取与路径识别方法可适应不同视角下的道路掩码形状,得到较为平顺的导航路径;在不同光照和视角条件下,平均像素误差为9.5像素,平均距离误差为0.044 m,已知所在果园道路宽度约为3.1 m,平均距离误差占比为1.4%;果园履带底盘正常行驶速度一般在0～1.4 m/s之间,单幅图像平均处理时间为0.154 s。在当前果园环境和硬件配置下,本研究可为视觉导航任务提供有效参考。     

基于主动轮廓模型的自动导引车视觉导航

为解决工厂或农业非线性光照环境下视觉导航算法鲁棒性和实时性差的问题,提出基于主动轮廓模型的导航标识线检测与跟踪算法。首先用多项式曲线模型描述单向标识线,导航问题等价为计算多项式曲线参数;然后依据标识线颜色和边缘等特征,给出关于多项式曲线的主动轮廓模型的内、外部能量函数;最后将能量函数简化为非线性最小二乘问题,应用高斯牛顿法和Armijo-Goldstein不精确一维搜索方法求解曲线最优参数。采用自制视频和自主小车测试算法,结果表明:该算法对非线性光照条件下直线和弯曲标识线的导航正确率为98.96%,运算时间为40.18 ms。试验验证了该算法的鲁棒性和实时性。