基于深度学习和图像处理的水果收获机器人抓取系统

首先,介绍了水果收获机器人抓取系统的总体架构;然后,利用深度学习对水果目标识别进行了研究,实现了一套基于卷积神经网络的目标检测算法;接着,利用图像处理技术实现了对目标物体定位的功能,可以引导水果收获机器人完成对目标水果的采摘。实验结果表明:水果收获机器人抓取系统对水果坐标的计算误差较小,且具备较强的水果识别和定位能力。     

采摘机器人果实识别与定位研究——基于双目视觉和机器学习

分析了双目视觉系统的工作原理及视觉标定方法,利用YOLO V2卷积神经网络算法实现对目标果实的识别,并对目标果实的空间定位进行了深入研究,设计了一套基于双目视觉和机器学习的采摘机器人果实识别与定位系统。在多次实际定位实验中,橘子的深度定位误差最大值为1.06mm,证实了系统具有一定的准确性和稳定性。     

基于农作物病害检测与识别的卷积神经网络模型研究进展

农作物病害的精准检测与识别是推动农业生产智能化与现代化发展的重要举措。随着计算机视觉技术的发展,深度学习方法已得到快速应用,利用卷积神经网络进行农作物病害检测与识别成为近年来研究的热点。基于传统农作物病害识别方法,分析传统方法的弊端所在;立足于农作物病害检测与识别的卷积神经网络模型结构,结合卷积神经网络模型发展和优化历程,针对卷积神经网络在农作物病害检测与识别的具体应用进行分类,从基于公开数据集和自建数据集的农作物病害分类识别、基于双阶段目标检测和单阶段目标检测的农作物病害目标检测以及国外和国内的农作物病害严重程度评估3个方面,对各类卷积神经网络模型研究进展进行综述,对其性能做了对比分析,指出了基于农作物病害检测与识别的卷积神经网络模型当前存在的问题有：公开数据集上识别效果良好的网络模型在自建复杂背景下的数据集上识别效果不理想;基于双阶段目标检测的农作物病害检测算法实时性差,不适于小目标的检测;基于单阶段目标检测的农作物病害检测算法在复杂背景下检测精度较低;复杂大田环境中农作物病害程度评估模型的精度较低。最后对未来研究方向进行了展望：如何获取高质量的农作物病害数据集;如何提升网络的泛化性能;如何提升大田环境中农作物监测性能;如何进行大面积植株受病的范围定位、病害严重程度的评估以及单枝植株的病害预警。     

基于无人机遥感与卷积神经网络的草原物种分类方法

基于无人机高光谱成像遥感系统,在400～1 000 nm波段内采集低矮、混杂生长的荒漠草原退化指示物种的高光谱图像信息。分别在退化指示物种的开花期、结实期和黄枯期进行飞行实验,飞行高度30 m,高光谱图像地面分辨率2. 3 cm。采用特征波段提取与深度学习卷积神经网络相结合的方式,提出一种荒漠草原物种水平分类的方法,结合植物物候给出了中国内蒙古中部荒漠草原物种分类的推荐时相,总体分类精度和Kappa系数平均值分别达到94%和0. 91。研究结果表明,无人机高光谱成像遥感技术及深度卷积神经网络可以较好地实现荒漠草原退化指示物种的分类,与基于径向基核函数的支持向量机、基于主成分分析的深度卷积神经网络分类法相比,基于特征波段选择的深度卷积神经网络分类法效果最好,分类精度最高。无人机搭载高光谱成像仪低空遥感和卷积神经网络法提供了一种草原物种水平分类的途径。     

基于CNN和图像深度特征的雏鸡性别自动鉴别方法

为有效辨别雏鸡性别,提高养鸡效益,针对部分雏鸡的泄殖腔特征不明显、采集雏鸡泄殖腔图像易受光线影响的问题,提出了一种基于卷积神经网络和图像深度特征的雏鸡性别自动鉴别方法。以翻肛法采集的雏鸡泄殖腔图像为研究对象,利用卷积神经网络构建待识别雏鸡泄殖腔的深度特征和雏鸡泄殖腔的深度特征向量集合库;将待识别雏鸡泄殖腔的深度特征与雏鸡泄殖腔的深度特征集合库进行相似度比较,并对比较结果进行排序;将排序结果中排在前n个与待识别雏鸡泄殖腔图像最接近的深度特征,与待识别雏鸡泄殖腔的深度特征进行特征融合,再通过卷积神经网络进行识别。结果表明,本文方法在测试数据集的识别准确率达到了97. 04%,在生产环境下识别准确率达到了96. 82%,相比常规的卷积神经网络方法,本文方法提高了雏鸡性别的识别准确率。     

基于深度卷积神经网络的柑橘目标识别方法

针对户外自然环境,基于深度卷积神经网络设计了对光照变化、亮度不匀、前背景相似、果实及枝叶相互遮挡、阴影覆盖等自然环境下典型干扰因素具有良好鲁棒性的柑橘视觉识别模型。模型包括可稳定提取自然环境下柑橘目标视觉特征的深层卷积网络结构、可提取高层语义特征来获取柑橘特征图的深层池化结构和基于非极大值抑制方法的柑橘目标位置预测结构,并基于迁移学习完成了柑橘目标识别模型训练。本文运用多重分割的方法提高了柑橘目标识别模型的多尺度图像检测能力和实时性,利用包含多种干扰因素的自然环境下柑橘目标数据集测试,结果表明,柑橘识别模型对自然采摘环境下常见干扰因素及其叠加具有良好的鲁棒性和实时性,识别平均准确率均值为86. 6%,平均损失为7. 7,平均单帧图像检测时间为80 ms。     

基于帧间路径搜索和E-CNN的红枣定位与缺陷检测

针对红枣自动分级视频图像中红枣定位、缺陷检测难问题,提出一种基于帧间最短路径搜索的目标定位方法和集成卷积神经网络模型(Ensemble-convolution neural network,E-CNN)。通过建立图像坐标系及图像预处理,获得图像中单个红枣目标的位置坐标,并将其映射至空间坐标系中,结合帧间最短路径判定规则,实现目标位置坐标随视频时间序列更新、传递,并且运用此方法快速、有效地构建数据集。基于"Bagging"集成学习方式,采用E-CNN通过训练集构建基础卷积神经网络树模型,再根据每棵基础树模型输出结果,通过"投票"方式得出模型最终结果。试验结果表明,利用帧间最短路径搜索的目标定位方法,定位准确率达100%。同时,使用E-CNN,模型的识别正确率和召回率分别达到98. 48%和98. 39%,分类精度大于颜色特征分类模型(86. 62%)、纹理特征分类模型(86. 40%)和基础卷积神经网络模型(95. 82%)。E-CNN模型具有较高的识别正确率及较强的鲁棒性,可为其他农产品分选、检测提供参考。     

FC-CNN:基于卷积神经网络的水果图像分类算法

针对现有基于卷积神经网络的水果图像分类算法均使用池化层进行降维处理会丢失部分特征,导致分类精度有待提高的问题,提出FC-CNN(Fruit Classification Convolutional Neural Network)水果图像分类算法.该算法基于深度卷积神经网络思想,设计了一种由二维卷积层、批量规范化层和激活...     

基于红外热成像的白羽肉鸡体温检测方法

为了快速、准确地检测肉鸡体温,提出了一种红外热成像技术和深度学习相结合的肉鸡体温检测方法。以卷积神经网络为基础,建立肉鸡头部和腿部的感兴趣区域(Region of interest,ROI)识别模型,提取肉鸡头部和腿部的最高温度,结合环境温度、相对湿度和光照强度,分别构建了基于多元线性回归和基于BP神经网络的肉鸡翅下体温反演模型。试验结果表明,基于深度卷积神经网络(Convolutional neural networks,CNNs)的感兴趣区域识别模型在测试集上的查准率和查全率分别为96. 77%和100%,基于多元线性回归和BP(Back propagation)神经网络的反演模型平均相对误差分别为0. 33%和0. 29%。基于BP神经网络的肉鸡翅下温度反演模型具有更高的准确性,可准确检测肉鸡体温。     

基于卷积神经网络的教学视频知识点定位方法

为了让学习者通过点击教学视频中相应的索引条目来对相关知识点进行学习,避免反复拖动视频进度条造成时间的大量浪费,提出了基于卷积神经网络的教学视频知识点定位方法。该方法首先提取教学视频关键帧;接着用投影技术对关键帧中的汉字进行提取,建立知识点的树结构;最后,对卷积神经网络进行训练实现对教学视频知识点的定位。     

大蒜联合收获机按压式切根装置设计与试验

针对大蒜联合收获作业过程中根系切净率低与损伤率高的问题,设计了一种按压式切根装置,阐述了其主要结构与工作机理。通过理论计算确定了夹持输送与切割机构作业参数,构建大蒜夹持运动方程和拨轮组动力、变形及切割力学模型。以链轮、拨轮和圆盘刀转速为试验因素,伤蒜率和切净率为试验指标,利用Design-Expert 8.0.5软件进行回归与响应面分析,构建三元二次回归模型,得到各因素对指标值的影响顺序。结果表明,当链轮、拨轮和圆盘刀转速为107、52、197 r/min时,装置性能最优,伤蒜率和切净率分别为0.63%和97.07%。对比鳞茎顶端定位“浮动切根装置”的最优参数组合,结果表明,所提出的装置伤蒜率降低2.15个百分点,切净率提高3.9个百分点。对优化因素进行试验验证,验证与优化结果基本一致,满足大蒜机械化收获高效切根作业要求。     

蒜薹采收方式及植株叶片损伤程度对鳞茎均重的影响

为探究蒜薹不同采收方式及植株叶片损伤程度与鳞茎均重之间的关联机制,开展两年的大蒜田间试验研究。试验以"苍山白蒜"和"金乡紫皮蒜"两个大蒜品种为材料,研究不采薹、手工采薹、犁刀法采薹、剪花苞式采薹及不同植株叶片损伤程度等12种蒜薹采收方式对鳞茎均重的影响。试验数据均表明,以鳞茎均重为评价指标,各采收方式对评价指标均有不同程度的影响。剪花苞式处理组指标值最高,不采薹处理组指标值最低,且两组指标值差异显著;手工采薹与犁刀法采薹的指标值差异不显著。植株叶片损伤程度与指标值呈显著负线性相关关系。研究结果为优选蒜薹和鳞茎的组合采收方式提供依据,同时也为蒜薹采收机械的研究提供数据参考。     

大蒜收获机浮动切根装置作业机理分析与参数优化

为深入研究大蒜浮动切根装置的作业机理和作业质量提升技术途径,对大蒜根系浮动切割作业过程中的力学特性进行理论研究,推导了切根作业过程鳞茎碰撞动力学方程,得出鳞茎初始碰撞相对速度是影响碰撞损伤的关键参数;分析了根系滑切原理,建立了刀刃切割阻力力学模型,分析了根系群切割阻力的形成原因;运用高速摄影技术解析了鳞茎碰撞、根系群扰动和断裂等力学行为的产生过程。针对影响切根作业质量的主要因素进行了响应面试验,建立了伤蒜率、切净率预测数学模型,分析了各因素对伤蒜率、切净率的影响,并进行了综合参数优化,得到浮动切根装置较优参数组合为：输送速度1m/s、切刀转速2600r/min、刃口倾斜角33°、螺旋防护栅螺距28mm,试验测定伤蒜率为2.78%,切净率为93.17%,各项作业指标满足大蒜机械化收获切根作业要求。     

基于坐标注意力机制和YOLO v5s模型的山羊脸部检测方法

山羊的脸部检测对羊场的智能化管理有着重要的意义。针对实际饲养环境中,羊群存在多角度、分布随机、灵活多变、羊脸检测难度大的问题,以YOLO v5s为基础目标检测网络,提出了一种结合坐标信息的山羊脸部检测模型。首先,通过移动设备获取舍内、舍外、单头以及多头山羊的图像并构建数据集。其次,在YOLO v5s的主干网络融入坐标注意力机制,以充分利用目标的位置信息,提高遮挡区域、小目标、多视角样本的检测精度。试验结果表明,改进YOLO v5s模型的检测精确率为95.6%,召回率为83.0%,mAP_0.5为90.2%,帧速率为69 f/s,模型内存占用量为13.2 MB;与YOLO v5s模型相比,检测精度提高1.3个百分点,模型所占内存空间减少1.2 MB;且模型的整体性能远优于Faster R-CNN、YOLO v4、YOLO v5s模型。此外,本文构建了不同光照和相机抖动的数据集,来进一步验证本文方法的可行性。改进后的模型可快速有效地对复杂场景下山羊的脸部进行精准检测及定位,为动物精细化养殖时目标检测识别提供了检测思路和技术支持。     

基于注意力机制与改进YOLO的温室番茄快速识别

为了实现复杂环境下农业机器人对番茄果实的快速准确识别,提出了一种基于注意力机制与改进YOLO v5s的温室番茄目标快速检测方法。根据YOLO v5s模型小、速度快等特点,在骨干网络中加入卷积注意力模块(CBAM),通过串联空间注意力模块和通道注意力模块,对绿色番茄目标特征给予更多的关注,提高识别精度,解决绿色番茄在相似颜色背景中难识别问题;通过将CIoU Loss替换GIoU Loss作为算法的损失函数,在提高边界框回归速率的同时提高果实目标定位精度。试验结果表明,CB-YOLO网络模型对温室环境下红色番茄检测精度、绿色番茄检测精度、平均精度均值分别为99.88%、99.18%和99.53%,果实检测精度和平均精度均值高于Faster R-CNN模型、YOLO v4-tiny模型和YOLO v5模型。将CB-YOLO模型部署到安卓手机端,通过不同型号手机测试,验证了模型在移动终端设备上运行的稳定性,可为设施环境下基于移动边缘计算的机器人目标识别及采收作业提供技术支持。     

基于YOLO v5s的自然场景油茶果识别方法

针对油茶果体积小、分布密集、颜色多变等特点,为实现自然复杂场景下油茶果的快速精准定位,并依据果实的疏密分布,确定恰当的自动振荡采收装置夹持位置,利用YOLO v5s卷积神经网络模型,开展了自然环境下油茶果图像检测方法研究,用3 296幅油茶果图像制作PASCAL VOC的数据集,对网络进行了150轮训练,得到的最优权值模型准确率为90.73%,召回率为98.38%,综合评价指标为94.4%,平均检测精度为98.71%,单幅图像检测时间为12.7 ms,模型占内存空间为14.08 MB。与目前主流的一阶检测算法YOLO v4-tiny和RetinaNet相比,其精确率分别提高了1.99个百分点和4.50个百分点,召回率分别提高了9.41个百分点和10.77个百分点,时间分别降低了96.39%和96.25%。同时结果表明,该模型对密集、遮挡、昏暗环境和模糊虚化情况下的果实均能实现高精度识别与定位,具有较强的鲁棒性。研究结果可为自然复杂环境下油茶果机械采收及小目标检测等研究提供借鉴。     

基于改进YOLO v3的自然场景下冬枣果实识别方法

为实现自然场景下冬枣果实的快速、精准识别,考虑到光线变化、枝叶遮挡、果实密集重叠等复杂因素,基于YOLO v3深度卷积神经网络提出了一种基于改进YOLO v3（YOLO v3-SE）的冬枣果实识别方法。YOLO v3-SE模型利用SE Net 的SE Block结构将特征层的特征权重校准为特征权值,强化了有效特征,弱化了低效或无效特征,提高了特征图的表现能力,从而提高了模型识别精度。YOLO v3-SE模型经过训练和比较,选取0.55作为置信度最优阈值用于冬枣果实检测,检测结果准确率P为88.71%、召回率R为83.80%、综合评价指标F为86.19%、平均检测精度为82.01%,与YOLO v3模型相比,F提升了2.38个百分点,mAP提升了4.78个百分点,检测速度无明显差异。为检验改进模型在冬枣园自然场景下的适应性,在光线不足、密集遮挡和冬枣不同成熟期的情况下对冬枣果实图像进行检测,并与YOLO v3模型的检测效果进行对比,结果表明,本文模型召回率提升了2.43~5.08个百分点,F提升了1.75~2.77个百分点,mAP提升了2.38~4.81个百分点,从而验证了本文模型的有效性。     

基于多时相无人机影像的高郁闭度森林采伐生物量估算

为准确估算森林采伐生物量实现森林碳汇的精准计量，针对采用单一时相可见光无人机影像估算高郁闭度森林采伐生物量较困难的问题，基于伐区采伐前后多时相可见光无人机影像，研究森林采伐生物量高精度的估算方法。以福建省闽侯白沙国有林场一个针叶林采伐小班为试验区，采集分辨率优于10 cm的采伐前后多时相可见光无人机影像，采用动态窗口局部最大值法得到高精度的采伐株数与单木树高信息，再基于采伐后无人机影像，运用YOLO v5方法检测并提取伐桩直径信息，根据胸径-伐桩直径模型来估算采伐木胸径信息，再利用树高和胸径二元生物量公式估算采伐生物量，以实测数据进行验证。根据动态窗口局部最大值法获取株数与平均树高精度分别为96.35%、99.01%,运用YOLO v5方法对伐桩目标检测的总体精度为77.05%,根据伐桩直径估算的平均胸径精度为90.14%,最后得到森林采伐生物量精度为83.08%,结果表明这一新方法具备较大的应用潜力。采用采伐前后多时相无人机可见光遥感，可实现森林采伐生物量的有效估算，有助于降低人工调查成本，为政府及有关部门进行碳汇精准计量提供有效的技术支持。     

基于深度学习的林下落果识别方法与试验

监测与识别林下落果的数量和分布信息,是实现落果自动收获和果园智能化管理的重要基础。针对目前落果识别智能化程度较低等问题,提出一种基于深度学习的林下落果识别方法。首先,以不同类型、品种落果图像为基础,通过数据预处理、增强等方法建立林下落果图像数据集。其次,利用YOLO-v3深度卷积神经网络优势特性,建立落果智能识别方法。最后,以柑橘、梨、苹果三种典型落果,对基于深度学习的林下落果识别方法进行测试与验证,分析相关试验结果。试验结果表明:所提出的基于YOLO-v3落果识别方法,在不同条件均能准确识别落果,三种典型落果识别精度大于89%;相对于SSD,RCNN和CenterNet三种网络模型,YOLO-v3的准确率分别提高7%,2%和3.5%;在腐烂落果识别层面,YOLO-v3、SSD、RCNN和CenterNet的识别准确率分别为86%,59%,64%和43%;YOLO-v3的识别准确率高于其他深度学习模型。所提出的方法可以精确的识别林下落果,为后期的落果精准管理提供必要的技术支撑。     

基于改进YOLO v4和ICNet的番茄串检测模型

针对深层神经网络模型部署到番茄串采摘机器人,存在运行速度慢,对目标识别率低,定位不准确等问题,本文提出并验证了一种高效的番茄串检测模型。模型由目标检测与语义分割两部分组成。目标检测负责提取番茄串所在的矩形区域,利用语义分割算法在感兴趣区域内获取番茄茎位置。在番茄检测模块,设计了一种基于深度卷积结构的主干网络,在实现模型参数稀疏性的同时提高目标的识别精度,采用K-means++聚类算法获得先验框,并改进了DIoU距离计算公式,进而获得更为紧凑的轻量级检测模型(DC-YOLO v4)。在番茄茎语义分割模块（ICNet）中以MobileNetv2为主干网络,减少参数计算量,提高模型运算速度。将采摘模型部署在番茄串采摘机器人上进行验证。采用自制番茄数据集进行测试,结果表明,DC-YOLO v4对番茄及番茄串的平均检测精度为99.31%,比YOLO v4提高2.04个百分点。语义分割模块的mIoU为81.63%,mPA为91.87%,比传统ICNet的mIoU提高2.19个百分点,mPA提高1.47个百分点。对番茄串的准确采摘率为84.8%,完成一次采摘作业耗时约6s。