基于改进YOLOv4模型的橙果识别与定位方法

为提高橙果采摘定位精度和作业速度,提出一种便于迁移至移动终端的改进YOLOv4模型,可从RealSense深度相机所成彩色图像中获取果实质心二维坐标,经配准提取对应深度图中质心点深度值,实现果实的三维空间定位。改进YOLOv4模型以MobileNet v2为主干网络,在颈部结构中使用深度可分离卷积替换普通卷积,实现模型轻量化并提高检测速度。训练后的改进模型对513张独立橙果测试集数据的识别平均精度达97.24%,与原始YOLOv4模型相比,平均检测时间减少11.39 ms,模型大小减少197.5 M。与经典Faster RCNN、SSD模型相比,检测平均精度分别提高了2.85和3.30个百分点,模型大小分别减少了474.5和44.1 M。与轻量化模型YOLOv4-tiny相比,召回率提升了4.79个百分点,较Ghostnet-YOLOv4,检测速度提升了27.64个百分点。为验证该改进算法实用性,应用改进模型获取果园中78个橙果的位置信息,结果表明：果实二维识别成功率达98.72%,水平方向及垂直方向的平均绝对百分比误差均在1%以内。果实三维定位成功率达96.15%,深度信息平均绝对百分比误差为2.72%,满足采摘机械手精准定位需求。该方法为复杂场景下采摘作业实现提供了鲁棒性强、实时性好、精准度高的目标定位途径。     

番茄果实串采摘点位置信息获取与试验

针对番茄收获机器人在采摘过程中果实串采摘点位置难以确定的问题,提出了基于果梗骨架角点计算方法,并利用该算法对番茄果实串果梗采摘点进行位置信息获取:首先采用最大类间方差分割法进行目标果实串分割,通过形态学方法和阈值法去除干扰,提取出目标果实串分割图像;根据果实串的质心和果串的轮廓边界确定果梗的感兴趣区域,采用快速并行细化算法提取果梗的骨架,利用Harris算法检测得到果实串第一个果实分叉点与植株主干之间果梗骨架角点,通过计算获得采摘点位置信息。然后进行验证试验,利用双目视觉图像采集系统采集了60组果实串图像并获取果梗采摘点位置信息,结果表明,采摘点位置成功率为90%,为采摘机器人提供准确的采摘位置信息。     

基于RGB-D相机的脐橙实时识别定位与分级方法

为实现脐橙采摘机器人对脐橙果实进行实时识别、定位和分级采摘的需求,该研究提出了一种基于RGB-D相机数据的脐橙果实实时识别、定位及分级的OrangePointSeg算法。首先利用微软最新消费级深度相机（Azure Kinect DK）采集脐橙果实的RGB-D数据,建立脐橙果实实例分割数据集及增强数据集。然后通过改进YOLACT算法对脐橙果实进行实时分割并生成实例掩膜,与配准后的深度图裁剪得到果实深度点云,再利用最小二乘法进行脐橙果实外形拟合,得到其相机坐标系下质心坐标及半径。试验结果表明,在果实识别阶段,改进YOLACT算法在该数据集上的检测速度为44.63帧/s,平均精度为31.15%。在果实定位阶段,1 400～2 000点云数量时的拟合时间为1.99 ms,定位误差为0.49 cm,拟合出的半径均方根误差为0.43 cm,体积均方根误差为52.6 mL,在大于800点云数量和距离1 m以内时,定位误差均控制在0.46 cm以内。最后通过引入并行化计算,OrangePointSeg的总体处理速度为29.4帧/s,能够较好地实现精度与速度的平衡,利于实际应用和工程部署。该研究成果可推广至其他类似形态学特征的果实识别中,为果园的智能化管理提供行之有效的技术支撑。     

采摘机械手对扰动荔枝的视觉定位

为了解决采摘机器人在自然环境中对扰动状态荔枝的视觉精确定位问题,该文分析机械手采摘过程中荔枝产生扰动的因素,设计制造了模拟荔枝振动的试验平台,该试验平台通过改变方向、振频、振幅等振动条件来模拟采摘过程中的扰动环境;结合振动平台运动参数,提出了双目立体视觉系统采集扰动状态的荔枝图像方法,在HSI颜色空间中对预处理后荔枝图像利用模糊C均值聚类法(FCM,fuzzyC-means)分割荔枝果实和果梗,然后利用Hough变换算法进行直线拟合确定有效的果梗采摘区域和采摘点,对多帧图像中采摘点坐标取平均值,然后进行三维重建确定空间采摘点坐标。荔枝扰动状态的视觉定位试验结果表明,空间定位深度值误差小于6cm,荔枝采摘机械手能实现有效采摘,该研究为机械手实际作业提供指导。     

基于优化Transformer网络的绿色目标果实高效检测模型

果园环境中,检测目标果实易受复杂背景、果实姿态和颜色等因素影响,为提高绿色目标果实检测的精度与效率,满足果园智能测产和自动化采摘要求,本研究针对不同光照环境和果实姿态,提出一种适于样本数量不足的绿色目标果实高效检测模型。该模型采用优化Transformer结构,首先借助卷积神经网络(Convolutional Neural Network,CNN)网络提取图像特征;然后输入编码-解码器生成一组目标果实预测框,最后通过前馈神经网络(Feed-forward Network,FFN)结构预测检测结果。在训练过程中,引入重采样法扩充样本数量,解决样本数量不足问题;引入迁移学习,加速网络收敛。分别制作苹果、柿子数据集用于模型训练。试验结果表明,经迁移学习后该模型训练效率大幅提高;与流行的目标检测模型相比,优化后的模型在检测绿色柿子与绿色苹果时,精度分别为93.27%和91.35%。该方法可为其他果蔬绿色目标检测提供理论借鉴。     

基于级联视觉检测的樱桃番茄自动采收系统设计与试验

樱桃番茄串生长姿态多样、果实成熟度不一，采摘机器人进行“粒收”作业时，常面临果梗干涉末端执行器、成熟度判断错误等问题，导致采摘效率低下、难以有效实现分级采收。针对上述问题，该研究提出一种级联视觉检测流程，包括采收目标检测、目标果实特性判别、果实与果梗位置关系判断3个关键环节。首先根据农艺要求按成熟度将番茄果实分为4个等级，引入YOLOv5目标检测模型对番茄串和番茄果实进行检测并输出成熟度等级，实现分期采收。然后对果实与果梗的相对位置进行判断，利用MobileNetv3网络模型对膨胀包围盒进行果实与果梗相对位置关系判断，实现末端执行器采摘位姿控制。日光温室实际测试结果表明，本文提出的级联检测系统平均推理用时22ms，在IOU(intersectionoverunion)阈值为0.5的情况下，樱桃番茄串与果实的平均检测精度达到89.9%，满足采摘机器人的视觉检测精度和实时性要求，相比末端执行器以固定角度靠近待采目标的方法，本文方法采收效率提升28.7个百分点。研究结果可为各类果蔬采摘机器人研究提供参考。     

基于多目标识别的葡萄果串采摘点定位方法

为减少采摘点定位不当导致末端碰撞损伤结果枝与果串，致使采摘失败及损伤率提高等问题，该研究提出了基于深度学习与葡萄关键结构多目标识别的采摘点定位方法。首先，通过改进YOLACT++模型对结果枝、果梗、果串等葡萄关键结构进行识别与分割；结合关键区域间的相交情况、相对位置，构建同串葡萄关键结构从属判断与合并方法。最后设计了基于结构约束与范围再选的果梗低碰撞感兴趣区域(region of interest, ROI)选择方法，并以该区域果梗质心为采摘点。试验结果表明，相比于原始的YOLACT++，G-YOLACT++边界框和掩膜平均精度均值分别提升了0.83与0.88个百分点；对单串果实、多串果实样本关键结构从属判断与合并的正确率分别为88%、90%，对关键结构不完整的果串剔除正确率为92.3%；相较于以ROI中果梗外接矩形的中心、以模型识别果梗的质心作为采摘点的定位方法，该研究采摘点定位方法的成功率分别提升了10.95、81.75个百分点。该研究为葡萄采摘机器人的优化提供了技术支持，为非结构化环境中的串类果实采摘机器人的低损收获奠定基础。     

基于偏好人工免疫网络多特征融合的油茶果图像识别

为提高油茶果采摘机器人机器视觉的识别率,该文提出了基于偏好人工免疫网络识别的油茶果多特征融合识别方法。在对油茶果图像进行处理的基础上,提取待识别目标区域的颜色特征、形态特征、纹理特征进行聚类,并提取典型油茶果多特征作为偏好抗体,使多特征参数在偏好免疫算法中进行有效融合。仿真试验结果表明,多特征融合的识别方法对油茶果果实的识别率在晴天时达到了90.15%,阴天时达到了93.90%。而时间复杂度基本不变,取得了较好的识别效果,该研究可为下一步油茶果采摘机器人智能采摘提供参考。     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

基于深度学习与目标跟踪的苹果检测与视频计数方法

基于机器视觉技术自动检测苹果树上的果实并进行计数是实现果园产量测量和智慧果园生产管理的关键。该研究基于现代种植模式下的富士苹果视频,提出基于轻量级目标检测网络YOLOv4-tiny和卡尔曼滤波跟踪算法的苹果检测与视频计数方法。使用YOLOv4-tiny检测视频中的苹果,对检测到的果实采用卡尔曼滤波算法进行预测跟踪,基于欧氏距离和重叠度匹配改进匈牙利算法对跟踪目标进行最优匹配。分别对算法的检测性能、跟踪性能和计数效果进行试验,结果表明：YOLOv4-tiny模型的平均检测精度达到94.47%,在果园视频中的检测准确度达到96.15%;基于改进的计数算法分别达到69.14%和79.60%的多目标跟踪准确度和精度,较改进前算法分别提高了26.86和20.78个百分点;改进后算法的平均计数精度达到81.94%。该研究方法可有效帮助果农掌握园中苹果数量,为现代化苹果园的测产研究提供技术参考,为果园的智慧管理提供科学决策依据。     

自然场景图像中的重叠蜜柚识别及试验

重叠蜜柚目标的准确分离和蜜柚果梗的定位是实现采摘自动化必须解决的两个关键问题。现有的苹果、柑橘等重叠果实分离方法不适用于重叠蜜柚,且无果梗定位功能。针对以上问题,本文提出了一种结合渐进式中心定位的重叠蜜柚分离方法和果梗定位方法。首先利用主成分分析方法提取蜜柚区域、滤除背景并对图像中的重叠蜜柚进行初步分离;接着,对重叠蜜柚区域采用渐进式中心定位方法得到各个蜜柚的中心;然后,利用区域边缘点到其相应的不同中心点的距离大小的变化规律实现重叠蜜柚的分离;最后,利用前述的中心点结合蜜柚的形状特征,定位出遮挡程度较小的蜜柚果梗。在50张自然场景下的图像上进行试验,结果表明在有阴影、小目标、遮挡和重叠等复杂环境下,该方法的平均识别率为94.02%。同时,对于果梗未被遮挡且离摄像头较近的蜜柚,也给出了准确的果梗区域。在利用蜜柚模型搭建的识别自动化试验平台上进行试验,结果表明采摘机器人能够有效识别并分离重叠蜜柚、定位果梗。本研究可为蜜柚采摘机器人准确识别重叠果实提供参考。     

果园行间3D LiDAR导航方法

为克服二维激光扫描仪在果园导航中感知信息少、无法有效应对树冠茂密、树干被遮挡等复杂三维果园场景,该研究提出一种基于3D LiDAR的果园行间导航方法。以3D LiDAR为检测设备实时采集果园信息,使用挖空打断后的树墙体心等效树干位置,根据左右树行的最佳平行度对随机采样一致性算法与最小二乘法拟合的树行进行互补融合并求其中心线得到导航线;对纯跟踪算法进行改进,实现差速运动机器人对树行的跟踪。结果表明:系统在篱壁式仿真果园环境下以0.33 m/s的速度沿中心线行走时,绝对航向定位偏差在1.65°以内,绝对横向定位偏差在6.1 cm以内;以0.43 m/s的速度跟踪树行的绝对横向偏差在15 cm以内。在真实梨园下,系统分别以0.68与1.35 m/s的速度跟踪树行,绝对横向偏差分别不超过21.3与22.1 cm。本系统可广泛用于标准果园与复杂三维果园机械的自主导航,具有可靠的稳定性。     

果园环境下移动采摘机器人导航路径优化

针对移动采摘机器人在果园作业时,果树较大冠层与行人等障碍物易影响机器人行驶的突出问题,该研究提出了一种基于改进人工势场法的机器人行间导航路径优化方法。首先,通过移动采摘机器人搭载的固态激光雷达实现果园行间三维点云信息获取,运用地面平面算法去除果园地面点云,提取了果园垄行与果树冠层点云。其次,采用最小二乘法(Least Squares Method, LSM)、霍夫(Hough)变换和随机采样一致性(Random Sample Consensus, RANSAC)3种方法对果园垄行点云数据进行了垄行线和初始路径的提取。最后,通过舍弃引力势场,建立了果树冠层轮廓点云势场,优化初始路径以躲避较大的果树冠层与行人障碍物。从实时性与抗噪能力两个方面,分别对利用LSM、Hough变换和RANSAC方法所提取的初始路径结果进行了分析,结果表明3种方法均可成功提取垄行线与初始路径,其中RANSAC实时性最优,平均运行时间约为0.147×10-3 s,标准差为0.014×10-3 s,且具有较好的抗噪能力。在RANSAC提取初始路径的基础上使用改进人工势场法对初始路径进行优化,避免了传统人工势场法易陷入震荡的问题。经改进人工势场法优化后的路径将障碍物点云距导航路径的最短距离由0.156 m提高至0.863 m,且平均耗时0.059 s,标准差为0.007 s,表明该优化方法具备实时优化路径以避开障碍物的能力。该研究提出的基于改进人工势场法的机器人行间导航路径优化方法基本满足安全性与实时性要求,为移动采摘机器人在果园环境下自主导航提供了技术参考。     

基于分水岭和凸包理论的自然场景下未成熟苹果直径测量方法

针对自然场景下生长期内树上未成熟果实的自动探测与大小计算问题,提出了一种基于改进分水岭和凸包理论的自然场景下未成熟苹果识别与直径计算方法。该方法首先对灰度图像进行形态学重构后进行边缘检测,再利用合并局部极小值点分水岭分割方法从粘连区域中提取目标果实,并结合基于凸包理论的真轮廓提取和圆拟合方法,实现目标果实圆拟合直径的自动测量。计算结果与人工测量结果进行对比试验,结果表明:在不考虑扁平型目标果的情况下,该方法的直径计算均方根误差最小值为1.91 mm,均值为2.27 mm,误差范围在品质评定等级差(5 mm)以内,具有较好的推广应用价值。研究结果为生长期内果实的大小监测提供参考。     

基于改进YOLOv7的果园行间导航线检测

在复杂果园环境中，传统机器视觉算法难以处理光影变化、遮挡、杂草等因素的干扰，导致导航道路分割不准确。针对此问题，该研究提出了一种改进YOLOv7的果园内导航线检测方法。将注意力机制模块(convolutional block attention module，CBAM)引入到原始YOLOv7模型的检测头网络中，增强果树目标特征，削弱背景干扰；在ELAN-H(efficient layer aggregation networks-head，ELAN-H)模块和Repconv(re-parameterization convolution，Repconv)模块之间引入SPD-Conv(space-to-depth，non-strided convolution，SPD-Conv)模块，提高模型对低分辨率图像或小尺寸目标的检测能力。以树干根部中点作为导航定位基点，利用改进YOLOv7模型得到两侧果树行线的定位参照点，然后利用最小二乘法拟合两侧果树行线和导航线。试验结果表明，改进YOLOv7模型检测精度为95.21%，检测速度为42.07帧/s，相比于原始YOLOv7模型分别提升了2.31个百分点和4.85帧/s，能够较为准确地识别出树干，且对树干较密的枣园图像也能达到较好的检测效果；提取到的定位参照点与人工标记树干中点的平均误差为8.85 cm，拟合导航线与人工观测导航线的平均偏差为4.90 cm，处理1帧图像平均耗时为0.044 s，能够满足果园内导航需求。     

苹果采摘机器人关键技术研究现状与发展趋势

目前国内苹果基本采用人工采摘方式,随着劳动力资源短缺以及机械自动化技术的迅速发展,利用机器人采摘替代人工作业成为必然趋势,开发苹果采摘机器人用于果园收获作业具有重要意义。由于苹果采摘作业环境复杂,严重制约了采摘自动化的发展。目标识别、定位与果实分离是苹果采摘机器人的关键技术,其性能决定了苹果采摘的效率及质量。该文概述了具有市场化前景的苹果采摘机器人发展和应用现状,综述了在复杂自然环境光照变化、枝叶遮挡、果实重叠、夜间环境下以及同色系苹果的识别方法,介绍了多种场景并存的复杂环境下基于深度学习的苹果识别算法,遮挡、重叠及振荡果实的定位方法,并对采用末端执行器实现果实与果树的分离方法进行了分析。针对现阶段苹果采摘机器人采摘速度低、成功率低、果实损伤、成本高等问题,指出今后苹果采摘机器人商业化发展亟需在农机农艺结合、优化识别算法、多传感器融合、多臂合作、人机协作、扩展设备通用性、融合5G与物联网技术等方面开拓创新。     

摇枝式油茶果采摘装置作业过程分析与试验

为了解决油茶果机械化采摘漏采率高、损伤率大和耗能过大的问题,针对摇枝式油茶果采摘装置,该文通过对油茶果振动脱落过程的分析,建立油茶果振动脱落模型并求解,得出影响油茶果脱落的主要因素为作用在枝条上的外力的振幅、频率、作用时间以和夹持位置,并通过预试验和正交试验得到摇枝式油茶果采摘装置的作业参数范围及漏采率最低情况下的作业参数组合。利用高速摄像对油茶果振动脱落过程进行记录,然后回放录像并分析,以油茶果脱落时间作为评价指标,得出采摘效率较高的振动频率、振幅范围为6～10 Hz和20～40 mm,根据平均落果时间范围确定采摘装置的振动作用时间约为4～12 s。根据油茶果在树上的主要分布范围(距离树冠表层260 mm左右),设计四因素三水平正交油茶果采摘试验,得出漏采率最低的作业参数组合为振动夹持位置在距离树梢末端260 mm以内、振动频率10 Hz、振幅20 mm、振动时间8 s,此时油茶果的漏采率为10.87%,花苞损伤率为31.80%。机械夹持方式和铁质的夹持材料对花苞损伤较大,需进一步优化采摘装置作业参数,优化夹持方式和采用柔软的夹持材料,实现油茶果的机械采摘。     

采摘机器人振荡果实匹配动态识别

为解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题,对采摘机器人在果实振荡状况下的匹配动态识别方法进行了研究。首先介绍了振荡果实的动态识别流程,确定出采摘目标果实作为后续匹配识别的模板;然后引入去均值归一化积相关匹配识别算法,采用FastInverseSquareRoot算法和快速哈特莱变换对其进行加速优化,同时借鉴以往旋转无关匹配识别算法进行抗旋转改进;试验结果表明,加速优化后的匹配识别算法能够进行采摘目标果实的匹配识别,单幅平均匹配识别时间为0.33s,经过抗旋转等改进的匹配识别算法在[-55°,60°]较大范围内旋转无关,可以准确识别振荡果实,加上模板适时更新,能够满足实际需求。该研究可为果蔬采摘的动态识别提供参考。