改进类圆随机Hough变换及其在油茶果实遮挡识别中的应用

为将目标油茶果实从树枝、树叶等外界遮挡中分离出来,以利于油茶采摘机器视觉的图像形态学识别,该文提出了一种改进的类圆随机Hough变换算法,在算法中添加了边缘预检测、快速定位圆心点等模块以提高算法的识别率。仿真结果表明,改进算法对遮挡果实的识别率较其他Hough遮挡识别算法有所提高,最高达到90.70%,识别时间为1.3s。该研究为采摘机器人的后续采摘工作打下了基础。     

基于光照无关图的苹果图像识别方法

为了解决苹果采摘机器人的果实识别率在不同光照条件下表现不稳定的问题,该文提出一种基于光照无关图的苹果识别方法。该方法首先采用中值滤波法对苹果图像进行预处理,然后对处理后的彩色图像提取光照无关图,消除光照变化的影响,再采用Ostu阈值分割法进行目标果实的提取。最后通过对苹果图像进行识别试验的结果表明,在4种不同的光照情况下,采用基于光照无关图的识别方法得出的识别率的稳定度是不采用光照无关图的识别方法的3倍,并且其平均识别率也高达90.45%。基于光照无关图的苹果识别方法能够克服光照变化对目标识别带来的负面影     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

基于多光谱图像和数据挖掘的多特征杂草识别方法

为满足变量喷洒对杂草识别正确率的要求,提出一种基于多光谱图像和数据挖掘的杂草多特征识别方法。首先对多光谱成像仪获取的玉米与杂草图像从CIR转换到Lab颜色空间,用K-means聚类算法将图像分为土壤和绿色植物,随后用形态学处理提取出植物叶片图像,在此基础上提取叶片形状、纹理及分形维数3类特征,并基于C4.5算法对杂草分别进行单特征和多特征组合的分类识别。试验结果表明,多特征识别率比单特征识别率高,3类特征组合后的识别率最高达到96.3%。为验证该文提出方法的有效性,将C4.5算法与BP算法以及SVM算法进行比较,试验结果表明C4.5算法的平均识别率高于另2种算法,该文提出的田间杂草快速识别方法是有效可行的。该文为玉米苗期精确喷洒除草剂提供技术依据。     

基于迁移学习与YOLOv8n的田间油茶果分类识别

为降低视觉引导式油茶果采摘机器人采摘被遮挡油茶果时造成的果树和抓取装置损伤,该研究提出了一种基于迁移学习和YOLOv8n算法的油茶果分类识别方法,将油茶果分成无遮挡和遮挡两类。首先,采用COCO128目标检测数据集作为源域,苹果数据集为辅助域的迁移学习方法训练模型。其次,将学习方法、训练数据量、学习率和训练轮数这4种因素组合,共进行了52组YOLOv8n检测性能的消融试验。最后,将YOLOv8n模型与YOLOv3-tiny、YOLOv5n和YOLOv7-tiny等模型进行比较。试验结果表明,随机权重初始化方式受训练数据量和学习率影响较大,学习率为0.01时模型检测效果最好;而迁移学习方法仅用随机权重初始化1/2的数据量即可达到与其相当的平均精度均值;迁移学习方式下,YOLOv8n模型的平均精度均值最高达到92.7%,比随机权重初始化方式提升1.4个百分点。与YOLOv3-tiny、YOLOv5n和YOLOv7-tiny等模型相比,YOLOv8n模型的平均精度均值分别提高24.0、1.7和0.4个百分点,研究结果可为YOLOv8n模型训练参数优化和油茶果分类识别提供参考。     

基于深度学习的葡萄果梗识别与最优采摘定位

针对葡萄采摘机器人在采摘作业中受果园环境干扰,难以准确识别与分割葡萄果梗及定位采摘点的问题,该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络(Mask Region with Convolutional Neural Network,Mask R-CNN)模型对果梗进行识别与粗分割;然后结合阈值分割思想对果梗的色调、饱和度、亮度(Hue Saturation Value,HSV)色彩空间进行分段式提取,取每段色彩平均值作为该段果梗基准颜色阈值,利用区域生长算法对果梗进行精细化分割;最后计算果梗图像区域的质心,并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明,在不同天气光照下该方法对葡萄果梗的检测精确率平均值为88%;在果梗成功识别后最优采摘点定位准确率达99.43%,单幅图像的果梗采摘定位平均耗时为4.90s,对比改进前Mask R-CNN检测耗时减少了0.99 s,F1-得分提高了3.24%,检测效率明显提升,该研究为葡萄采摘机器人提供了一种采摘点定位方法。     

苹果采摘机器人关键技术研究现状与发展趋势

目前国内苹果基本采用人工采摘方式,随着劳动力资源短缺以及机械自动化技术的迅速发展,利用机器人采摘替代人工作业成为必然趋势,开发苹果采摘机器人用于果园收获作业具有重要意义。由于苹果采摘作业环境复杂,严重制约了采摘自动化的发展。目标识别、定位与果实分离是苹果采摘机器人的关键技术,其性能决定了苹果采摘的效率及质量。该文概述了具有市场化前景的苹果采摘机器人发展和应用现状,综述了在复杂自然环境光照变化、枝叶遮挡、果实重叠、夜间环境下以及同色系苹果的识别方法,介绍了多种场景并存的复杂环境下基于深度学习的苹果识别算法,遮挡、重叠及振荡果实的定位方法,并对采用末端执行器实现果实与果树的分离方法进行了分析。针对现阶段苹果采摘机器人采摘速度低、成功率低、果实损伤、成本高等问题,指出今后苹果采摘机器人商业化发展亟需在农机农艺结合、优化识别算法、多传感器融合、多臂合作、人机协作、扩展设备通用性、融合5G与物联网技术等方面开拓创新。     

自然场景图像中的重叠蜜柚识别及试验

重叠蜜柚目标的准确分离和蜜柚果梗的定位是实现采摘自动化必须解决的两个关键问题。现有的苹果、柑橘等重叠果实分离方法不适用于重叠蜜柚,且无果梗定位功能。针对以上问题,本文提出了一种结合渐进式中心定位的重叠蜜柚分离方法和果梗定位方法。首先利用主成分分析方法提取蜜柚区域、滤除背景并对图像中的重叠蜜柚进行初步分离;接着,对重叠蜜柚区域采用渐进式中心定位方法得到各个蜜柚的中心;然后,利用区域边缘点到其相应的不同中心点的距离大小的变化规律实现重叠蜜柚的分离;最后,利用前述的中心点结合蜜柚的形状特征,定位出遮挡程度较小的蜜柚果梗。在50张自然场景下的图像上进行试验,结果表明在有阴影、小目标、遮挡和重叠等复杂环境下,该方法的平均识别率为94.02%。同时,对于果梗未被遮挡且离摄像头较近的蜜柚,也给出了准确的果梗区域。在利用蜜柚模型搭建的识别自动化试验平台上进行试验,结果表明采摘机器人能够有效识别并分离重叠蜜柚、定位果梗。本研究可为蜜柚采摘机器人准确识别重叠果实提供参考。     

基于果萼图像的猕猴桃果实夜间识别方法

根据猕猴桃的棚架式栽培方式,提出了一种适用于猕猴桃采摘机器人夜间识别的方法。采用竖直向上获取果实图像的拍摄方式,以果萼为参考点,进行果实的识别,并测试该方法对光照的鲁棒性。试验结果表明:基于果萼能够有效的识别猕猴桃果实,成功率达94.3%;未识别和误识别的果实一般出现在5果及5果以上的簇中,原因是果实相互挤压导致的果萼部分不在果实图像的中心区域,以及果实之间的三角区形成暗色封闭区域;光照过小或过大会导致成像模糊或过曝,对正确率有细微影响;识别速度达到了0.5 s/个。因此,基于果萼的猕猴桃果实夜间识别方法在正确识别率和速度上都有很大提升,更接近实际应用。     

苹果四臂采摘机器人系统设计与试验

针对鲜食苹果智能化高效采收需要,该研究设计了四臂并行采摘的“采-收-运”一体式机器人系统,以代替人工采收作业。以中国矮砧密植高纺锤果树为对象,根据树冠内果实空间分布特征,提出了四臂并行采摘执行部件的作业方式;建立了基于多任务深度卷积网络的果实可见区域识别模型,实现受遮挡果实离散区域语义分割及其归属关系的端到端判别;在此基础上,根据果实表面局部点云信息对其质心进行空间定位;提出了基于时间最优的四臂协同采摘任务规划方法,以实现机械臂对树冠内不同区域的高效遍历。最后在采摘机器人关键部件集成的基础上,在矮砧密植标准果园进行生产试验。试验结果表明,机器人对树冠内可见果实的识别率为92.94%,被识别果实中定位精度满足机器人采摘操作要求的比例为90.27%;机器人平均采摘效率为7.12 s/果,其中四臂协同采摘效率约为单臂采摘效率的1.96倍;对可见果实采摘成功率为82.00%,对树冠内全部果实的采收率为74.56%,枝叶遮挡干涉是造成采摘失败的主要原因。该研究可为鲜果智能化采摘模式的探索应用提供技术支撑。     

基于偏好免疫网络和SVM算法的油茶果多特征识别

针对油茶果采摘脱壳后存在的果壳籽粒分选效率较低的问题，该研究提出了一种结合人工免疫网络（aiNet）与支持向量机（Support Vector Machine）的多特征智能分选算法。该方法利用了免疫算法的多特征聚类特点与支持向量机的二分性特点，对油茶果壳与籽粒的延伸率、圆形度、圆满度、色差分量等6个特征进行分选。试验结果表明，该研究提出的方法在分选效率上达到了97.4%，时间平均值为600 ms，证明了这种方法在油茶果壳籽粒分选作业中的实时性与有效性。通过与其他智能分选算法的效率对比分析证明，该研究提出的方法在效率上更优，更加适合油茶脱壳生产线的实时性要求。     

自然光照条件下采摘机器人果实识别的表面阴影去除方法

有效的阴影检测和去除算法会大大提高自然环境下果实识别算法的性能,为农业智能化提供技术支持。该研究采用超像素分割的方法,将一张图像分割成多个小区域,在对图像进行超像素分割的基础上,对自然光照下的果园图像阴影区域与非阴影区域进行对比分析,探索8个自定义特征用于阴影检测。然后采用SVM的方法,结合8个自主探索的自定义特征,对图像中每个超像素分割的小区域进行检测,判断每个小区域是否处于阴影中,再使用交叉验证方法进行参数优化。根据Finlayson的二维积分算法策略,对检测的每一个阴影区域进行阴影去除,获得去除阴影后的自然光照图像。最后进行阴影检测的识别准确性试验,试验结果表明,本研究的阴影检测算法的平均识别准确率为83.16%,经过阴影去除后,图像的阴影区域亮度得到了提高,并且整幅图像的亮度更为均匀。该研究可为自然环境下机器人识别果实及其他工农业应用场景提供技术支持。     

采摘机器人振荡果实匹配动态识别

为解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题,对采摘机器人在果实振荡状况下的匹配动态识别方法进行了研究。首先介绍了振荡果实的动态识别流程,确定出采摘目标果实作为后续匹配识别的模板;然后引入去均值归一化积相关匹配识别算法,采用FastInverseSquareRoot算法和快速哈特莱变换对其进行加速优化,同时借鉴以往旋转无关匹配识别算法进行抗旋转改进;试验结果表明,加速优化后的匹配识别算法能够进行采摘目标果实的匹配识别,单幅平均匹配识别时间为0.33s,经过抗旋转等改进的匹配识别算法在[-55°,60°]较大范围内旋转无关,可以准确识别振荡果实,加上模板适时更新,能够满足实际需求。该研究可为果蔬采摘的动态识别提供参考。     

摇枝式油茶果采摘装置作业过程分析与试验

为了解决油茶果机械化采摘漏采率高、损伤率大和耗能过大的问题,针对摇枝式油茶果采摘装置,该文通过对油茶果振动脱落过程的分析,建立油茶果振动脱落模型并求解,得出影响油茶果脱落的主要因素为作用在枝条上的外力的振幅、频率、作用时间以和夹持位置,并通过预试验和正交试验得到摇枝式油茶果采摘装置的作业参数范围及漏采率最低情况下的作业参数组合。利用高速摄像对油茶果振动脱落过程进行记录,然后回放录像并分析,以油茶果脱落时间作为评价指标,得出采摘效率较高的振动频率、振幅范围为6～10 Hz和20～40 mm,根据平均落果时间范围确定采摘装置的振动作用时间约为4～12 s。根据油茶果在树上的主要分布范围(距离树冠表层260 mm左右),设计四因素三水平正交油茶果采摘试验,得出漏采率最低的作业参数组合为振动夹持位置在距离树梢末端260 mm以内、振动频率10 Hz、振幅20 mm、振动时间8 s,此时油茶果的漏采率为10.87%,花苞损伤率为31.80%。机械夹持方式和铁质的夹持材料对花苞损伤较大,需进一步优化采摘装置作业参数,优化夹持方式和采用柔软的夹持材料,实现油茶果的机械采摘。     

自然环境下多类水果采摘目标识别的通用改进SSD模型

为解决当前自然环境下水果识别率不高、泛化性不强等问题,该文以苹果、荔枝、脐橙、皇帝柑4种水果为研究对象,提出了一种改进的SSD(single shot multi-boxdetector)深度学习水果检测模型:将经典SSD深度学习模型中的VGG16输入模型替换为Res Net-101模型,并运用迁移学习方法和随机梯度下降算法优化SSD深度学习模型。该文基于Caffe深度学习框架,对自然环境下采集的水果图像进行不同网络模型、不同数据集大小和不同遮挡比例等多组水果识别检测效果对比试验。试验表明:改进的SSD深度学习水果检测模型对4种水果在各种环境下的平均检测精度达到88.4%,高于经典SSD深度学习模型中的86.38%,经过数据增强后平均检测精度可提升至89.53%,在遮挡面积低于50%的情况下F1值能达到96.12%,有较好的泛化性和鲁棒性,可以很好地实现自然环境下多类水果的精准检测,可为农业自动化采摘中的水果识别检测问题提供新的方案。     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM(convolutional block attention module),改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

基于Retinex图像增强的不同光照条件下的成熟荔枝识别

为了满足自然环境下荔枝采摘机器人视觉定位系统的有效性和实时性的要求,针对不同光照条件的荔枝彩色图像,采用基于双边滤波的Retinex图像增强算法凸显图像中的荔枝果实和果梗,对增强处理后的图像在HSI颜色空间中进行H分量旋转的处理,再对旋转处理后的H分量进行Otsu自动阈值分割去除荔枝图像果实和果梗外的复杂背景;然后通过将双三次插值算法和传统的模糊C均值（FuzzyC-Mean）算法融合,对去背景后的荔枝图像在YCbCr颜色空间中进行Cr分量模糊聚类分割,实现荔枝果实和果梗的识别。荔枝图像的分割试验结果表明：该算法对晴天顺光、逆光、遮阴、阴天顺光等光照条件的荔枝图像能够有效地分割,对阴天弱光照、果实被遮阴条件下的荔枝也能较好的识别,并保持荔枝果实和果梗区域的完整性,4种光照条件荔枝图像分割正确率分别为96%、90%、89.3%和88.9%,成熟荔枝识别的正确率达到了90.9%,该研究为水果采摘机器人的室外作业的实时性和有效性提供指导。     

改进Faster-RCNN自然环境下识别刺梨果实

为了实现自然环境下刺梨果实的快速准确识别,根据刺梨果实的特点,该文提出了一种基于改进的Faster RCNN刺梨果实识别方法。该文卷积神经网络采用双线性插值方法,选用FasterRCNN的交替优化训练方式(alternating optimization),将卷积神经网络中的感兴趣区域池化(ROI pooling)改进为感兴趣区域校准(ROI align)的区域特征聚集方式,使得检测结果中的目标矩形框更加精确。通过比较Faster RCNN框架下的VGG16、VGG_CNN_M1024以及ZF 3种网络模型训练的精度-召回率,最终选择VGG16网络模型,该网络模型对11类刺梨果实的识别精度分别为94.00%、90.85%、83.74%、98.55%、96.42%、98.43%、89.18%、90.61%、100.00%、88.47%和90.91%,平均识别精度为92.01%。通过对300幅自然环境下随机拍摄的未参与识别模型训练的刺梨果实图像进行检测,并选择以召回率、准确率以及F1值作为识别模型性能评价的3个指标。检测结果表明:改进算法训练出来的识别模型对刺梨果实的11种形态的召回率最低为81.40%,最高达96.93%;准确率最低为85.63%,最高达95.53%;F1值最低为87.50%,最高达94.99%。检测的平均速度能够达到0.2 s/幅。该文算法对自然条件下刺梨果实的识别具有较高的正确率和实时性。     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。