番茄果实串采摘点位置信息获取与试验

针对番茄收获机器人在采摘过程中果实串采摘点位置难以确定的问题,提出了基于果梗骨架角点计算方法,并利用该算法对番茄果实串果梗采摘点进行位置信息获取:首先采用最大类间方差分割法进行目标果实串分割,通过形态学方法和阈值法去除干扰,提取出目标果实串分割图像;根据果实串的质心和果串的轮廓边界确定果梗的感兴趣区域,采用快速并行细化算法提取果梗的骨架,利用Harris算法检测得到果实串第一个果实分叉点与植株主干之间果梗骨架角点,通过计算获得采摘点位置信息。然后进行验证试验,利用双目视觉图像采集系统采集了60组果实串图像并获取果梗采摘点位置信息,结果表明,采摘点位置成功率为90%,为采摘机器人提供准确的采摘位置信息。     

基于深度学习的葡萄果梗识别与最优采摘定位

针对葡萄采摘机器人在采摘作业中受果园环境干扰,难以准确识别与分割葡萄果梗及定位采摘点的问题,该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络(Mask Region with Convolutional Neural Network,Mask R-CNN)模型对果梗进行识别与粗分割;然后结合阈值分割思想对果梗的色调、饱和度、亮度(Hue Saturation Value,HSV)色彩空间进行分段式提取,取每段色彩平均值作为该段果梗基准颜色阈值,利用区域生长算法对果梗进行精细化分割;最后计算果梗图像区域的质心,并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明,在不同天气光照下该方法对葡萄果梗的检测精确率平均值为88%;在果梗成功识别后最优采摘点定位准确率达99.43%,单幅图像的果梗采摘定位平均耗时为4.90s,对比改进前Mask R-CNN检测耗时减少了0.99 s,F1-得分提高了3.24%,检测效率明显提升,该研究为葡萄采摘机器人提供了一种采摘点定位方法。     

苹果采摘机器人关键技术研究现状与发展趋势

目前国内苹果基本采用人工采摘方式,随着劳动力资源短缺以及机械自动化技术的迅速发展,利用机器人采摘替代人工作业成为必然趋势,开发苹果采摘机器人用于果园收获作业具有重要意义。由于苹果采摘作业环境复杂,严重制约了采摘自动化的发展。目标识别、定位与果实分离是苹果采摘机器人的关键技术,其性能决定了苹果采摘的效率及质量。该文概述了具有市场化前景的苹果采摘机器人发展和应用现状,综述了在复杂自然环境光照变化、枝叶遮挡、果实重叠、夜间环境下以及同色系苹果的识别方法,介绍了多种场景并存的复杂环境下基于深度学习的苹果识别算法,遮挡、重叠及振荡果实的定位方法,并对采用末端执行器实现果实与果树的分离方法进行了分析。针对现阶段苹果采摘机器人采摘速度低、成功率低、果实损伤、成本高等问题,指出今后苹果采摘机器人商业化发展亟需在农机农艺结合、优化识别算法、多传感器融合、多臂合作、人机协作、扩展设备通用性、融合5G与物联网技术等方面开拓创新。     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

基于多目标识别的葡萄果串采摘点定位方法

为减少采摘点定位不当导致末端碰撞损伤结果枝与果串，致使采摘失败及损伤率提高等问题，该研究提出了基于深度学习与葡萄关键结构多目标识别的采摘点定位方法。首先，通过改进YOLACT++模型对结果枝、果梗、果串等葡萄关键结构进行识别与分割；结合关键区域间的相交情况、相对位置，构建同串葡萄关键结构从属判断与合并方法。最后设计了基于结构约束与范围再选的果梗低碰撞感兴趣区域(region of interest, ROI)选择方法，并以该区域果梗质心为采摘点。试验结果表明，相比于原始的YOLACT++，G-YOLACT++边界框和掩膜平均精度均值分别提升了0.83与0.88个百分点；对单串果实、多串果实样本关键结构从属判断与合并的正确率分别为88%、90%，对关键结构不完整的果串剔除正确率为92.3%；相较于以ROI中果梗外接矩形的中心、以模型识别果梗的质心作为采摘点的定位方法，该研究采摘点定位方法的成功率分别提升了10.95、81.75个百分点。该研究为葡萄采摘机器人的优化提供了技术支持，为非结构化环境中的串类果实采摘机器人的低损收获奠定基础。     

基于单目视觉的田间菠萝果实识别

菠萝果实的准确识别是菠萝采摘机器人视觉系统的关键。针对田间复杂环境中的青色菠萝,采用图像处理技术、数学形态学方法,识别菠萝果眼,并获取果眼的中心点信息;引入层次聚类分类方法,对多个中心点进行聚类分析;求取最多点集的中心坐标,作为菠萝区域的近似形心。选用在广东湛江菠萝田间拍摄的35幅图像作为评价样本,经过运算,迎光条件下形心识别正确率达到85%。本研究为菠萝采摘机器人的田间果实识别提供了有效的技术方案。     

融合K-means与Ncut算法的无遮挡双重叠苹果目标分割与重建

重叠苹果目标的准确分割是采摘机器人必须解决的关键问题之一。针对现有重叠苹果目标分割方法不能保留重叠部分轮廓信息的问题,提出了一种无枝叶遮挡的双果重叠苹果目标分割方法。该方法首先利用K-means聚类算法进行图像分割以提取苹果目标区域,然后利用Normalized Cut(Ncut)算法提取苹果目标轮廓,以实现未被遮挡苹果目标完整轮廓的准确提取,最后利用Spline插值算法对遮挡的苹果目标进行轮廓重建。为了验证算法的有效性,对20幅无枝叶遮挡双果重叠的苹果图像进行试验,并将该算法与寻找2个有效凹点用其连线分割重叠苹果目标,把分离的2个轮廓分别用Hough变换重建轮廓的方法进行对比。试验结果表明,对于图像中未被遮挡的苹果目标,利用该研究算法的平均分割误差为3.15%,提取的苹果目标与原始图像中苹果目标的平均重合度为96.08%,平均误差比Hough变换重建算法低7.73%,平均重合度高9.71%,并且该研究算法能够很好地保留未被遮挡苹果目标的完整轮廓信息,提高了分割精度。对于重叠被遮挡的苹果目标,平均分割误差和平均重合度分别为5.24%和93.81%,比Hough变换重建算法的平均分割误差低11.35%,平均重合度高12.74%,表明该算法可以较好地实现重叠被遮挡苹果目标的轮廓重建,研究结果可为实现枝叶遮挡影响下的多果重叠目标分割与重建提供参考。     

采摘机械手对扰动荔枝的视觉定位

为了解决采摘机器人在自然环境中对扰动状态荔枝的视觉精确定位问题,该文分析机械手采摘过程中荔枝产生扰动的因素,设计制造了模拟荔枝振动的试验平台,该试验平台通过改变方向、振频、振幅等振动条件来模拟采摘过程中的扰动环境;结合振动平台运动参数,提出了双目立体视觉系统采集扰动状态的荔枝图像方法,在HSI颜色空间中对预处理后荔枝图像利用模糊C均值聚类法(FCM,fuzzyC-means)分割荔枝果实和果梗,然后利用Hough变换算法进行直线拟合确定有效的果梗采摘区域和采摘点,对多帧图像中采摘点坐标取平均值,然后进行三维重建确定空间采摘点坐标。荔枝扰动状态的视觉定位试验结果表明,空间定位深度值误差小于6cm,荔枝采摘机械手能实现有效采摘,该研究为机械手实际作业提供指导。     

基于机器视觉的番茄多目标提取与匹配

果实的提取和匹配是番茄采摘机器人进行番茄定位和采摘的基础。为解决获取图像中多个成熟番茄粘连或被遮挡的情况下果实的提取和匹配问题,该文提出了使用局部极大值法和随机圆环变换检测圆算法结合进行目标提取,再使用SURF算法进行目标匹配的算法。该方法首先基于颜色对番茄进行分割提取,然后使用局部极大值法对番茄个数进行估计,结合番茄区域面积进行半径估计,之后通过随机圆环变换算法检测番茄中心和半径进行目标定位,再使用SURF算法进行双目目标匹配的算法。该方法在一定程度上解决了复杂自然环境下,多个番茄的提取和图像特征匹配的问题,并通过试验验证了其有效性和准确性,可为采摘机器人目标识别技术的研究提供参考。     

苹果四臂采摘机器人系统设计与试验

针对鲜食苹果智能化高效采收需要,该研究设计了四臂并行采摘的“采-收-运”一体式机器人系统,以代替人工采收作业。以中国矮砧密植高纺锤果树为对象,根据树冠内果实空间分布特征,提出了四臂并行采摘执行部件的作业方式;建立了基于多任务深度卷积网络的果实可见区域识别模型,实现受遮挡果实离散区域语义分割及其归属关系的端到端判别;在此基础上,根据果实表面局部点云信息对其质心进行空间定位;提出了基于时间最优的四臂协同采摘任务规划方法,以实现机械臂对树冠内不同区域的高效遍历。最后在采摘机器人关键部件集成的基础上,在矮砧密植标准果园进行生产试验。试验结果表明,机器人对树冠内可见果实的识别率为92.94%,被识别果实中定位精度满足机器人采摘操作要求的比例为90.27%;机器人平均采摘效率为7.12 s/果,其中四臂协同采摘效率约为单臂采摘效率的1.96倍;对可见果实采摘成功率为82.00%,对树冠内全部果实的采收率为74.56%,枝叶遮挡干涉是造成采摘失败的主要原因。该研究可为鲜果智能化采摘模式的探索应用提供技术支撑。     

自然环境下贴叠葡萄串的识别与图像分割算法

针对自然环境下贴叠葡萄串难以识别与分割的问题,该文首先提取HSV颜色空间中的H分量,获取贴叠葡萄串区域,分析该区域长宽比从而判定葡萄串的贴叠性质;提取葡萄串图像轮廓信息,获取轮廓拐点与类圆心点信息;利用拐点与中心点之间的斜率判定目标葡萄串所在位置。然后,利用Chan-Vese模型进行葡萄串的迭代识别,并结合拐点信息获得重叠边界的轮廓信息。最后,将重叠边界轮廓与图像轮廓进行融合,实现目标葡萄串识别。试验结果表明,该文方法的平均精准度为89.71%,平均假阳率为4.24%,识别成功率为90.91%,与现有方法相比,该文方法可实现完整目标葡萄串的识别与分割,并提高了识别与分割的精准度,为葡萄采摘机器人成功采收贴叠葡萄串提供切实可行的算法。     

自然环境下葡萄采摘机器人采摘点的自动定位

针对葡萄果梗颜色复杂多变、轮廓不规则等影响因素使得采摘机器人难以准确对采摘点进行定位的问题,该文提出一种基于改进聚类图像分割和点线最小距离约束的采摘点定位新方法。首先通过分析葡萄图像的颜色空间,提取最能突显夏黑葡萄的HSI色彩空间分量H,运用改进的人工蜂群优化模糊聚类方法对葡萄果图像进行分割;然后对分割图像进行形态学去噪处理,提取最大连通区域,计算该区域质心、轮廓极值点、外接矩形;再根据质心坐标与葡萄簇边缘信息确定采摘点的感兴趣区域,在区域内进行累计概率霍夫直线检测,求解所有检测得出的直线到质心之间的距离,最后选取点线距离最小的直线作为采摘点所在线,并取线段中点坐标作为采摘点。以从晴天顺光、晴天遮阴、阴天光照下采集的300幅夏黑葡萄进行分类试验,结果表明,该方法的采摘点定位准确率达88.33%,平均定位时间为0.3467 s,可满足采摘机器人对采摘点的定位需求,为葡萄采摘机器人提供了一种新的采摘点求解方法。     

基于最优二叉树支持向量机的蜜柚叶部病害识别

为了提高蜜柚叶部中晚期病害的识别准确率,确保蜜柚叶部病害对症施药与病害防治的效果,该文提出了一种基于最优二叉树支持向量机(support vector machine,SVM)的蜜柚叶部病害识别方法,该方法首先将蜜柚叶部病害图像转换为B分量、2G-R-B分量、(G+R+B)/3分量以及YIQ颜色模型中的Q分量的4个灰度图像,再利用5尺度8方向的Gabor小波分别与4个分量灰度图像进行卷积运算,获得5个尺度下不同方向的幅值均值作为病害的特征向量,并结合提出的最优二叉树支持向量机病害识别模型,对黄斑病、炭疽病、疮痂病、煤烟病等4种蜜柚叶部病害进行分类识别。通过交叉验证的方法进行分类识别测试,结果表明:黄斑病、炭疽病、疮痂病、煤烟病识别准确率分别为90%、96.66%、93.33%、96.66%,平均识别率达到94.16%,并将该方法与BP神经网络、一对一SVM与一对多SVM进行比较,试验结果表明该方法可有效识别4种蜜柚叶部病害,在训练时间和识别精度上都优于其他3种方法。该方法可为蜜柚病害准确识别与防治提供有效的技术支持。     

基于Retinex图像增强的不同光照条件下的成熟荔枝识别

为了满足自然环境下荔枝采摘机器人视觉定位系统的有效性和实时性的要求,针对不同光照条件的荔枝彩色图像,采用基于双边滤波的Retinex图像增强算法凸显图像中的荔枝果实和果梗,对增强处理后的图像在HSI颜色空间中进行H分量旋转的处理,再对旋转处理后的H分量进行Otsu自动阈值分割去除荔枝图像果实和果梗外的复杂背景;然后通过将双三次插值算法和传统的模糊C均值（FuzzyC-Mean）算法融合,对去背景后的荔枝图像在YCbCr颜色空间中进行Cr分量模糊聚类分割,实现荔枝果实和果梗的识别。荔枝图像的分割试验结果表明：该算法对晴天顺光、逆光、遮阴、阴天顺光等光照条件的荔枝图像能够有效地分割,对阴天弱光照、果实被遮阴条件下的荔枝也能较好的识别,并保持荔枝果实和果梗区域的完整性,4种光照条件荔枝图像分割正确率分别为96%、90%、89.3%和88.9%,成熟荔枝识别的正确率达到了90.9%,该研究为水果采摘机器人的室外作业的实时性和有效性提供指导。     

基于目标像素变化的柚果单目测距算法

针对山地果园光线变化和枝叶遮挡干扰果实距离检测的问题,该研究提出一种利用目标区域像素数量变化预测成像距离的算法。根据单目测距原理和柚果成像特性,以具备尺寸和形状代表性的离树柚果样本为研究对象,在采摘作业距离范围内利用单一相机以固定间隔步距对果实某一侧面连续获取图像数据,用以建立并验证目标区域像素数量变化与成像距离变化之间的多元回归关系。随后将该算法应用于果园中树上柚果样本以检验其适用性,并讨论初始成像距离和步距取值对测距精度的影响。研究结果表明,在125 cm以内,6个树上柚果样本的测距相对误差均低于5%,满足采摘机械手目标定位的精度要求;初始成像距离对该算法测距精度具有显著影响。该研究单目测距算法满足果园环境中柚果目标与相机间距离检测需求,为相关采摘机械手的柚果目标识别提供了一种可行方案。     

基于区域生长均值漂移聚类的苗期作物行提取方法

为解决传统机器视觉方法检测苗期作物行时不同作物种类、不同生长背景和不同作物行数导致的作物行提取精度低的问题,该研究提出一种基于区域生长和均值漂移聚类的苗期作物行提取方法。首先,通过Lab颜色空间中a、b双颜色分量最大熵法选取最优阈值进行图像分割;其次,通过垂直投影获取均值漂移的聚类窗口带宽,均值漂移时以聚类窗口边缘为种子点进行区域生长来归类和标记每一行作物,之后遍历所有作物行获取聚类中心点;最后,通过最小二乘法拟合聚类中心点得到作物行直线。试验结果表明,该方法对大蒜、玉米、油菜、水稻和小麦5种作物的苗期作物行提取精度较高,5种作物的平均行识别率为98.18%,平均误差角度为1.21°,每张图片的平均处理时间为0.48 s。该方法的作物行提取性能明显优于Hough变换方法,为田间环境多因素影响下的苗期作物行提取提供了一种更具鲁棒性的方法。     

自动监测装置用温室粉虱和蓟马成虫图像分割识别算法

为了监测温室黄瓜作物虫害种类、数量变化情况以预测虫害发展趋势,该文以粉虱和蓟马为例,提出了一种基于Prewitt、Canny边缘检测算子分割和SVM(support vector machine)的温室粉虱和蓟马诱虫板的图像识别算法。该方法利用HSI(Hue-Saturation-Intensity)颜色空间的I分量与L*a*b*颜色空间的b分量二值图像中害虫目标与背景的高对比性,再分别相应地利用Prewitt算子和Canny算子进行单头害虫边缘分割,再经过形态学处理,最后融合这两幅二值图像完成单头害虫区域的提取。然后提取害虫的5个形态特征(面积、相对面积、周长、复杂度、占空比)及9个颜色特征(Hue-Saturation-Value颜色空间、HSI颜色空间、L*a*b*颜色空间各分量的一阶矩),并对这14个特征参数进行归一化处理,将特征值作为SVM的输入向量,进行温室粉虱和蓟马的诱虫板图像识别。通过分析比较不同向量组合的BP(back propagation)与SVM的害虫识别率、4种不同SVM核函数的害虫识别率,发现颜色特征向量是粉虱和蓟马识别的主成分,且SVM的识别效果优于BP神经网络、线性核函数的SVM分类性能最好且稳定。结果表明:平均识别准确率达到了93.5%,粉虱和蓟马成虫的识别率分别是96.0%和91.0%,能够实现温室害虫的诱虫板图像识别。该研究可以为虫害的监测与预警提供支持,为及时采取正确的防治措施提供重要的理论依据。