番茄果实串采摘点位置信息获取与试验

针对番茄收获机器人在采摘过程中果实串采摘点位置难以确定的问题,提出了基于果梗骨架角点计算方法,并利用该算法对番茄果实串果梗采摘点进行位置信息获取:首先采用最大类间方差分割法进行目标果实串分割,通过形态学方法和阈值法去除干扰,提取出目标果实串分割图像;根据果实串的质心和果串的轮廓边界确定果梗的感兴趣区域,采用快速并行细化算法提取果梗的骨架,利用Harris算法检测得到果实串第一个果实分叉点与植株主干之间果梗骨架角点,通过计算获得采摘点位置信息。然后进行验证试验,利用双目视觉图像采集系统采集了60组果实串图像并获取果梗采摘点位置信息,结果表明,采摘点位置成功率为90%,为采摘机器人提供准确的采摘位置信息。     

基于深度学习的葡萄果梗识别与最优采摘定位

针对葡萄采摘机器人在采摘作业中受果园环境干扰,难以准确识别与分割葡萄果梗及定位采摘点的问题,该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络(Mask Region with Convolutional Neural Network,Mask R-CNN)模型对果梗进行识别与粗分割;然后结合阈值分割思想对果梗的色调、饱和度、亮度(Hue Saturation Value,HSV)色彩空间进行分段式提取,取每段色彩平均值作为该段果梗基准颜色阈值,利用区域生长算法对果梗进行精细化分割;最后计算果梗图像区域的质心,并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明,在不同天气光照下该方法对葡萄果梗的检测精确率平均值为88%;在果梗成功识别后最优采摘点定位准确率达99.43%,单幅图像的果梗采摘定位平均耗时为4.90s,对比改进前Mask R-CNN检测耗时减少了0.99 s,F1-得分提高了3.24%,检测效率明显提升,该研究为葡萄采摘机器人提供了一种采摘点定位方法。     

自然场景图像中的重叠蜜柚识别及试验

重叠蜜柚目标的准确分离和蜜柚果梗的定位是实现采摘自动化必须解决的两个关键问题。现有的苹果、柑橘等重叠果实分离方法不适用于重叠蜜柚,且无果梗定位功能。针对以上问题,本文提出了一种结合渐进式中心定位的重叠蜜柚分离方法和果梗定位方法。首先利用主成分分析方法提取蜜柚区域、滤除背景并对图像中的重叠蜜柚进行初步分离;接着,对重叠蜜柚区域采用渐进式中心定位方法得到各个蜜柚的中心;然后,利用区域边缘点到其相应的不同中心点的距离大小的变化规律实现重叠蜜柚的分离;最后,利用前述的中心点结合蜜柚的形状特征,定位出遮挡程度较小的蜜柚果梗。在50张自然场景下的图像上进行试验,结果表明在有阴影、小目标、遮挡和重叠等复杂环境下,该方法的平均识别率为94.02%。同时,对于果梗未被遮挡且离摄像头较近的蜜柚,也给出了准确的果梗区域。在利用蜜柚模型搭建的识别自动化试验平台上进行试验,结果表明采摘机器人能够有效识别并分离重叠蜜柚、定位果梗。本研究可为蜜柚采摘机器人准确识别重叠果实提供参考。     

基于多目标识别的葡萄果串采摘点定位方法

为减少采摘点定位不当导致末端碰撞损伤结果枝与果串，致使采摘失败及损伤率提高等问题，该研究提出了基于深度学习与葡萄关键结构多目标识别的采摘点定位方法。首先，通过改进YOLACT++模型对结果枝、果梗、果串等葡萄关键结构进行识别与分割；结合关键区域间的相交情况、相对位置，构建同串葡萄关键结构从属判断与合并方法。最后设计了基于结构约束与范围再选的果梗低碰撞感兴趣区域(region of interest, ROI)选择方法，并以该区域果梗质心为采摘点。试验结果表明，相比于原始的YOLACT++，G-YOLACT++边界框和掩膜平均精度均值分别提升了0.83与0.88个百分点；对单串果实、多串果实样本关键结构从属判断与合并的正确率分别为88%、90%，对关键结构不完整的果串剔除正确率为92.3%；相较于以ROI中果梗外接矩形的中心、以模型识别果梗的质心作为采摘点的定位方法，该研究采摘点定位方法的成功率分别提升了10.95、81.75个百分点。该研究为葡萄采摘机器人的优化提供了技术支持，为非结构化环境中的串类果实采摘机器人的低损收获奠定基础。     

采摘机械手对扰动荔枝的视觉定位

为了解决采摘机器人在自然环境中对扰动状态荔枝的视觉精确定位问题,该文分析机械手采摘过程中荔枝产生扰动的因素,设计制造了模拟荔枝振动的试验平台,该试验平台通过改变方向、振频、振幅等振动条件来模拟采摘过程中的扰动环境;结合振动平台运动参数,提出了双目立体视觉系统采集扰动状态的荔枝图像方法,在HSI颜色空间中对预处理后荔枝图像利用模糊C均值聚类法(FCM,fuzzyC-means)分割荔枝果实和果梗,然后利用Hough变换算法进行直线拟合确定有效的果梗采摘区域和采摘点,对多帧图像中采摘点坐标取平均值,然后进行三维重建确定空间采摘点坐标。荔枝扰动状态的视觉定位试验结果表明,空间定位深度值误差小于6cm,荔枝采摘机械手能实现有效采摘,该研究为机械手实际作业提供指导。     

基于视觉伺服的樱桃番茄果串对靶测量方法

针对鲜食番茄自动化采收实际需要,为了实现对樱桃番茄果串自动识别定位,基于激光测距和视觉伺服技术设计了果串自动对靶测量视觉系统。通过分析成熟番茄果串图像色彩特征,采用R-G色差模型凸显目标与背景差异,并根据色差灰度逐列统计锁定果串图像区域;基于Cognex Vision Pro图像处理类库Cog PMAlign Tool模板匹配工具,对果串区域内果粒进行分割;根据对边缘果粒空间坐标估算,同时对采摘机械臂进行视觉伺服控制,实现对边缘果粒对靶定位测量,并根据其空间坐标测算果串长宽特征,为采摘执行部件提供作业依据。试验结果表明,视觉系统对果串内果粒的平均识别率为83.5%,对果粒视觉对靶的平均偏差为8.38像素,果串长度测量平均误差为8.25 mm,果串宽度测量平均误差为5.25 mm。该研究结果为串形果实自动采收目标识别定位提供参考。     

基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位

无损收获是采摘机器人的研究难点之一,葡萄采摘过程中容易因机械碰撞而损伤果实,为便于机器人规划出免碰撞路径,提出一种基于双目立体视觉的葡萄包围体求解与定位方法。首先通过图像分割获得葡萄图像质心及其外接矩形,确定果梗感兴趣区域并在该区域内进行霍夫直线检测,通过寻找与质心距离最小的直线来定位果梗上的采摘点,运用圆检测法获取外接矩形区域内果粒的圆心和半径。然后运用归一化互相关的立体匹配法求解采摘点和果粒圆心的视差,利用三角测量原理求出各点的空间坐标。最后以采摘点的空间坐标为原点构建葡萄空间坐标系,求解葡萄最大截面,再将该截面绕中心轴旋转360°得到葡萄空间包围体。试验结果表明:当深度距离在1 000 mm以内时,葡萄空间包围体定位误差小于5 mm,高度误差小于4.95%,最大直径误差小于5.64%,算法时间消耗小于0.69 s。该研究为葡萄采摘机器人的防损采摘提供一种自动定位方法。     

基于Retinex图像增强的不同光照条件下的成熟荔枝识别

为了满足自然环境下荔枝采摘机器人视觉定位系统的有效性和实时性的要求,针对不同光照条件的荔枝彩色图像,采用基于双边滤波的Retinex图像增强算法凸显图像中的荔枝果实和果梗,对增强处理后的图像在HSI颜色空间中进行H分量旋转的处理,再对旋转处理后的H分量进行Otsu自动阈值分割去除荔枝图像果实和果梗外的复杂背景;然后通过将双三次插值算法和传统的模糊C均值（FuzzyC-Mean）算法融合,对去背景后的荔枝图像在YCbCr颜色空间中进行Cr分量模糊聚类分割,实现荔枝果实和果梗的识别。荔枝图像的分割试验结果表明：该算法对晴天顺光、逆光、遮阴、阴天顺光等光照条件的荔枝图像能够有效地分割,对阴天弱光照、果实被遮阴条件下的荔枝也能较好的识别,并保持荔枝果实和果梗区域的完整性,4种光照条件荔枝图像分割正确率分别为96%、90%、89.3%和88.9%,成熟荔枝识别的正确率达到了90.9%,该研究为水果采摘机器人的室外作业的实时性和有效性提供指导。     

自然环境下葡萄采摘机器人采摘点的自动定位

针对葡萄果梗颜色复杂多变、轮廓不规则等影响因素使得采摘机器人难以准确对采摘点进行定位的问题,该文提出一种基于改进聚类图像分割和点线最小距离约束的采摘点定位新方法。首先通过分析葡萄图像的颜色空间,提取最能突显夏黑葡萄的HSI色彩空间分量H,运用改进的人工蜂群优化模糊聚类方法对葡萄果图像进行分割;然后对分割图像进行形态学去噪处理,提取最大连通区域,计算该区域质心、轮廓极值点、外接矩形;再根据质心坐标与葡萄簇边缘信息确定采摘点的感兴趣区域,在区域内进行累计概率霍夫直线检测,求解所有检测得出的直线到质心之间的距离,最后选取点线距离最小的直线作为采摘点所在线,并取线段中点坐标作为采摘点。以从晴天顺光、晴天遮阴、阴天光照下采集的300幅夏黑葡萄进行分类试验,结果表明,该方法的采摘点定位准确率达88.33%,平均定位时间为0.3467 s,可满足采摘机器人对采摘点的定位需求,为葡萄采摘机器人提供了一种新的采摘点求解方法。     

基于机器视觉的番茄多目标提取与匹配

果实的提取和匹配是番茄采摘机器人进行番茄定位和采摘的基础。为解决获取图像中多个成熟番茄粘连或被遮挡的情况下果实的提取和匹配问题,该文提出了使用局部极大值法和随机圆环变换检测圆算法结合进行目标提取,再使用SURF算法进行目标匹配的算法。该方法首先基于颜色对番茄进行分割提取,然后使用局部极大值法对番茄个数进行估计,结合番茄区域面积进行半径估计,之后通过随机圆环变换算法检测番茄中心和半径进行目标定位,再使用SURF算法进行双目目标匹配的算法。该方法在一定程度上解决了复杂自然环境下,多个番茄的提取和图像特征匹配的问题,并通过试验验证了其有效性和准确性,可为采摘机器人目标识别技术的研究提供参考。     

基于级联视觉检测的樱桃番茄自动采收系统设计与试验

樱桃番茄串生长姿态多样、果实成熟度不一，采摘机器人进行“粒收”作业时，常面临果梗干涉末端执行器、成熟度判断错误等问题，导致采摘效率低下、难以有效实现分级采收。针对上述问题，该研究提出一种级联视觉检测流程，包括采收目标检测、目标果实特性判别、果实与果梗位置关系判断3个关键环节。首先根据农艺要求按成熟度将番茄果实分为4个等级，引入YOLOv5目标检测模型对番茄串和番茄果实进行检测并输出成熟度等级，实现分期采收。然后对果实与果梗的相对位置进行判断，利用MobileNetv3网络模型对膨胀包围盒进行果实与果梗相对位置关系判断，实现末端执行器采摘位姿控制。日光温室实际测试结果表明，本文提出的级联检测系统平均推理用时22ms，在IOU(intersectionoverunion)阈值为0.5的情况下，樱桃番茄串与果实的平均检测精度达到89.9%，满足采摘机器人的视觉检测精度和实时性要求，相比末端执行器以固定角度靠近待采目标的方法，本文方法采收效率提升28.7个百分点。研究结果可为各类果蔬采摘机器人研究提供参考。     

基于RGB-D相机的脐橙实时识别定位与分级方法

为实现脐橙采摘机器人对脐橙果实进行实时识别、定位和分级采摘的需求,该研究提出了一种基于RGB-D相机数据的脐橙果实实时识别、定位及分级的OrangePointSeg算法。首先利用微软最新消费级深度相机（Azure Kinect DK）采集脐橙果实的RGB-D数据,建立脐橙果实实例分割数据集及增强数据集。然后通过改进YOLACT算法对脐橙果实进行实时分割并生成实例掩膜,与配准后的深度图裁剪得到果实深度点云,再利用最小二乘法进行脐橙果实外形拟合,得到其相机坐标系下质心坐标及半径。试验结果表明,在果实识别阶段,改进YOLACT算法在该数据集上的检测速度为44.63帧/s,平均精度为31.15%。在果实定位阶段,1 400～2 000点云数量时的拟合时间为1.99 ms,定位误差为0.49 cm,拟合出的半径均方根误差为0.43 cm,体积均方根误差为52.6 mL,在大于800点云数量和距离1 m以内时,定位误差均控制在0.46 cm以内。最后通过引入并行化计算,OrangePointSeg的总体处理速度为29.4帧/s,能够较好地实现精度与速度的平衡,利于实际应用和工程部署。该研究成果可推广至其他类似形态学特征的果实识别中,为果园的智能化管理提供行之有效的技术支撑。     

基于RGB-D相机的玉米茎粗测量方法

为实现田间玉米茎粗的快速测量,提出了一种基于RGB-D(RGB-Depth)相机的玉米茎粗参数提取方法。以小喇叭口期玉米为观测对象,利用RGB-D相机获取田间玉米的彩色图像和深度图像。首先,根据玉米与背景的颜色差异,对图像进行自动阈值分割,提取图像中感兴趣区域内的信息;利用形态学"开"操作剔除图像中的噪声,得到玉米茎杆的主干。其次,对茎杆主干进行骨架化操作,检测骨架的交叉点和末端点,确定茎杆的待测量部位。然后,对该部位的点云数据进行去噪、聚类、椭圆拟合操作,得到椭圆的长轴和短轴,获得玉米的茎粗。对20株玉米进行测试,结果表明:茎粗长轴的平均测量误差为3.31 mm,标准差为3.01 mm,平均测量相对误差为10.27%,茎粗短轴的平均测量误差为3.33 mm,标准差为2.39 mm,平均测量相对误差为12.71%。该研究可为作物表型参数的快速获取提供参考。     

基于果萼图像的猕猴桃果实夜间识别方法

根据猕猴桃的棚架式栽培方式,提出了一种适用于猕猴桃采摘机器人夜间识别的方法。采用竖直向上获取果实图像的拍摄方式,以果萼为参考点,进行果实的识别,并测试该方法对光照的鲁棒性。试验结果表明:基于果萼能够有效的识别猕猴桃果实,成功率达94.3%;未识别和误识别的果实一般出现在5果及5果以上的簇中,原因是果实相互挤压导致的果萼部分不在果实图像的中心区域,以及果实之间的三角区形成暗色封闭区域;光照过小或过大会导致成像模糊或过曝,对正确率有细微影响;识别速度达到了0.5 s/个。因此,基于果萼的猕猴桃果实夜间识别方法在正确识别率和速度上都有很大提升,更接近实际应用。     

基于多模态图像的自然环境下油茶果识别

针对自然条件下油茶果生长条件复杂,存在大量遮挡、重叠的问题,提出了一种基于RGB-D（red green blue-depth）多模态图像的双主干网络模型YOLO-DBM（YOLO-dual backbone model）,用来进行油茶果的识别定位。首先,在YOLOv5s模型主干网络CSP-Darknet53的基础上设计了一种轻量化的特征提取网络。其次,使用两个轻量化的特征提取网络分别提取彩色和深度特征,接着使用基于注意力机制的特征融合模块将彩色特征与深度特征进行分级融合,再将融合后的特征层送入特征金字塔网络（feature pyramid network,FPN）,最后进行预测。试验结果表明,使用RGB-D图像的YOLO-DBM模型在测试集上的精确率P、召回率R和平均精度AP分别为94.8%、94.6%和98.4%,单幅图像平均检测耗时0.016 s。对比YOLOv3、YOLOv5s和YOLO-IR（YOLO-InceptionRes）模型,平均精度AP分别提升2.9、0.1和0.3个百分点,而模型大小仅为6.21MB,只有YOLOv5s大小的46%。另外,使用注意力融合机制的YOLO-DBM模型与只使用拼接融合的YOLO-DBM相比,精确率P、召回率R和平均精度AP分别提高了0.2、1.6和0.1个百分点,进一步验证该研究所提方法的可靠性与有效性,研究结果可为油茶果自动采收机的研制提供参考。