基于深度学习的葡萄果梗识别与最优采摘定位

针对葡萄采摘机器人在采摘作业中受果园环境干扰,难以准确识别与分割葡萄果梗及定位采摘点的问题,该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法.首先通过改进掩膜区域卷积神经网络(Mask Region with Convolutional Neural Network,Mask R-CNN)模...     

基于视觉伺服的草莓采摘机器人果实定位方法

为解决基于手眼系统的视觉伺服方法在草莓采摘机器人应用中存在的视觉信息反馈延迟大、频率低以及深度信息无法确定等带来的定位耗时长、精度低的问题,采用摄像机曝光信号触发控制卡进行高速位置锁存,结合位置传感器的反馈信息,来减少定位耗时;采用基于运动恢复结构的方法,提高果实采摘参数的精度。在垄坡和摄像机像平面的夹角为±10°范围内的情况下,针对包含1~3粒成熟草莓的果实域,采用直角坐标式机械臂草莓采摘机器人样机进行了定位试验。试验结果表明:定位时间在0.633~0.886 s之间;草莓深度信息的相对误差在-4.34%~0.95%范围内。     

基于多目标识别的葡萄果串采摘点定位方法

为减少采摘点定位不当导致末端碰撞损伤结果枝与果串,致使采摘失败及损伤率提高等问题,该研究提出了基于深度学习与葡萄关键结构多目标识别的采摘点定位方法。首先,通过改进YOLACT++模型对结果枝、果梗、果串等葡萄关键结构进行识别与分割;结合关键区域间的相交情况、相对位置,构建同串葡萄关键结构从属判断与合并方法。最后设计了基于结构约束与范围再选的果梗低碰撞感兴趣区域(region of interest, ROI)选择方法,并以该区域果梗质心为采摘点。试验结果表明,相比于原始的YOLACT++,G-YOLACT++边界框和掩膜平均精度均值分别提升了0.83与0.88个百分点;对单串果实、多串果实样本关键结构从属判断与合并的正确率分别为88%、90%,对关键结构不完整的果串剔除正确率为92.3%;相较于以ROI中果梗外接矩形的中心、以模型识别果梗的质心作为采摘点的定位方法,该研究采摘点定位方法的成功率分别提升了10.95、81.75个百分点。该研究为葡萄采摘机器人的优化提供了技术支持,为非结构化环境中的串类果实采摘机器人的低损收获奠定基础。     

基于改进UNet模型的油茶果振动采摘点定位方法

针对非花果同期油茶果采收效率低这一问题,提出一种侧枝振动采摘点定位方法,通过振动侧枝降低树木损伤并实现高效采收。首先构建数据集,对侧枝分段标注,向UNet中添加CloFormer注意力机制并命名为Clo-UNet,实现侧枝的二维重构。其次,在Clo-UNet基础上进一步设计采摘点定位方法并命名为Clo-UNet-Point,该方法优先选择采收离果实最远且最粗的枝条。试验表明,Clo-UNet在验证集上表现优异,其中br_con（连果枝）、danger（危险区）和br_pro（优先采收区域）的平均交并比mIoU分别达到85.36%、86.37%和81.29%,平均像素精度mPA分别达到94.97%、96.17%和89.48%,Clo-UNet在整个数据集上的mIoU和mPA分别比UNet高5.14、6.85个百分点。通过观察验证集647幅图像,Clo-UNet-Point算法在不同光照条件下均能定位到采摘点,平均检测一张图像用时0.15 s。该研究可为未来非花果同期类油茶果的自动化振动采收奠定理论基础。     

采用改进Mask R-CNN算法定位鲜食葡萄疏花夹持点

为实现鲜食葡萄疏花机械化与自动化,该研究提出了一种鲜食葡萄疏花夹持点定位方法。首先基于ResNeXt骨干网络并融合路径增强,改进Mask R-CNN模型,解决鲜食葡萄花穗、果梗目标较小难以检测的问题;进而针对花穗、果梗生长姿态的复杂性与不确定性,提出一种集合逻辑算法,该算法采用IoU函数剔除重复检测的花穗与果梗,建立花穗、果梗对,并对果梗掩模进行形态学开运算,利用集合关系获取主果梗掩模,确定以主果梗质心附近的中心点为果梗的夹持点。最后,随机选取测试集中的图像进行试验。试验结果表明：果梗夹持点平均定位准确率为83.3%,平均定位时间为0.325 s,夹持点x、y方向定位误差及定位总误差最大值分别为10、12和16像素,能够满足鲜食葡萄疏花的定位精度与速度要求,可为实现鲜食葡萄疏花机械化与自动化提供理论支撑。     

苹果采摘机器人对振荡果实的快速定位采摘方法

为解决由于果实振荡影响采摘机器人采摘效率的问题,该文研究了苹果采摘机器人在果实振荡状况下的快速采摘方法。首先对振荡果实进行动态连续采集,其次对所采集的图像进行振荡果实识别并提取其二维质心坐标,然后由FFT建模,求取果实的振荡周期,在测得振荡果实的深度距离后,计算出采摘机器人直动关节的行程速度,随即开始采摘,抓取时果实正处于平衡位置。最后通过试验可知,采摘成功率达到84%,对于果实静态状况下采摘速度较快的采摘机器人来说,采摘振荡果实,该研究方法明显优于以往采摘方法,能够显著提高采摘机器人果实采摘的整体速度。此外,该采摘方法简单、通用性好,可满足苹果等类球状果实采摘机器人的需要,对实现其实用化和商品化提供参考。     

苹果采摘机器人激光视觉系统的构建

为了避免或减少自然光线的干扰,该文设计了一种用于苹果采摘机器人的激光视觉系统。基于飞行时间原理的LMS211激光测距仪可对目标距离进行测量,具有精度高、响应速度快等优点;研制的直线运动单元可自由调整其滑台的移动速度和行程,用来协助测距仪完成对目标场景的三维扫描。试验结果表明：在一定测量范围内,扫描数据能较理想地反映果实的曲面特性,选择合适的水平分辨率可提高数据的成像效果,生成的距离图像易于解析果实、枝叶的空间几何特性及相互间的层次关系,且效果不受光线变化的影响。该系统为后期果实的识别研究提供参考。     

基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位

无损收获是采摘机器人的研究难点之一,葡萄采摘过程中容易因机械碰撞而损伤果实,为便于机器人规划出免碰撞路径,提出一种基于双目立体视觉的葡萄包围体求解与定位方法。首先通过图像分割获得葡萄图像质心及其外接矩形,确定果梗感兴趣区域并在该区域内进行霍夫直线检测,通过寻找与质心距离最小的直线来定位果梗上的采摘点,运用圆检测法获取外接矩形区域内果粒的圆心和半径。然后运用归一化互相关的立体匹配法求解采摘点和果粒圆心的视差,利用三角测量原理求出各点的空间坐标。最后以采摘点的空间坐标为原点构建葡萄空间坐标系,求解葡萄最大截面,再将该截面绕中心轴旋转360°得到葡萄空间包围体。试验结果表明:当深度距离在1 000 mm以内时,葡萄空间包围体定位误差小于5 mm,高度误差小于4.95%,最大直径误差小于5.64%,算法时间消耗小于0.69 s。该研究为葡萄采摘机器人的防损采摘提供一种自动定位方法。     

基于实例分割的大场景下茶叶嫩芽轮廓提取与采摘点定位

为了解决野外大场景下茶叶嫩芽识别与采摘点精确定位问题,提出了一种基于实例分割的Yolov5s-segment改进算法。该算法首先引入P2微小目标检测层,解决原始Yolov5s-segment网络P3、P4、P5检测层对于小目标检测能力不佳的问题。其次,在主干网络末端增加CBAM(convolutional block attention module)注意力机制模块,提升模型的抗干扰能力,实现野外自然光照环境下茶叶嫩芽轮廓特征提取。最后,根据嫩芽轮廓特征进行采摘点精确定位。研究结果表明,相较于原始Yolov5s-segment模型,改进模型的精确度、召回率、F1分数、平均精度均值mAP₅₀和mAP_50-95分别提升了7.0、8.9、8.1、8.3、7.3个百分点。使用该方法可以准确提取大场景下的单芽、一芽一叶、一芽两叶三种类型茶叶嫩芽轮廓,并且实现采摘点的精确定位。研究结果为名优茶智能化快速采摘提供了一定的理论基础。     

苹果采摘机器人无线数据传输系统

针对解决苹果采摘机器人众多传感器数据采用有线传输,数据线纷繁杂乱、检修不便等问题,以及其直动关节在伸缩过程中对末端执行器传感器数据线容易扯断纠结等具体情况,设计了传感器无线数据传输系统。首先对苹果采摘机器人无线数据传输进行了整体设计,对无线通信模块电路、USB通信电路进行了选型设计,同时设计了部分传感器的信号调理电路;其次为了无线数据实时、可靠的传输,在方法上采取了质效控制措施,并制定了数据传输协议,然后进行了无线数据传输的程序设计,最后通过测试结果验证了传输协议的健壮性,数据传输的高效性,并根据测试结果与系统开销之间进行协调,选取了最优设置参数。该研究为采摘机器人及其他农产品生产机器人数据传输提供了一种无线实现方式和新的实现方案。     

脐橙采摘机器人末端执行器设计与试验

针对脐橙无损采摘的需求,基于欠驱动原理设计了一种双V型手指脐橙采摘机器人末端执行器,主要由吸附机构、夹持机构和旋切机构3部分组成,吸附机构可以实现果实与果簇快速分离,夹持机构能够对果实进行无损稳定夹持,旋切机构可以将果实与果梗快速分离。建立脐橙数学模型并分析了手指工作空间。依据夹持机构的受力分析,并对关键部件进行了选型。结合电阻式薄膜压力传感器设计了手指的力反馈系统,使夹持机构达到稳定无损采摘要求。搭建末端执行器实体样机,以步进电机转速为因素,以单果采摘时间、采摘成功率和损伤率为指标,进行了105次采摘试验,根据试验结果,选取250 r/min作为最佳步进电机转速,此时单果采摘时间为1.76 s,采摘成功率为94.28%,损伤率为0。该文研究的脐橙采摘末端执行器采摘速度高、控制难度低、与机械臂集成度高,可为脐橙采摘机器人的整体研发提供参考。     

自然环境下贴叠葡萄串的识别与图像分割算法

针对自然环境下贴叠葡萄串难以识别与分割的问题,该文首先提取HSV颜色空间中的H分量,获取贴叠葡萄串区域,分析该区域长宽比从而判定葡萄串的贴叠性质;提取葡萄串图像轮廓信息,获取轮廓拐点与类圆心点信息;利用拐点与中心点之间的斜率判定目标葡萄串所在位置。然后,利用Chan-Vese模型进行葡萄串的迭代识别,并结合拐点信息获得重叠边界的轮廓信息。最后,将重叠边界轮廓与图像轮廓进行融合,实现目标葡萄串识别。试验结果表明,该文方法的平均精准度为89.71%,平均假阳率为4.24%,识别成功率为90.91%,与现有方法相比,该文方法可实现完整目标葡萄串的识别与分割,并提高了识别与分割的精准度,为葡萄采摘机器人成功采收贴叠葡萄串提供切实可行的算法。     

基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位

为提高苹果采摘机器人的工作效率和环境适应性,使其能全天候的在不同光线环境下对遮挡、粘连和套袋等多种情况下的果实进行识别定位,该文提出了基于YOLOv3(you only look once)深度卷积神经网络的苹果定位方法。该方法通过单个卷积神经网络(one-stage)遍历整个图像,回归目标的类别和位置,实现了直接端到端的目标检测,在保证效率与准确率兼顾的情况下实现了复杂环境下苹果的检测。经过训练的模型在验证集下的m AP(meanaverageprecision)为87.71%,准确率为97%,召回率为90%,IOU(intersection over union)为83.61%。通过比较YOLOv3与Faster RCNN算法在不同数目、不同拍摄时间、不同生长阶段、不同光线下对苹果的实际检测效果,并以F1为评估值对比分析了4种算法的差异,试验结果表明YOLOv3在密集苹果的F1高于YOLOv2算法4.45个百分点,在其他环境下高于Faster RCNN将近5个百分点,高于HOG+SVM(histogram of oriented gradient+support vector machine)将近10个百分点。并且在不同硬件环境验证了该算法的可行性,一幅图像在GPU下的检测时间为16.69 ms,在CPU下的检测时间为105.21 ms,实际检测视频的帧率达到了60帧/s和15帧/s。该研究可为机器人快速长时间高效率在复杂环境下识别苹果提供理论基础。     

基于SBL-PRM算法的柑橘采摘机器人实时路径规划

针对动态非结构化环境下的柑橘采摘机器人实时路径规划问题,采用单次查询、双向采样与延迟碰撞检测相结合的SBL-PRM（Single-query,Bi-directional,Lazy collision checking,Probabilistic Roadmap Method）算法,对无遮挡和遮挡两种场景下的柑橘采摘情况进行仿真试验,分析最大采样点数S、邻域阈值ρ、局部路径检测阈值ε、路径平滑次数N等参数对规划时间和成功率的影响。结果表明,在S=3000,ρ=0.6,ε=0.03,N=10时,无遮挡和遮挡两种场景下路径规划的平均时间分别为1 ms、60 ms左右,规划成功率均为100%。仿真试验证明了SBL-PRM算法在柑橘采摘机器人实时路径规划中的有效性。     

采摘机械手对扰动荔枝的视觉定位

为了解决采摘机器人在自然环境中对扰动状态荔枝的视觉精确定位问题,该文分析机械手采摘过程中荔枝产生扰动的因素,设计制造了模拟荔枝振动的试验平台,该试验平台通过改变方向、振频、振幅等振动条件来模拟采摘过程中的扰动环境;结合振动平台运动参数,提出了双目立体视觉系统采集扰动状态的荔枝图像方法,在HSI颜色空间中对预处理后荔枝图像利用模糊C均值聚类法(FCM,fuzzyC-means)分割荔枝果实和果梗,然后利用Hough变换算法进行直线拟合确定有效的果梗采摘区域和采摘点,对多帧图像中采摘点坐标取平均值,然后进行三维重建确定空间采摘点坐标。荔枝扰动状态的视觉定位试验结果表明,空间定位深度值误差小于6cm,荔枝采摘机械手能实现有效采摘,该研究为机械手实际作业提供指导。     

自然光照条件下采摘机器人果实识别的表面阴影去除方法

有效的阴影检测和去除算法会大大提高自然环境下果实识别算法的性能,为农业智能化提供技术支持。该研究采用超像素分割的方法,将一张图像分割成多个小区域,在对图像进行超像素分割的基础上,对自然光照下的果园图像阴影区域与非阴影区域进行对比分析,探索8个自定义特征用于阴影检测。然后采用SVM的方法,结合8个自主探索的自定义特征,对图像中每个超像素分割的小区域进行检测,判断每个小区域是否处于阴影中,再使用交叉验证方法进行参数优化。根据Finlayson的二维积分算法策略,对检测的每一个阴影区域进行阴影去除,获得去除阴影后的自然光照图像。最后进行阴影检测的识别准确性试验,试验结果表明,本研究的阴影检测算法的平均识别准确率为83.16%,经过阴影去除后,图像的阴影区域亮度得到了提高,并且整幅图像的亮度更为均匀。该研究可为自然环境下机器人识别果实及其他工农业应用场景提供技术支持。