基于YOLO v5-TL的褐菇采摘视觉识别-测量-定位技术

为实现褐菇高效、精准、快速的自动化采摘,针对工厂化褐菇的种植特点,提出一种基于YOLO v5迁移学习(YOLO v5-TL)结合褐菇三维边缘信息直径动态估测法的褐菇原位识别-测量-定位一体化方法。首先,基于YOLO v5-TL算法实现复杂菌丝背景下的褐菇快速识别;再针对锚框区域褐菇图像进行图像增强、去噪、自适应二值化、形态学处理、轮廓拟合进行褐菇边缘定位,并提取边缘点和褐菇中心点的像素坐标;最后基于褐菇三维边缘信息的直径动态估测法实现褐菇尺寸的精确测量和中心点定位。试验结果表明单帧图像平均处理时间为50ms,光照强度低、中、高情况下采摘对象识别平均成功率为91.67%,其中高光强时识别率达100%,菇盖的尺寸测量平均精度为97.28%。研究表明,本文提出的YOLO v5-TL结合褐菇三维边缘信息直径动态估测法可实现工厂化种植环境下褐菇识别、测量、定位一体化,满足机器人褐菇自动化采摘需求。     

基于“淹没法”的双孢菇检测及直径测量方法

随着双孢菇种植面积和产量的增长,智能化采摘机器人的需求已迫在眉睫。为了给采摘机器人提供作业目标和参数信息,通过对双孢菇(白菇)深度图像进行处理和分析,实现了目标检测和直径测量。首先,根据双孢菇三维纵深结构特点,开发了“淹没法”双孢菇-菇床基质分割方法,实现了双孢菇的准确检测;然后,通过坐标变换,得到双孢菇菇盖边缘点的世界坐标,利用Hough圆检测实现双孢菇的直径测量。试验结果表明:此方法双孢菇检出率89%以上,漏检率低于11%,错检率低于2.26%,直径测量误差为2.15%~3.15%,单个蘑菇运算耗时约0.26~0.37s,可为双孢菇机械化采收提供在线、实时的信息决策支持,提高了双孢菇采收质量和效率,并有助于提高双孢菇采收机器人的智能化水平。     

褐菇无损采摘柔性手爪设计与试验

针对娇嫩褐菇自动化无损采摘易损的问题,首先分析了褐菇的生物学特性和力学特性,分别给出拔断和扭断采摘方式抓持力的约束方程,并优选出扭断式采摘方法;通过ANSYS对柔性手指夹持褐菇进行静力学分析,给出柔性手指指节数、褐菇直径及气压与抓持力之间的函数关系,建立评价函数,通过遗传算法优选出3指4指节的柔性手爪结构,以及18.65kPa的最优抓持控制气压;基于此设计3指4指节的柔性手爪,并进行褐菇采摘试验,结果表明,与刚性手爪相比,柔性手爪抓持力减小,为（2.4±0.3）N;刚性手爪采摘褐菇的抓握处切面5mm深度内均有损伤,且表面抓痕明显,而柔性手爪抓握处表面和内部均完好无损。说明所设计的3指4指节柔性手爪适于褐菇的自动化无损采摘。     

基于视觉算法的采摘机器人控制优化研究

为了优化采摘机器人控制,基于视觉技术设计了控制系统。首先,在大津分割法的基础上,计算图像中的角点,将角点从分割后的二值图中去除,降低背景干扰点簇的影响;其次,建立褐菇几何特征参数,以此参数对褐菇进行特征图像提取;再次,采用遗传学算法,对褐菇采摘路径进行优化,与传统往复前进式路径规划相比路程缩短了30.5%;最后,对系统进行实地褐菇采摘测试,结果显示：辨别成功率分布区间为[87%, 91.7%],采摘成功率分布区间为[80%, 85.75%],单个褐菇平均采摘时间分布区间为[12.4s, 13.2s],系统具有良好的采摘性能。     

面向机器人柑橘采摘的控制系统设计与试验

面向柑橘采摘,构建以上位机、RealSense Camera R200深度相机、VS-6556垂直多关节工业用机械臂、三指柔性手爪等组成的采摘机器人硬件平台。以Windows10为开发环境,采用librealsense相机软件开发工具包、OpenCV计算机视觉库、TensorFlow-GPU和Keras深度学习框架、ORIN2机械臂控制软件开发工具包、Arduino IDE函数库以及SerialPort串口通信软件开发工具包等,研究基于深度相机、机械臂二次开发的采摘控制系统设计,包括视觉识别定位、手爪动作控制、机械臂运动控制以及采摘控制等模块的程序设计。采摘控制系统柑橘定位试验和柑橘采摘试验的测试结果显示,在实验室环境下面对随机布置的柑橘,视觉识别定位模块的平均定位精度误差为1.22 cm,采摘过程中柑橘识别成功率达到100%,平均识别时间约为47 ms,机器人柑橘采摘成功率达到80%,平均采摘时间约为15.2 s,验证了采摘机器人平台控制系统程序的可行性,表明所开发的采摘控制系统能够正确、高效地完成整个柑橘采摘作业流程。     

西红柿采摘机器人视觉系统的研究

针对果实采摘机器人果实识别率低的问题,设计了一组用于西红柿识别和定位的双目立体视觉系统,为机器人的采摘作业提供更有利的条件。为此,采用Bumblebee双目立体视觉系统,基于成熟果实与植株颜色特征的差异进行图像分割,来识别成熟的西红柿;在完成相机标定、特征点提取和特征点匹配的基础上,通过三维空间定位获取果实的三维坐标。实验结果表明:该系统果实识别的整个过程平均耗时150ms,对成熟西红柿的识别率达到99%,测试误差在10mm以内,能够较好地满足西红柿采摘工作的要求。     

基于Kinect传感器的猕猴桃果实空间坐标获取方法

猕猴桃自动采摘机器人研究中,为了自动获取目标果实的空间坐标,提出了一种基于Kinect传感器的猕猴桃果实空间坐标获取方法。首先利用Kinect传感器的红外投影机和红外摄像机获取深度图像,利用彩色摄像机获取RGB图像,根据彩色图和深度图对应关系,转换成深度坐标;然后通过Map Depth Point To Skeleton Point函数得到以红外摄像机为原点的坐标系坐标。实验表明:该方法能够有效获取猕猴桃目标果实的空间坐标,其定位误差小于2mm。     

基于VUE的智能采摘机器人前端开发框架研究

以智能采摘自动识别定位方式为研究对象,对葡萄自动采摘前端的图像采集和分析处理过程进行分析,利用VUE自底向上逐层构建的方式,设计一种能够对目标进行自动识别定位的智能采摘机器人识别定位算法。采用高清相机对采摘目标图像进行采集,将原始图像进行二值化处理,获取图像灰度等级,并采用葡萄图像分割的方式获取葡萄采摘点,最后通过最小角度拟合的方式确定葡萄果梗采摘点。试验结果表明:智能采摘机器人前端识别定位方法平均运行成功率高于90%,平均运行时间0.65s,能够快速准确地进行采摘对象识别定位,可为智能采摘机器人技术的推广提供理论基础。     

温室草莓采摘机器人设计与试验

为实现温室草莓采摘机械化和自动化,设计并制作一种应用于日光温室的草莓采摘机器人。该机器人能实现自主路径规划,行走过程中识别成熟草莓并完成采摘。设计以ROS分布式计算系为主控制网络,以激光雷达进行移动机器人的地图构建与定位,双目深度相机实现对成熟草莓的识别和定位,搭载柔性仿生夹爪6自由度机械臂实现目标草莓抓取和放置。设计机器人软件平台,使用改进A*算法实现自主路径规划和导航避障;利用R-FCN目标检测网络和双目视觉技术实现成熟草莓检测及定位。结果表明：该草莓采摘机器人可实现目标检测及定位,检测到的草莓坐标与机器人手爪坐标的误差在4 mm以下,成熟草莓识别率为95%,满足采摘要求。     

草莓采摘位置机器视觉与激光辅助定位方法

以地垄栽培模式下的草莓为作业对象,针对草莓果实娇嫩易损的特点,采用直接撷取果柄的采摘方案,提出了一种图像处理与激光辅助测距相结合的草莓采摘位置自动定位方法.采用镜像匹配法计算草莓果轴的平面位置信息,进而在扇形激光束的辅助下,利用几何光学计算采摘位置在深度方向的距离.对自然环境下生长的长圆锥型草莓进行了试验,结果表明,对于机器人锁定采摘位置所需的导航数据,该方法的平均计算时间为381ms,测距最大误差为1.6mm,平均误差为0.5mm.     

基于艺术设计理念的采摘机器人外形机构研究

为进一步实现用于农业果蔬采摘的机器人外形结构优化目标,结合当前三维可视化的艺术设计理念,针对其采摘装置结构参数与布局展开研究.考虑果蔬的物理学特性与作业周边环境光线特征,建立正确的采摘动作空间坐标,设计采摘机器人结构优化流程,从采摘臂杆的偏转角度、臂杆间距与角度阈值3个方面进行参数匹配,并综合协调各采摘关节的运动状态,...     

果园机器人视觉导航行间位姿估计与果树目标定位方法

针对单目视觉导航中位姿信息不完整和果树定位精度低的问题,提出基于实例分割神经网络的偏航角、横向偏移、果树位置计算方法。首先,基于Mask R-CNN模型识别并分割道路与树干;其次,寻找道路掩码凸包并进行霍夫变换,由凸包中的边界方程计算消失点坐标;最后,根据建立的位姿-道路成像几何模型,计算偏航角、横向偏移与果树相对位置。实验结果表明：改进Mask R-CNN模型的边框回归平均精确度为0.564,分割平均精确度为0.559,平均推理时间为110 ms。基于本文方法的偏航角估计误差为2.91%、横向偏移误差为4.82%,果树横向定位误差为3.80%,纵向误差为2.65%。该方法能在不同位姿稳定地提取道路与果树掩码、计算消失点坐标与边界方程,较准确地估计偏航角、横向位移和果树相对位置,为果园环境下的视觉自主导航提供有效参考。     

基于CMOS图像传感器的采摘机器人嵌入式视觉系统

为了提高采摘机器人的自动化程度,实现自主导航和自主采摘作业能力,将基于CMOS图像传感器的嵌入式视觉系统引入到了采摘机器人的设计过程中,有效降低了机器人的设计复杂程度,提高了机器人的设计效率。采用DSP主控芯片构建了嵌入式图像处理系统,可以处理CMOS相机实时采集的图像,并采用模块化设计,构建了包括通讯单元、存储单元及视频输入输出接口的硬件系统,使各模块之间协调工作。为了验证方案的可行性,对一款果实采摘机器人进行了改装,安装了嵌入式视觉系统,并对其性能进行了测试。测试结果表明:采用基于CMOS图像传感器嵌入式视觉系统后,采摘机器人的定位准确率和采摘准率率都较高,满足了自动化采摘作业需求。     

模糊算法在黄瓜采摘机器人轨迹控制中的应用

为了实现黄瓜采摘自动化,解决农村劳动力缺失问题,设计了黄瓜采摘机器人。设计主要包括以下内容:①对黄瓜采摘机器人进行运动学分析,以机器人行走系为坐标原点,建立采摘机构坐标与腰部,大臂和小臂舵机角位移之间关系,进而求解逆运动方程,实现控制;②采用摆线函数,对机械臂运动轨迹进行规划,实现无冲击,平稳运动;③采用模糊控制方法,对机械臂动力学方程中摩擦不确定项进行逼近,提高机器人运动精度;④最后,对机器人运动精度进行测试,实地检测机器人采摘成功率和采摘速度。     

基于迁移学习和双线性CNN的细粒度菌菇表型识别

为了对细粒度菌菇进行表型识别,在双线性卷积神经网络细粒度图像识别框架基础上,提出了一种基于迁移学习和双线性Inception-ResNet-v2网络的菌菇识别方法。利用Inception-ResNet-v2网络的特征提取能力,结合双线性汇合操作,提取菌菇图像数据的细粒度特征,采用迁移学习将ImageNet数据集上预训练的模型参数迁移到细粒度菌类表型数据集上。试验表明,在开源数据集和个人数据集上,识别精度分别达到87.15%和93.94%。开发了基于Flask框架的在线菌类表型识别系统,实现了细粒度菌菇表型的在线识别与分析。     

基于视觉传感器的棉花果实定位方法

针对棉花采摘机器人,提出了一种快速、准确的实现棉花果实定位的方法,构建了以CMOS图像传感器为基础的双目图像采集系统。其中,两个由单片机控制的CMOS图像传感器对图像信息进行二值化处理。考虑数据在RAM中的存储形式,采用行列组合法求解果实在单目下的质心平面坐标(以像素点为单位),构建以左目坐标为基准的三维坐标系,单片机对传递过来的同一个果实的两组质心平面坐标,依据立体视差的关系,解得果实的空间坐标,完成果实的定位。