番茄采摘机器人系统设计与试验

为了提高鲜食番茄采收的自动化水平,减轻人工采摘劳动强度,设计了一种番茄智能采摘机器人。该采摘机器人包括视觉定位单元、采摘手爪、控制系统及承载平台,并基于各部件工作原理制定了采摘机器人的工作流程。基于HIS色彩模型进行图像分割,提高了果实识别的准确度;通过气囊夹持方式确保果实采摘过程中对果实的柔性夹持。试验结果表明:视觉定位、采摘手爪等模块运转良好,采摘单果番茄耗时约24s,成功率可达8 3.9%以上。     

基于改进U-Net的火龙果采摘图像分割和姿态估计方法

为了实现火龙果采收自动化作业,提出一种基于改进U-Net的火龙果图像分割和姿态估计方法。首先,在U-Net模型的跳跃连接(编码器与解码器部分特征图进行的连接操作)中引入通道和空间注意力机制模块(Concurrent spatial and channel squeeze and channel excitation, SCSE),同时将SCSE模块集成到残差模块(Double residual block, DRB)中,在增强网络提取有效特征能力的同时提高网络的收敛速度,得到一种基于注意力残差U-Net的火龙果图像分割网络。通过该网络分割出果实及其附生枝条的掩膜图像,利用图像处理技术和相机成像模型拟合出果实及其附生枝条的轮廓、果实质心、果实最小外接矩形框和三维边界框,进而结合果实及其附生枝条的位置关系进行火龙果三维姿态估计,并在火龙果种植园中获得一个测试集,以评价该算法的性能,最后在自然果园环境下进行实地采摘试验。试验结果表明,火龙果果实图像分割平均交并比(mIoU)和平均像素准确率(mPA)分别达到86.69%和93.89%,三维姿态估计平均误差为8.8°,火龙果采摘机器人在果园环境...     

草莓采摘位置机器视觉与激光辅助定位方法

以地垄栽培模式下的草莓为作业对象,针对草莓果实娇嫩易损的特点,采用直接撷取果柄的采摘方案,提出了一种图像处理与激光辅助测距相结合的草莓采摘位置自动定位方法.采用镜像匹配法计算草莓果轴的平面位置信息,进而在扇形激光束的辅助下,利用几何光学计算采摘位置在深度方向的距离.对自然环境下生长的长圆锥型草莓进行了试验,结果表明,对于机器人锁定采摘位置所需的导航数据,该方法的平均计算时间为381ms,测距最大误差为1.6mm,平均误差为0.5mm.     

番茄果实串采摘末端执行器设计与运动仿真

为解决单果采摘效率低、果实易损伤等问题,设计了用于番茄果实串采摘的具有夹持与切割功能的末端执行器系统。夹持系统采用平行夹爪气缸结构,切割机构采用钢丝软轴带动圆形锯片的切割方式,并对末端执行器进行了静力学和运动学的分析与仿真。试验结果表明:末端执行器采摘时,夹持果梗动作需要0.5s,切割果梗动作约需7s,切割机构回到初始位置需5.5s,完成番茄果实串采摘动作共需13s,夹持机构行程12mm,切割机构行程40mm,末端执行器能够符合番茄果实串采摘要求。     

基于粒子滤波的苹果采摘机器人目标姿态估算

针对苹果采摘机器人中果实姿态信息缺失造成果实损伤及采摘失败等问题,根据苹果尾部花萼遗迹区域是否可见分析了果实姿态信息机器视觉测量方法,研究了果实姿态信息的粒子滤波估计。将单目摄像机固定在机器人末端手爪上,在手爪趋近果实的采摘过程中,随机采集多帧果实图像。对每帧图像运用惯性主轴或重心点偏移两种方法计算果实在机器人坐标系下的姿态向量值,并通过粒子滤波融合来得到果实姿态信息的最优估计。实验结果表明,粒子滤波方法可以有效地融合多帧图像的苹果姿态信息,能够减小因依靠单帧图像直接测量而产生的误差。     

串番茄采摘末端执行器的设计与夹持实验

基于串番茄生长特性和采摘要求,设计了一种适应于采摘成串番茄的末端执行器。基于螺旋理论,建立了夹持接触力学模型,分析了夹持的力封闭性;同时,建立了稳定夹持模型,对夹指的可靠夹持力进行了分析,得出夹持力F≥8.24N。制作了物理样机,并对直径为3~8mm的串番茄母枝进行了负重干扰性能的夹持实验,实验结果表明:夹指所能承受的动态负重随母枝直径的增大而增大,最小动态负重为1.015kg,完全满足采摘串番茄时的夹持能力需求。     

基于YOLOv3算法与3D视觉的农业采摘机器人目标识别与定位研究

为解决目前农业采摘机器人目标难以识别与定位的问题,在原有农业采摘机器人的基础上,提出一种改进YOLOv3算法和3D视觉技术相结合的方法,实现目标的准确识别和精准定位,并利用标定完成目标坐标系和机器人坐标系的转换。通过试验分析改进YOLOv3算法的性能,并与之前的YOLOv3算法、Fast RCNN算法和Faster RCNN算法进行综合比较,研究表明所采用的改进YOLOv3算法和3D视觉具有较高的识别准确度和定位精度,识别准确率分别提高55%、9%、1.4%,最大定位误差分别降低0.69、0.44、0.28 mm,可以较好地完成后续采摘工作,对于农业机器人的发展具有重要的参考价值。     

设施番茄采摘机器人设计与研究

针对设施番茄采摘存在用工难、用工贵、劳动强度大等问题,文章设计了一种温室番茄采摘机器人。该番茄采摘机器人主要由视觉系统、末端执行器、机械臂、底盘和辅助照明机构等组成,并基于各设计结构完成温室番茄采摘的工作流程设计。该采摘机器人通过ZED 2i双目立体相机对番茄果实进行识别与定位后,机械臂引导末端执行器完成番茄果实的采摘。试验结果表明,视觉系统与各模块之间运行良好,单果采摘耗时约为18 s,采摘成功率达88%。     

基于机器视觉的番茄果实图像分割方法研究

为了改善番茄采摘机器视觉系统中番茄果实图像的分割效果,对基于二维直方图的阈值分割方法的理论进行了分析,针对番茄果实图像的特点将阈值点附近的区域信息引入分割算法中,提出了一种改进的基于二维直方图的Otsu阈值分割方法,改善了图像的分割效果。     

果园机器人视觉导航行间位姿估计与果树目标定位方法

针对单目视觉导航中位姿信息不完整和果树定位精度低的问题,提出基于实例分割神经网络的偏航角、横向偏移、果树位置计算方法。首先,基于Mask R-CNN模型识别并分割道路与树干;其次,寻找道路掩码凸包并进行霍夫变换,由凸包中的边界方程计算消失点坐标;最后,根据建立的位姿-道路成像几何模型,计算偏航角、横向偏移与果树相对位置。实验结果表明：改进Mask R-CNN模型的边框回归平均精确度为0.564,分割平均精确度为0.559,平均推理时间为110 ms。基于本文方法的偏航角估计误差为2.91%、横向偏移误差为4.82%,果树横向定位误差为3.80%,纵向误差为2.65%。该方法能在不同位姿稳定地提取道路与果树掩码、计算消失点坐标与边界方程,较准确地估计偏航角、横向位移和果树相对位置,为果园环境下的视觉自主导航提供有效参考。     

基于实例分割的白羽肉鸡体质量估测方法

针对白羽肉鸡体质量测量自动化水平低、易造成肉鸡应激的问题,提出一种结合深度学习的非接触式白羽肉鸡体质量估测方法.利用Mask R-CNN和YOLACT(You only look at coefficients)两种实例分割算法获取白羽肉鸡位置与覆盖掩膜,并进行效果对比;采用自适应掩膜随机提取白羽肉鸡身体部分边缘点,并...     

基于嵌入式智能控制系统的采摘机器人定位导航方法

利用图像、红外、超声波等传感器模块,感知采摘机器人作业环境,以采摘机器人在园区自主避障和移动为目的,研究了采摘机器人路径规划和定位导航方法,并利用嵌入式控制系统,设计和开发了该采摘机器人定位导航方法。实验结果表明:系统可以实现采摘机器人的定位和导航功能,具有一定的可靠性。     

视觉传感器在采摘机器人目标果实识别系统中的应用

目标果实的识别和定位是准确采摘的核心,是采摘作业的必要条件。为此,首先从硬件和软件两方面对采摘机器人总体框架进行了介绍,然后搭建了双目视觉系统,并建立了摄像机标定模型,最后实现了对目标果实的识别和定位功能。试验结果表明:采摘机器人目标果实识别系统对目标果实的识别定位误差在8mm以内,成功采摘率在96%以上,系统精度高,采摘效果良好,能够满足采摘机器人的作业要求,对实现水果采摘的自动化、无人化具有重要现实意义。     

基于改进YOLO v4和ICNet的番茄串检测模型

针对深层神经网络模型部署到番茄串采摘机器人,存在运行速度慢,对目标识别率低,定位不准确等问题,本文提出并验证了一种高效的番茄串检测模型。模型由目标检测与语义分割两部分组成。目标检测负责提取番茄串所在的矩形区域,利用语义分割算法在感兴趣区域内获取番茄茎位置。在番茄检测模块,设计了一种基于深度卷积结构的主干网络,在实现模型参数稀疏性的同时提高目标的识别精度,采用K-means++聚类算法获得先验框,并改进了DIoU距离计算公式,进而获得更为紧凑的轻量级检测模型(DC-YOLO v4)。在番茄茎语义分割模块（ICNet）中以MobileNetv2为主干网络,减少参数计算量,提高模型运算速度。将采摘模型部署在番茄串采摘机器人上进行验证。采用自制番茄数据集进行测试,结果表明,DC-YOLO v4对番茄及番茄串的平均检测精度为99.31%,比YOLO v4提高2.04个百分点。语义分割模块的mIoU为81.63%,mPA为91.87%,比传统ICNet的mIoU提高2.19个百分点,mPA提高1.47个百分点。对番茄串的准确采摘率为84.8%,完成一次采摘作业耗时约6s。     

基于视觉标志检测的旋翼无人机姿态估计方法

为了使旋翼无人机快速、精确、自主降落到地面着陆平台,提出一种基于视觉标志检测的无人机姿态估计方法。首先,利用标准直升机停机坪的几何特征,采用标志五步提取算法从机载摄像头采集的图像中获取视觉标志;为了满足无人机自主着陆过程的快速性和实时性,提出一种基于距离三点法的角点检测算法,得到H形标志的12个角点;然后,通过对角点分类、编号,并与参考图像中的对应角点进行匹配,解算出包含相对姿态信息的单应矩阵;最后,应用直接线性变换(Direct linear transformation,DLT)分解单应矩阵得到无人机的姿态角,并依据相机成像的相似三角形原理计算出无人机相对于视觉标志的位置,解决了单目相机尺度不确定性问题。通过实验平台模拟无人机不同飞行状态下的姿态并进行估计,对提出算法的实时性和准确性进行了实验验证。实验结果表明:本文算法的平均执行时间为307. 2 ms,位置估计的最大均方根误差为0. 006 2 m,姿态角估计的最大均方根误差为0. 313°,满足无人机自主着陆的准确性和实时性要求。     

基于语义分割与实例分割的玉米茎秆截面参数测量方法

茎秆微观结构与其力学性能密切相关,影响作物的抗倒伏性能。但作物茎秆微观表型参数难以通过人工方式获取,因此急需自动化的测量方法。本研究以玉米为材料,通过光学显微镜获得玉米茎秆横截面切片图像,基于深度学习架构融合ResNet和Unet构建语义分割Res-Unet网络模型,对截面表皮、周皮和髓区3个功能区域进行分割;针对维管束数量多、面积小、密度大的特点,以EfficientDet作为基础网络架构,根据维管束尺寸小的特性,减少双向特征图金字塔(BiFPN)的层数,达到提高推理速度、减少显存占用量的目的,同时添加掩膜分割分支,构造新的网络Eiff-BiFPN实现对维管束的分割。实验结果表明,功能区域分割的平均DICE达到88.17%;维管束分割的AP₅₀和AP_50:70分别达到88.78%和72.80%。根据分割结果,可以获得玉米茎秆截面尺寸、各功能区域尺寸和维管束数量、面积等微观结构参数。本文方法具有精确性、实时性和可用性,可用于玉米茎秆微观结构参数的自动化测定,为作物抗倒伏研究提供技术基础。     

基于视觉导航和RBF的移动采摘机器人路径规划研究

为了提高采摘机器人自主导航和路径规划能力,提出了基于计算机视觉路径规划和RBF神经网络自适应逼近算法的导航方法。使用图像分割、平滑处理和边缘检测技术,根据图像像素灰度值确定了导航线的位置,利用逐行扫描的方法得到了导航离散点。路径规划和跟踪使用RBF神经网络逼近算法,通过逼近误差和权值控制路径跟踪的精度,系统响应的执行端使用液压伺服系统,提高了机器人自主导航的精度。以黄瓜采摘作为研究对象,在日光温室对机器人采摘作业进行了测试,通过测试得到了RBF神经网络的路径跟踪误差曲线。测试结果表明:机器人可以很好地逼近跟踪规划路径,其计算精度较高,跟踪效果较好。     

采摘机器人选择性作业信息获取研究——基于无标定视觉伺服系统

以采摘机器人采摘作业为研究对象,以选择性采摘成熟果蔬为研究目标,基于无标定视觉伺服系统,结合果蔬成熟特性判断目标果实是否适合采摘,设计了一套以MSP430F149为核心的智能检测控制系统,可以实时处理相机采集到的图像,并选择性采摘符合要求的果实。本文重点研究了视觉伺服原理与模型、果实成熟度判断、选择性作业信息获取,以及系统的硬软件设计,并对文中设计研究的系统进行了可行性验证。试验结果表明:该无标定视觉伺服系统判断准确,能够较大程度提高机器人的可靠性与稳定性,应用前景宽广。