采摘机器人移动果实目标跟踪研究——基于云存储和无线传感器网络

提高采摘机器人对运动目标的定位能力是提高机器人采摘精度的重要途径,但对于运动果实目标的跟踪和识别需要实时处理大量的图像数据。为有效处理并利用无线传感器实时采集待采摘果实图像,提出了一种基于Hadoop云平台的图像并行处理方案。为了验证方案的可行性,设计了具有运动图像采集和无线传感网络传输功能的采摘机器人,并搭建了基于云存储并行计算的图像抓取平台,利用无线传感器采集的果实图像资源作为原始数据集,对运动待采摘目标进行了图像识别。实验结果表明:采用该方案可以成功地获取运动果实的位置信息,且采摘机器人成功采摘率较高,对于高精度采摘机器人的设计研究具有重要的意义。     

基于Harris和卡尔曼滤波的农业机器人田间稳像算法

针对田间颠簸环境影响农业机器人采集实时稳定图像问题，提出了基于Harris和卡尔曼滤波的农业机器人田间稳像算法。首先，利用摄像头获取田间抖动视频图像序列，进行图像子区域划分并计算各区域灰度均方差，进而确定各区域Harris角点阈值；通过自适应角点阈值设置，增加角点距离约束，完成图像角点检测。然后，对检测出的角点进行光流跟踪，计算出帧间运动估计参数。最后，利用自适应卡尔曼滤波算法对运动估计参数进行平滑操作并动态调整滤波平滑性能，获得精确运动估计矢量。测试结果表明，改进后的Harris角点检测算法区域平均分布标准差减小；自适应卡尔曼滤波算法在保证平滑随机运动前提下，跟踪主动运动性能平均提升30.75个百分点；稳像后的图像峰间信噪比提升15.93%,单帧处理时间为25.66 ms,满足农业机器人30 f/s高速图像采集时同步稳像对实时性要求。     

变量喷雾的计算机并口控制

基于机器视觉的变量喷雾机械系统, 要求在运动的过程中实时地采集、处理图像,并快速、稳定地驱动其执行机构(电磁阀).为验证田间信息图像的实时采集与处理算法的准确性,确定系统执行模块与其它模块之间的准确匹配关系,在分析计算机并行接口系统资源及其访问方法基础上,提出了一种基于并行接口控制变量喷雾的软、硬件设计方法,实现了对喷雾执行元件电磁阀的快速、稳定控制.此方法设计简单、易于实现,大大缩减了开发周期.     

基于物联网的农田环境监测系统设计

为实现对农田环境参数的监测,设计了基于物联网的农田环境监测系统。系统基于EPC架构,构建网络框架,感知层采用ZigBee传感节点。传感节点实时采集与农田生产有关的多个重要环境参数,对作物形态进行可控图像采集,通过网络构建层将各种数据发送到远程监测服务层。对监测系统进行了试验,结果表明,系统可对播种进度、苗期、花期、施肥、打药、灌水、适时收获、病虫害和质量监控等过程中的信息进行采集。      

基于ZigBee技术的棉田滴灌监测与控制系统

设计开发了基于ZigBee无线传感网络技术的棉田滴灌监测与控制系统。该系统通过无线传感网络实时采集土壤环境信息,使用自适应加权融合算法对各节点土壤湿度数据进行融合,根据融合数据发送电磁阀控制命令,完成实时监测自动灌溉;结合棉花不同生育期对需肥量和施肥浓度的要求,根据灌溉水量设置注肥比例,系统通过无线传感网络实时采集液态肥流量,实时监控施肥量,并根据施肥量发送施肥电磁阀控制命令,完成水肥一体化灌溉。工作过程中,系统可以将传感器采集的数据通过ZigBee无线网络协调器传输给上位机并实时显示和存储。通过试验验证,该系统可以按照设计要求实现灌溉和施肥的自动控制与检测。     

基于全卷积神经网络的核桃异物检测装备设计与试验

针对核桃生产线的异物检测需求,首先根据现有通用的核桃加工生产线结构特点,设计并搭建了一套核桃异物检测装备,该装备包括设备框架、图像采集系统和恒定光源系统,整体尺寸为470 mm×600 mm×615 mm。然后以浙江省杭州市核桃生产基地的核桃和实际生产加工中出现的树叶、树枝、石子、金属、塑料等异物为检测对象,通过工业相机实时采集生产线上的核桃图像,获取直观的图像信息数据。结合了深度学习与计算机视觉技术,利用基于全卷积神经网络(Fully convolutional networks, FCN)的算法进行图像边缘检测,对核桃生产加工中可能出现的异物进行了检测,并通过试验对其性能加以验证。结果表明,训练集检测准确率为92.75%,验证集准确率为90.35%,检测速率为4.28 f/s,满足生产线运输速度1 m/s的检测要求。该研究即使在样本量较少的情况下,仍然得到了较好的图像分割效果,可以实现核桃生产线的异物实时检测。     

基于嵌入式系统的小麦条锈病远程监测平台设计与试验

为了实现小麦条锈病的远程实时监测,设计并搭建了基于嵌入式系统的小麦条锈病远程监测平台,实现了用户对大田小麦条锈病发病状况的实时监测。首先基于Arduino微控制器和42步进电机控制的六棱柱转轴和传送装置结合,通过蓝牙控制六棱柱转轴上的电磁吸附装置吸附金属加工后的载玻片设计了孢子捕捉器,实现了空气中小麦条锈病孢子图像的采集;其次,通过高倍光学显微镜和电子目镜将采集到的孢子图像通过Linux核心板上传至云端服务器,并通过基于Python的图像处理算法对图像进行中值滤波、边缘提取、角点检测等处理实现孢子计数;最后通过基于Android平台的应用软件实现远程查看孢子图像和计数处理结果。试验结果表明,该平台服务器图像处理算法可实现孢子的准确计数,对测试图像的计数准确率为100%,孢子捕捉器的玻片切换成功率为95%。该研究可为大田小麦条锈病的实时监测奠定基础,也可为大田内其他气传病害的监测提供借鉴。     

自主导航农业车辆的全景视觉多运动目标识别跟踪

为提高自主导航农业车辆导航路径的准确性和行驶作业的安全性,提出自主导航农业车辆的全景视觉多运动目标识别跟踪方案。该方案采用全景视觉进行无盲区的多运动障碍目标的检测,并解决了多运动目标跟踪中遮挡重叠的问题。首先系统将多目相机采集的图像拼接成全景图像,采用分段图像的改进核函数算法对运动目标进行快速自动检测跟踪;其次采用基于路径预测的粒子滤波算法进行多运动目标跟踪并解决遮挡重叠的问题。通过试验表明:采用改进的核函数目标快速跟踪算法,与传统核函数跟踪算法相比,减少系统内存消耗66.8%,加快运算速度35.63%;采用基于路径预测的粒子滤波多目标跟踪算法,在多运动目标遮挡重叠的情况下,平均提高运动目标跟踪成功率39.5个百分点,算法平均耗时0.78s。     

基于彩色线阵CCD的茶叶分选识别算法研究

针对颜色信息丰富的茶叶,通过形态学分析,研究茶叶的几何特征,提出一种基于彩色线阵CCD的茶叶色选算法,开发出一套集信号的采集、处理于一体并结合识别算法的新型茶叶色选控制系统。该系统通过彩色线阵CCD相机采集图像,利用MATLAB图像处理工具箱处理,色彩空间选择HSI模型,通过中值滤波算法去除图像中的噪声,利用改进的阈值分割算法二值化处理图像,运用形态学处理算法腐蚀和膨胀图像,进行连通域分析,提取并识别图像几何特征参数确定分类结果,增强色选系统对颜色信息复杂茶叶的识别能力。本系统同时将分选算法集中在FPGA上实现,提高分选的实时性。经过测试,验证基于彩色线阵CCD的茶叶分选识别算法具有良好的高效性与选别率。     

牛肉眼肌图像在线采集和实时分割系统

根据肉牛屠宰现场牛肉自动分级的技术要求,设计并构建了一个以TMS320DM642处理芯片为核心的牛胴体眼肌图像在线采集和实时分割系统.首先利用所开发系统在线采集牛肉图像,然后通过蒙板方法,对所采集图像进行背景分割;由于DM642系统采用y、Cb、Cr 3个色度分量来分别描述和存储图像,为节省算法处理的数据量,对Cr(红色)色度空间图像进行二值化处理,然后再用区域面积标记法和小区域消除法提取眼肌区域.实验结果表明,利用DM642系统能够实现牛肉图像的在线采集和眼肌区域分割,眼肌图像提取的准确率平均值为92.9％.     

基于计算机视觉的高速机器人芒果分选系统设计

针对目前芒果的外观品质分级采取人工方法所存在的不足,基于机器视觉、并联机器人等先进技术,构建了用于芒果品质动态、实时检测及分选的高速机器人系统,设计了芒果分拣的计算机视觉硬件系统,开发了高速分拣计算机视觉软件系统。工作时,芒果输送带将芒果按机器人动作节拍输送至图像采集区域由工业相机采集图像,识别系统对图像信息进行特征提取,建立图像特征与国家标准中的三级芒果的对应关系,将具有相应图像特征的芒果其所处位置信息及其级别对应的位置信息,通过单片机控制系统输送给高速分选机器人,从而完成芒果的高速分选。测试结果表明:高速分拣机器人系统可以高速、准确地完成芒果的分选工作。     

激光及X射线肉图像同步采集系统设计及实验

提出了一种不规则肉碎骨图像检测方法,设计了一种基于激光三角法以及软X射线技术的肉碎骨图像采集的在线检测系统。该系统由X射线图像采集部分、激光图像采集部分、机械传输部分、PLC控制系统部分和图像处理系统组成。采用小型单元式PLC作为控制核心,检测肉位置和触发激光及X射线采集图像,肉图像采集软件在Visual C#2008环境下结合环境下结合HALCON函数库实现,系统调试运行正常,可实时同步采集肉动态激光图像及X射线图像。利用肉激光图像和X射线图像进行图像融合实验。结果表明,小波算法速度快,融合后的图像失真少,更加接近于原X射线图像,更有利于肉图像碎骨信息的提取。     

基于DSP和图像处理的农业机器人视觉导航研究

确定了间歇式行走的农业机器人视觉导航方案,设计了计算机图像采集单元、计算机图像处理模块和视觉导航参数提取算法,实现了一套基于DSP和图像处理的农业机器人视觉导航系统.试验结果表明:农业机器人移动速度增加时,导航误差会增大,且机器人的平均横向偏移在10 cm之内,能够满足农业机器人的导航需求.     

丘陵果园除草机器人底盘系统设计与试验

针对丘陵果园环境非结构化且复杂多变,常规的除草方式效率低等问题,设计了一种果园除草机器人底盘系统。根据果园丘陵地形地貌环境,确定车体控制方式和除草机器人底盘的总体结构方案,主要包括液压传动系统、电气控制系统等。设计配套的除草车电气控制系统和遥控接收、车载主控和导航功能的CAN通信协议。以运动控制为核心,采用角度传感器、电机驱动、车载主控、导航模块,构成闭环控制。使用自抗扰控制算法,以油阀控制电机为对象应用Simulink仿真,仿真结果显示自抗扰控制相比PID控制调节时间减少0.42s,超调幅度减小11.5%,稳定时间缩短0.14s。田间试验表明,运用自抗扰控制、结合导航功能的除草机器人行走速度均值为6.2km/h,均方差0.037km/h,作业效率0.51hm2/h,有效除草率均值97.46%,可在25°斜面上正常行走,对导航路径的跟踪误差标准差为4.732cm,运动控制响应及时,能够提高除草作业安全性和准确性。     

基于D2-YOLO去模糊识别网络的果园障碍物检测

针对果园目标检测时相机抖动以及物体相对运动导致检测图像模糊的问题,本文提出一种将DeblurGAN-v2去模糊网络和YOLOv5s目标检测网络相融合的D2-YOLO一阶段去模糊识别深度网络,用于检测识别果园模糊场景图像中的障碍物。为了减少融合网络的参数量并提升检测速度,首先将YOLOv5s骨干网络中的标准卷积替换成深度可分离卷积,并且在输出预测端使用CIoU＿Loss进行边界框回归预测。融合网络使用改进的CSPDarknet作为骨干网络进行特征提取,将模糊图像恢复原始自然信息后,结合多尺度特征进行模型预测。为了验证本文方法的有效性,选取果园中7种常见的障碍物作为目标检测对象,在Pytorch深度学习框架上进行模型训练和测试。试验结果表明,本文提出的D2-YOLO去模糊识别网络准确率和召回率分别为91.33%和89.12%,与分步式DeblurGAN-v2+YOLOv5s相比提升1.36、2.7个百分点,与YOLOv5s相比分别提升9.54、9.99个百分点,能够满足果园机器人障碍物去模糊识别的准确性和实时性要求。     

基于U-Net网络的果园视觉导航路径识别方法

针对视觉导航系统在果园环境中面临的图像背景复杂、干扰因素多等问题,提出了一种基于U-Net网络的果园视觉导航路径识别方法。使用Labelme对采集图像中的道路信息进行标注,制作果园数据集;基于U-Net语义分割算法在数据增强的基础上对全卷积神经网络进行训练,得到道路分割模型;根据生成的道路分割掩码进行导航信息提取,生成路径拟合中点;基于样条曲线拟合原理对拟合中点进行多段三次B样条曲线拟合,完成导航路径的识别;最后进行了实验验证。结果表明,临界阈值为0.4时,语义分割模型在弱光、普通光以及强光照条件下的分割交并比分别为89.52%、86.45%、86.16%,能够平稳实现果园道路像素级分割;边缘信息提取与路径识别方法可适应不同视角下的道路掩码形状,得到较为平顺的导航路径;在不同光照和视角条件下,平均像素误差为9.5像素,平均距离误差为0.044 m,已知所在果园道路宽度约为3.1 m,平均距离误差占比为1.4%;果园履带底盘正常行驶速度一般在0～1.4 m/s之间,单幅图像平均处理时间为0.154 s。在当前果园环境和硬件配置下,本研究可为视觉导航任务提供有效参考。     

水果流等转角动态序列图像的获取

为自动采集水果机器视觉分选机输送装置上水果所有表面的图像信息,设计了一套水果流动态图像实时采集系统,并提出了一种水果流等转角动态序列图像实时采集方法,依靠水果输送翻转装置实现水果的等角速度均匀翻转,依靠图像采集实时控制系统实现2台摄像机的适时同步触发,再通过图像处理系统判断获取图像中有无水果及图像的奇偶帧特性,从而实现了输送线上不同大小水果的等转角动态序列图像自动采集.试验表明,该系统能自动采集到输送线上每个水果的6帧图像,且相邻图像帧之间水果大约旋转60°,6帧图像中水果近似旋转一周.     

脱绒棉种色选机双CCD检测系统设计与仿真分析

设计了一种脱绒棉种双侧双CCD(Charge coupled device)色选检测系统。通过对该检测系统的光学子系统、图像采集子系统和处理子系统等的分析与设计,结合仿真分析和测试试验,验证了系统效果。其中,图像采集子系统采用彩色线阵CCD对脱绒棉种进行成熟度信息采集、黑白线阵CCD对棉种进行完整度信息采集;图像处理和分析用于提取关键特征信息做棉种类型的判别分析。试验结果表明,检测系统设计的光学子系统模块能够得到特征清晰的图像,处理子系统能满足双图像采集子系统CCD正常采集物料特征信息,系统能够保证分选的实时性和稳定性要求。     

基于激光点云的三维虚拟果园构建方法

针对果园管理数字化程度低、构建方法较为单一等问题,本研究提出了一种基于激光点云的三维虚拟果园构建方法。首先采用手持式三维点云采集设备（3D-BOX）结合即时定位与地图构建-激光测距与测绘（Simultaneous Localization and Mapping-Lidar Odometry and Mapping,SLAM-LOAM）算法获取果园点云数据集;然后通过统计滤波算法完成点云数据离群点与噪声点的去除,并结合布料模拟算法（Cloth Simulation Filtering,CSF）与DBSCAN（Density-Based Spatial Clustering of Applications with Noise）聚类算法,实现地面去除与果树聚类分割,进而使用VoxelGrid滤波器降采样;最后利用Unity3D引擎,构建虚拟果园漫游场景,将作业机械的实时GPS（Global Positioning System）数据从WGS-84坐标系转换为高斯投影平面坐标系,并通过LineRenderer显示实时轨迹,实现作业机械运动轨迹控制与作业轨迹的可视化展示。为验证虚拟果园构建方法的有效性,在海棠果园与芒果园开展果园构建方法测试。结果表明,所提出的点云数据处理方法对海棠果树与芒果树聚类分割的准确率分别达到了95.3%与98.2%;通过与实际芒果园的果树行距、株距对比,虚拟芒果园的平均行间误差约为3.5%,平均株间误差约为6.6%。并且将Unity3D构建出的虚拟果园与实际果园相比,该方法能够有效复现果园三维实际情况,得到了较好的可视化效果,为果园的数字化建模与管理提供了一种技术方案。