番茄果实串采摘点位置信息获取与试验

针对番茄收获机器人在采摘过程中果实串采摘点位置难以确定的问题,提出了基于果梗骨架角点计算方法,并利用该算法对番茄果实串果梗采摘点进行位置信息获取:首先采用最大类间方差分割法进行目标果实串分割,通过形态学方法和阈值法去除干扰,提取出目标果实串分割图像;根据果实串的质心和果串的轮廓边界确定果梗的感兴趣区域,采用快速并行细化算法提取果梗的骨架,利用Harris算法检测得到果实串第一个果实分叉点与植株主干之间果梗骨架角点,通过计算获得采摘点位置信息。然后进行验证试验,利用双目视觉图像采集系统采集了60组果实串图像并获取果梗采摘点位置信息,结果表明,采摘点位置成功率为90%,为采摘机器人提供准确的采摘位置信息。     

基于多目标识别的葡萄果串采摘点定位方法

为减少采摘点定位不当导致末端碰撞损伤结果枝与果串，致使采摘失败及损伤率提高等问题，该研究提出了基于深度学习与葡萄关键结构多目标识别的采摘点定位方法。首先，通过改进YOLACT++模型对结果枝、果梗、果串等葡萄关键结构进行识别与分割；结合关键区域间的相交情况、相对位置，构建同串葡萄关键结构从属判断与合并方法。最后设计了基于结构约束与范围再选的果梗低碰撞感兴趣区域(region of interest, ROI)选择方法，并以该区域果梗质心为采摘点。试验结果表明，相比于原始的YOLACT++，G-YOLACT++边界框和掩膜平均精度均值分别提升了0.83与0.88个百分点；对单串果实、多串果实样本关键结构从属判断与合并的正确率分别为88%、90%，对关键结构不完整的果串剔除正确率为92.3%；相较于以ROI中果梗外接矩形的中心、以模型识别果梗的质心作为采摘点的定位方法，该研究采摘点定位方法的成功率分别提升了10.95、81.75个百分点。该研究为葡萄采摘机器人的优化提供了技术支持，为非结构化环境中的串类果实采摘机器人的低损收获奠定基础。     

面向机器人采摘的番茄力学特性试验

番茄果实及果梗的力学特性,是采摘机器人设计与控制的重要依据。对不同成熟期的番茄果实进行了纵向和横向挤压试验,对其果梗进行了折断和拉断试验。试验表明番茄果实的抗挤压能力具有明显的各向异性,且从青果期至绿熟期达到最大,而后随着成熟度增加而迅速减小。利用简化结构对这一规律的力学原理进行了分析。果梗拉断和折断试验发现,果梗均从离层处断裂,与拉断相比,折断方式更省力和易于实现机器人采摘。     

基于视觉伺服的樱桃番茄果串对靶测量方法

针对鲜食番茄自动化采收实际需要,为了实现对樱桃番茄果串自动识别定位,基于激光测距和视觉伺服技术设计了果串自动对靶测量视觉系统。通过分析成熟番茄果串图像色彩特征,采用R-G色差模型凸显目标与背景差异,并根据色差灰度逐列统计锁定果串图像区域;基于Cognex Vision Pro图像处理类库Cog PMAlign Tool模板匹配工具,对果串区域内果粒进行分割;根据对边缘果粒空间坐标估算,同时对采摘机械臂进行视觉伺服控制,实现对边缘果粒对靶定位测量,并根据其空间坐标测算果串长宽特征,为采摘执行部件提供作业依据。试验结果表明,视觉系统对果串内果粒的平均识别率为83.5%,对果粒视觉对靶的平均偏差为8.38像素,果串长度测量平均误差为8.25 mm,果串宽度测量平均误差为5.25 mm。该研究结果为串形果实自动采收目标识别定位提供参考。     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

脐橙采摘机器人末端执行器设计与试验

针对脐橙无损采摘的需求,基于欠驱动原理设计了一种双V型手指脐橙采摘机器人末端执行器,主要由吸附机构、夹持机构和旋切机构3部分组成,吸附机构可以实现果实与果簇快速分离,夹持机构能够对果实进行无损稳定夹持,旋切机构可以将果实与果梗快速分离。建立脐橙数学模型并分析了手指工作空间。依据夹持机构的受力分析,并对关键部件进行了选型。结合电阻式薄膜压力传感器设计了手指的力反馈系统,使夹持机构达到稳定无损采摘要求。搭建末端执行器实体样机,以步进电机转速为因素,以单果采摘时间、采摘成功率和损伤率为指标,进行了105次采摘试验,根据试验结果,选取250 r/min作为最佳步进电机转速,此时单果采摘时间为1.76 s,采摘成功率为94.28%,损伤率为0。该文研究的脐橙采摘末端执行器采摘速度高、控制难度低、与机械臂集成度高,可为脐橙采摘机器人的整体研发提供参考。     

基于气动无损夹持控制的番茄采摘末端执行器设计与试验

为实现类球形果实采收过程中稳定夹持和无损采摘,该研究以番茄为研究对象,设计了一款全气动吸-夹一体式无损采摘末端执行器。首先设计空间多连杆三爪机构,采用3个夹持爪单元空间轴向均布的方式构成空间多连杆末端执行器主体机构,实现中心吸盘回拉果实和夹持爪夹持果实两个动作由单一主动气缸驱动并实现顺序动作;其次,建立末端执行器夹持爪单元的数学模型,并确定满足夹持爪尖端张开最大范围156 mm和吸盘回拉移动最大距离38.7 mm条件下的末端执行器结构参数,通过ADAMS软件对其进行运动学和动力学仿真分析,获得各部件间运动速度和加速度的相对关系,以及夹持力与气动系统压力和果实尺寸的关系。最后,设计并搭建具有压力负反馈和气压连续调节功能的电气伺服控制系统,通过分析果实在拉动和转动两种情况的滑移试验,提出基于动态标准差波动上升节点的双阈值滑移判别算法和基于滑移判据及损伤极限压力的无损采摘控制策略。204个不同尺寸番茄果实的实地采摘试验表明,末端执行器采摘成功率为96.03%,采摘过程耗时5 s,采摘过程中的直接损伤率为1.58%,72 h褐变率为1.76%。结果表明该采摘末端执行器具有较好的采摘效果,可满足实际工作需求。     

番茄串收机械臂运动规划方法与试验

番茄串的采收环境复杂,果实体积相对较大,机械臂采收运动路径规划不仅要考虑如何采摘,还需要考虑采摘后如何避开障碍,并从复杂环境中提取出番茄串。为此,该研究以温室栽培的番茄串采摘为对象,提出了基于空间分割的实时运动路径规划算法。首先通过聚类拟合环境中的枝条,简化空间障碍物;然后分割采摘空间,筛选可行采摘空间,并引入评价函数选取最优采摘空间,指导机械臂以合理有效的姿态完成采摘;最后在采摘任务的基础上加入实时避障子任务,引导机械臂躲避障碍完成任务,保证采摘番茄串任务安全无损。在以上研究的基础上,通过大量采收试验验证算法的有效性。试验结果表明:通过基于空间分割的实时运动路径规划算法,采收机器人的单串番茄采摘时间为12.51 s,且采摘成功率接近100%。与目前主流的采样算法RRT*-connect相比,单串番茄的采摘时间降低了31.23%,大幅提高了采摘效率。     

基于旋量理论的混联采摘机器人正运动学分析与试验

为满足油茶果机械化、自动化采摘的要求,避免利用传统的Denavit-Hartenberg(D-H)参数法对机器人进行运动学分析时的缺陷,提出了一种基于旋量理论构建混联采摘机器人运动学方程的方法。根据混联采摘机器人机械臂的结构特点进行简化;基于所提出的方法建立了机器人正运动学方程,获得末端执行器的位置正解;随机选取5组关节变量值,得出末端执行器在基础坐标系各坐标轴上的最大绝对位置误差为10.4 mm,远小于末端执行器200 mm的开度,满足该机器人末端执行器的采摘工作要求,验证了通过文中所提出的方法建立混联采摘机器人运动学正解方程的可行性及方程的正确性。该研究可为后续开展混联采摘机器人控制方法和轨迹规划研究提供参考。     

移动式采摘机器人研究现状与进展

采摘机器人是21世纪精准农业的重要装备之一，是未来智能农业机械的发展方向。移动式采摘机器人由机械手、末端执行器、移动机构、机器视觉系统以及控制系统等构成。机械手的结构形式和自由度直接影响采摘机器人智能控制的复杂性、作业的灵活性和精度。移动机构的自主导航和机器视觉系统解决采摘机器人的自主行走和目标定位，是整个机器人系统的核心和关键。该文对移动式采摘机器人的研究现状进行综合，提出目前采摘机器人技术发展中面临的技术难题及相应的对策，包括采用开放式控制系统。     

改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法

基于深度神经网络的果实识别和分割是采摘机器人作业成功的关键步骤,但由于网络参数多、计算量大,导致训练时间长,当模型部署到采摘机器人上则存在运行速度慢,识别精度低等问题。针对这些问题,该研究提出了一种改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法,采用跨阶段局部网络（Cross Stage Partial Network,CSPNet）与Mask R-CNN网络中的残差网络（Residual Network,ResNet）进行融合,通过跨阶段拆分与级联策略,减少反向传播过程中重复的特征信息,降低网络计算量的同时提高准确率。在番茄果实测试集上进行试验,结果表明以层数为50的跨阶段局部残差网络（Cross Stage Partial ResNet50,CSP- ResNet50）为主干的改进Mask R-CNN模型对绿熟期、半熟期、成熟期番茄果实分割的平均精度均值为95.45%,F1分数为91.2%,单张图像分割时间为0.658 s。该方法相比金字塔场景解析网络（Pyramid Scene Parsing Network,PSPNet）、DeepLab v3+模型和以ResNet50为主干的Mask R-CNN模型平均精度均值分别提高了16.44、14.95和2.29个百分点,相比以ResNet50为主干的Mask R-CNN模型分割时间减少了1.98%。最后将以CSP- ResNet50为主干的改进Mask R-CNN模型部署到采摘机器人上,在大型玻璃温室中开展不同成熟度番茄果实识别试验,该模型识别正确率达到90%。该研究在温室环境下对不同成熟度番茄果实具有较好的识别性能,可为番茄采摘机器人精准作业提供依据。     

采摘机器人振荡果实匹配动态识别

为解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题,对采摘机器人在果实振荡状况下的匹配动态识别方法进行了研究。首先介绍了振荡果实的动态识别流程,确定出采摘目标果实作为后续匹配识别的模板;然后引入去均值归一化积相关匹配识别算法,采用FastInverseSquareRoot算法和快速哈特莱变换对其进行加速优化,同时借鉴以往旋转无关匹配识别算法进行抗旋转改进;试验结果表明,加速优化后的匹配识别算法能够进行采摘目标果实的匹配识别,单幅平均匹配识别时间为0.33s,经过抗旋转等改进的匹配识别算法在[-55°,60°]较大范围内旋转无关,可以准确识别振荡果实,加上模板适时更新,能够满足实际需求。该研究可为果蔬采摘的动态识别提供参考。     

基于YOLO v4+HSV的成熟期番茄识别方法

为解决成熟番茄采摘识别中由于藤蔓、叶片、果实遮挡或光照影响而引起的误识别问题,该研究提出了一种基于YOLO v4与HSV（Hue, Saturation, Value）相结合的识别方法,以实现自然环境下成熟期番茄的准确识别。在YOLO v4网络的检测框内通过HSV方法对番茄的红色区域进行分割,并将分割部分面积在检测框中达到一定占比的番茄作为目标输出。通过对比不同占比下该算法对测试集的识别效果,将16%作为成熟期番茄识别算法的占比,该占比下YOLO v4+HSV算法的正确率为94.77%,在工作站中检测单幅图片的速度为25.86 ms。为验证算法的性能,对改进前后算法进行了比较,改进后的正确率比改进前提高了4.30个百分点,说明通过HSV处理能够提高原网络识别成熟期番茄的准确性。此外,为测试算法的实用性,统计了在不同类型设备上该算法从调用深度相机到检测到第一个目标番茄所用的时间,经计算,其在工作站上所用的平均时间为0.51 s,在微型工控机上为1.48 s,均可满足实际采摘需要。该研究直接面向果蔬实时采摘中的目标高效检测问题,其方法可为果蔬采摘的准确高效识别提供借鉴。     

苹果采摘机器人柔顺抓取的参数自整定阻抗控制

为了实现苹果机器采摘过程中的柔顺抓取以减小果实损伤,该文在对苹果抓取过程的力学特性变化规律分析的基础上,提出了苹果采摘机器人柔顺抓取的参数自整定阻抗控制方法。首先,利用Burgers黏弹性模型表征苹果的流变特性,将抓取过程分为匀速加载、夹持减速、应力松弛3个阶段,在此基础上求解获得苹果形变量随时间的变化规律和果实接触力与变形量的变化关系。然后,求解出所设计的基于力的阻抗控制系统的期望输入以及抓取环境接触力模型。最后,针对阻抗控制器参数对接触力的影响,构造阻抗参数自整定变化函数,完成改进阻抗控制系统设计。仿真及试验结果表明:依据果实抓取模型及变形规律求解期望位置的方式来模拟末端执行器对苹果的抓取过程是可行的,所建立的抓取环境接触力模型在一定程度上能够避免将环境模型简化为一阶模型而产生的误差。改进阻抗控制得到的期望抓取力更加平顺,其超调量约为2.3%,接触力调节时间减小到0.48 s,接触力的超调量约为2%,较未改进阻抗控制的接触力超调量减小了37.5%。研究结果可为苹果采摘机器人的柔顺控制方法提供参考。     

荷兰黄瓜收获机器人的研究开发

为了降低黄瓜人工收获费用，荷兰农业环境工程研究所已经成功开发出了移动式黄瓜收获机器人样机。重点研究了机器人视觉识别系统软件和机械手运动控制程序。移动式黄瓜收获机器人由4部分组成：行走车、机械手、视觉系统和末梢执行器。试验表明该机器人的行走车能够快速到达初步作业位置，视觉系统能够探测到黄瓜果实的精确位置及成熟度，末梢执行器可以抓取黄瓜果实并将果实从茎秆上分离。     

AE—Automation and Emerging Technologies: Multi-spectral Prediction of Unripe Tomatoes

The consumer at the retail outlet rejects tomatoes harvested before reaching physiological ripeness, as the produce does not ripen properly. Although many packing houses have inserted vision systems for tomato sorting and sizing, it is impossible to distinguish between fruits that will ripen and fruits that will not at the harvest day, as all the fruits are green. A tomato maturity predictive sensor was developed to be used at packing houses for detecting unripe tomatoes that will never turn red. Spectral and colour measurements were taken from green-mature tomatoes just after harvest. Colour was measured daily and used as an index for classifying first-day spectral data into ripe or unripe. The groups were analysed by discriminant analysis in order to obtain the best discriminant wavelengths. Those spectral bands were used by a multi-spectral imager for predicting those tomatoes that will never ripen with an accuracy of over 85%.