基于改进Mask RCNN的复杂环境下苹果检测研究

苹果检测是苹果采摘系统中的关键环节,为实现复杂环境下苹果采摘机器人视觉系统对苹果的识别和定位,提出一种基于深度学习的方法,通过改进的Mask RCNN网络对苹果进行检测研究。该方法在原始Mask RCNN网络的基础上,增加边界加权损失函数,能够使边界检测结果更为精确。训练后的模型在验证集下的AP值为92.62%。通过比较Mask RCNN与Faster RCNN、YOLO v3和传统分割算法K-means算法在不同数目,不同光照和绿色苹果情况下的检测效果,试验结果表明:Mask-RCNN的F1值和分割效果均高于其他算法,证明本文方法对复杂环境下的苹果有很好的检测效果,可为苹果产业中采摘机器人的视觉系统提供技术支持。     

基于激光视觉的智能识别苹果采摘机器人设计

为了提高苹果采摘视觉识别系统的精度,增强视觉系统的抗干扰能力和自适应能力,设计了一种新的苹果采摘机器人激光视觉识别系统,可以直接获得层次关系的深度图像,实现了果园非结构化环境中果实的识别与定位。为了测试激光识别系统苹果采摘机器人的采摘效果,在果园中对其采摘性能进行了测试:首先采用高清相机完成了对果实图像的采集,通过图像处理准确地实现了苹果的识别,在遮挡率低于50%时其识别率达到了90%以上;然后利用激光测距方法对苹果进行距离测量,成功定位了果实位置,其响应时间仅为3.58s,动作效率快,实现了苹果的高效率、高精度采摘功能。     

基于Softmax的采摘机器人目标识别技术研究

首先,介绍了目标水果的形态、采摘机器人识别技术与试验平台;然后,设计了双目视觉系统,并基于Softmax分类模型设计了苹果的目标识别算法,实现了一套基于Softmax的采摘机器人目标识别模型。试验结果表明：采摘机器人对无遮挡的苹果目标识别率为94%,对部分遮挡的苹果目标正确识别率为88.7%,稳定性较好,精度较高。     

基于计算机视觉的苹果水心病无损在线分级系统

对苹果按照水心病患病程度进行无损在线分级对于苹果采摘机器人具有重要的意义。在苹果园中,利用无损在线检测出轻度患有水心病的苹果果实并优先采摘,以避免因患病苹果烂掉而造成经济损失,构建了基于计算机视觉和高光谱技术的苹果水心病患病程度无损在线分级系统。本系统以西北农林科技大学白水苹果试验示范站的秦冠苹果为研究对象,采集苹果果实的高光谱图像和果面图像,对苹果图像进行压缩感知预处理和计算机视觉特征提取,并使用支持向量机算法根据苹果图像的计算机视觉特征来对苹果的水心病患病程度进行分级。实验表明:该系统对苹果水心病的分级准确率可以达到78.2%。与人工对苹果水心病分级相比,该系统不依赖于农业专家对苹果水心病特征的丰富知识,不受农业专家的主观影响。本系统作为苹果采摘机器人的一个模块可以为苹果的采摘行为提供指导,降低了人工成本,提高了经济效益。     

基于视觉组合的苹果作业机器人识别与定位

为实现机器人自动化采摘作业,设计了苹果作业机器人识别与定位系统.模拟人类采摘过程,采用单、双目视觉组合传感器系统,克服了现有识别与定位系统对目标到视觉传感器距离的依赖性.实现了对单、双目视觉系统的单独和组合标定,与手动测量结果相比,双目视觉系统标定后3个方向的标准偏差分别为3.4、1.2和1.2 cm.提出了基于苹果颜色、形状和位置特征的识别与定位方法,试验结果表明:当工作距离为240 cm时,双目视觉系统可以准确识别并定位所有苹果,深度方向标准差为4.9 em;当工作距离为150 cm时,双目视觉系统深度方向标准差为2.4 cm;当工作距离小于100 cm时,单目视觉传感器测量目标到传感器距离的标准偏差为1.0 cm.     

基于深度双目视觉处理的智能采摘机器人设计

针对采摘机器人对果蔬的位置定位不够准确、无法准确避障,导致采摘效率较低的问题基于深度双目视觉处理对智能采摘机器人进行了设计。智能采摘机器人的主要组成包括PLC控制器、视觉系统、移动平台、导航系统、机械臂、通信系统和电源。为了对采摘机器人的机械臂进行最优路径规划并避障,通过对采集的图像进行预处理后,利用双目视觉系统对果蔬进行精准定位,然后采用哈夫变换直线检测的方法进行最优路径的设计和选择,最终确定最优采摘路径。对采摘机器人进行运动轨迹精度试验和采摘试验,结果表明：采摘机器人对果蔬的采摘成功率较高,可以满足果农对于采摘机器人的要求。     

气电混合驱动全天候苹果收获机器人设计与试验

提出了一种基于气电混合驱动且能够全天候工作的高效率苹果收获机器人。该机器人机械臂包含5个自由度,混合使用电动和气动两种驱动方式,同时保证机械臂的准确定位和末端执行器对果实的快速柔性抓取。机器人视觉识别系统结合了机器视觉和深度神经网络方法,在提高系统鲁棒性的同时优化了系统的整体检测速度。此外,机器人配备的夜间照明系统使其能够实现全天候工作。在实验室环境下进行了机器人视觉检测试验和苹果采摘试验,结果表明,视觉系统定位苹果的平均时间为44 ms,机器人的采摘率为81. 25%,平均每个苹果的采摘时间为7. 81 s。     

基于遗传迭代和模糊控制的采摘机器人目标追踪算法

为了提高采摘机器人目标追踪的效率和精度,在机器人视觉系统和控制系统的设计上引入了遗传迭代算法和模糊PID控制器,通过对图像处理过程和机械执行末端动作过程进行优化,可以得到更佳的采摘效果。在视觉系统对采摘图像进行处理时,可以通过遗传迭代算法对高质量图像进行筛选,并提高果实成熟度匹配的效率,果实识别后采用模糊PID控制算法对机器人执行末端进行控制,使其可以以更高的精度追踪到果实,执行采摘任务。     

基于视觉检测的苹果采摘机器人系统设计与实现

为提高苹果采摘的自动化与智能化水平,降低重复繁琐的人工劳动强度,减少对果实的损坏率,研制了一款用于苹果成熟自动检测并采摘的轮式机器人系统。系统由硬件平台和软件平台两部分组成。其中,硬件平台由四轮驱动越野小车、IPC-610L工控机、图像数据采集卡、四自由度机械臂和末端执行器组成;软件平台基于Visual C++6.0开发环境,使用双目立体视觉技术和图像处理技术实现对苹果的识别与定位,再通过机械臂的路径规划实现对苹果的采摘。通过仿真实验和数据分析表明:机器人在无人值守的情况下,能实现自动导航、自动识别、自动采摘苹果等功能,并且识别成功率大于94.00%,采摘成功率达到91.33%,平均采摘周期约为1 1 s,具有较高的准确性及稳定性。     

采摘机器人识别技术研究——基于深度图像和计算机网络协同处理

为了提高采摘机器人果实识别定位的效率和准确性，将深度图像技术引入到了采摘机器人视觉系统的设计上，并结合计算机网络协同处理，设计了上位PC机处理和控制系统，通过计算机和机器人控制器的通信，形成了一个开放式和分布式的采摘机器人识别和控制系统。以苹果的采摘为研究对象，对深度图像和非深度图像对果实识别的准确率进行了对比，结果表明：采用深度图编码技术，对果实的识别准确率更高，对于提升果实的采摘效率和准确性具有重要的作用。     

基于机器视觉的机器人智能采摘实验平台开发

针对如何实现快速、高效的采摘,提出机器人智能采摘实验平台系统,该采摘机器人依靠视觉反馈控制来识别采摘物的位置。研究机器人手臂的运动控制,构建机器人的运动学模型。分析机械手的视觉伺服控制问题,直接将图像位置误差矢量映射到所需的末端执行器速度矢量。对机器人智能采摘进行试验分析,试验任务进行171次,准确率94.67%。试验结果验证该视觉伺服控制方法在实际场景中对采摘物识别效率,提高视觉伺服系统的鲁棒性和有效性。     

边缘检测局部算子在草莓轮廓提取上的应用

草莓轮廓的提取对其在生长环境中的识别与理解是至关重要的。为此,利用边缘检测局部算子实现对草莓轮廓的提取,并对不同算子的检测效果进行了分析比较,总结了各检测算子的适用范围,分析了这些算子进行边缘检测的优缺点以及影响检测效果的因素,为草莓采摘机器人的视觉系统做好图像的预处理工作。     

基于Des-YOLO v4的复杂环境下苹果检测方法

为使采摘机器人快速准确检测出复杂环境中的苹果,提出一种Des-YOLO v4算法与苹果检测方法。由于YOLO v4的网络结构复杂,提出一种Des-YOLO结构,可减少网络参数并提高算法的检测速度;在训练阶段,正负样本的不平衡会导致苹果误检,提出一种基于AP-Loss的类别损失函数,以提高苹果识别的准确性。通过自制的苹果数据集测试了Des-YOLO v4算法,并在苹果采摘机器人样机上完成了采摘实验。实验结果表明:Des-YOLO v4算法对苹果图像的平均精度值为93.1%,检测速度为53f/s;机器人单次采摘时间为8.7s,采摘成功率达92.9%,具有检测精度高、速度快等优点。     

基于机器视觉的采摘机器人果实三维模型重构与识别

为了提高采摘机器人果实定位和识别的准确性,在采摘机器人机器视觉系统的设计上引入了果实三维重构方法,利用二维采集图像信息的处理,通过坐标转换关系,实现了三维模型的构建。为了验证三维模型重构对机器视觉果实识别准确性的提高作用,模拟青椒夜间作业的采摘环境,对不采用三维重构和采用三维重构技术两种情况下的果实识别准确率进行了对比,结果表明:采用三维重构技术可以明显提高果实的定位识别准确率,对于采摘机器人机器视觉系统的优化具有重要的意义。     

基于光学导航的采摘机器人系统设计及定位方法研究

为了提高采摘机器人的定位导航精度,将光学导航方法引入到了采摘机器人控制系统的设计上,通过激光扫描和机器视觉相结合的方法,提高了采摘机器人的作业质量和作业效率。在进行定位时,首先由激光扫描方法对采摘机器人进行定位,得到全局坐标中的位置,然后利用机器视觉系统得到采摘机器人和待采摘目标果实的距离,对果实精确定位后进行采摘。采摘测试结果表明:采用光学导航系统可以准确完成果实目标的定位,可有效提高采摘机器人的采摘精度和采摘效率。     

基于极值的重叠苹果识别方法研究

针对采摘机器人对重叠果实无法识别采摘问题,提出了一种基于极值的重叠苹果识别定位方法。首先,利用色差法对图像进行分割;然后采用OTSU分割和孔洞填充提取轮廓;最后利用一种快速计算圆内的点到边缘最小距离的算法找到局部极大值,从而确定圆心和半径。实验表明:这种方法对提取的苹果轮廓较完整的情况定位效果较好,且实时性高,具有较强的实用性。     

采摘机器人视觉图像检测应用研究——基于篮球动作捕捉的多媒体数据库系统

采用篮球动作捕捉系统可以实时地对比赛视频进行分析,通过动作捕捉,得到优秀运动员的投篮动作技术特征;但是篮球比赛属于较高强度的对抗性比赛,其移动速度较高,因此捕捉系统需要有较高的精度。将高精度的动作捕捉系统应用在采摘机器人视觉系统设计中,可以有效提高采摘机器人对果实的识别精度,从而提高作业的自动化程度。为了验证方案的可行性,对采摘机器人的视觉系统进行了测试,并以夜间采摘环境为例,对采集的图像进行了平滑和增强处理,成功提取到了果实的边缘特征图像。对采摘机器人视觉系统的目标识别率和定位能力进行了测试,测试结果表明:目标识别率和定位准确率都较高,满足高精度采摘作业的需求。     

基于随机森林算法的自然光照条件下绿色苹果识别

果实识别是自动化采摘系统中的重要环节,能否快速、准确地识别出果实直接影响采摘机器人的实时性和可靠性。为了实现自然光照条件下绿色苹果的识别,本文采集了果实生长期苹果树图像,并利用随机森林算法实现了绿色苹果果实的分类和识别。针对果树背景颜色和纹理特征的复杂性,尤其是绿色果实和叶片在很多特征上的相似性,论文基于RGB颜色空间进行了Otsu阈值分割和滤波处理,去除枝干等背景,得到仅剩果实和叶片的图像。然后,分别提取叶片和苹果的灰度及纹理特征构成训练集合,建立了绿色苹果随机森林识别模型,并使用像素模板验证数据集,对模型进行预测试验,正确率为90%。最后,选择10幅自然光照条件下不同的果树图像作为检测对象,使用该模型进行果实识别并使用霍夫变换绘制果实轮廓,平均识别正确率为88%。结果表明,该方法具有较高的鲁棒性、稳定性、准确性,能够用于自然光照条件下绿色果实的快速识别。     

基于PLC和机器视觉的采摘机器人智能控制系统设计

利用PLC和机器视觉技术,采用图像传感器拍摄水果图像,提取出目标水果图像的坐标和位姿,并以此驱动控制采摘机器人以最优路径和最佳姿态采摘到目标水果。为了验证系统稳定性,在苹果种植区进行了实际采摘试验,结果表明:采摘机器人机械手可以稳定抓持到目标苹果并完成采摘过程,且期间耗时较短,具有较强的稳定性。     

采摘机器人定位导航系统设计 —基于无线传感网络和机器视觉

为了提高采摘机器人定位导航效率,改变单一的定位导航模式,将无线传感网络和机器视觉系统引入到了定位导航系统的设计上,通过联合定位的方式,提高导航效率。进行定位时,首先,由无线传感网络定位系统迅速定位作业区域,采摘机器人规划路径自主到达指定作业区域;然后,利用机器视觉系统对果实进行图像采集,采用图像匹配功能发现成熟待采摘果实,执行采摘任务。对定位导航系统进行了测试,结果表明:采用联合定位的方式可以明显提高采摘机器人定位导航效率和定位的精度。