基于激光视觉的智能识别苹果采摘机器人设计

为了提高苹果采摘视觉识别系统的精度,增强视觉系统的抗干扰能力和自适应能力,设计了一种新的苹果采摘机器人激光视觉识别系统,可以直接获得层次关系的深度图像,实现了果园非结构化环境中果实的识别与定位。为了测试激光识别系统苹果采摘机器人的采摘效果,在果园中对其采摘性能进行了测试:首先采用高清相机完成了对果实图像的采集,通过图像处理准确地实现了苹果的识别,在遮挡率低于50%时其识别率达到了90%以上;然后利用激光测距方法对苹果进行距离测量,成功定位了果实位置,其响应时间仅为3.58s,动作效率快,实现了苹果的高效率、高精度采摘功能。     

基于YOLOv3算法与3D视觉的农业采摘机器人目标识别与定位研究

为解决目前农业采摘机器人目标难以识别与定位的问题,在原有农业采摘机器人的基础上,提出一种改进YOLOv3算法和3D视觉技术相结合的方法,实现目标的准确识别和精准定位,并利用标定完成目标坐标系和机器人坐标系的转换。通过试验分析改进YOLOv3算法的性能,并与之前的YOLOv3算法、Fast RCNN算法和Faster RCNN算法进行综合比较,研究表明所采用的改进YOLOv3算法和3D视觉具有较高的识别准确度和定位精度,识别准确率分别提高55%、9%、1.4%,最大定位误差分别降低0.69、0.44、0.28 mm,可以较好地完成后续采摘工作,对于农业机器人的发展具有重要的参考价值。     

苹果采摘机器人果实识别与定位方法

提出了利用归一化的红绿色差(R-G)/(R+G)分割苹果的方法.对不同光照情况下拍摄的苹果图像进行了识别,并对识别后的图像进行预处理后,获得苹果的轮廓图像.对轮廓图像采用随机圆环法进行果实圆心、半径提取.通过建立基于面积特征与极线几何相结合的匹配策略实现双目视觉下的果实定位,对于搜索区域内面积相似的果实,通过计算垂直投影的互相关函数最大值的方法,得到排序基准线,然后根据顺序一致性原则进行匹配.实验结果表明:识别算法可以较好地消除阴影、裸露土壤等影响,识别率达到92%.采用随机圆环法,可以准确地提取果实的圆心、半径.在60～150 cm的距离范围内,测量误差小于2 cm.     

采摘机器人果实识别与定位研究——基于双目视觉和机器学习

分析了双目视觉系统的工作原理及视觉标定方法,利用YOLO V2卷积神经网络算法实现对目标果实的识别,并对目标果实的空间定位进行了深入研究,设计了一套基于双目视觉和机器学习的采摘机器人果实识别与定位系统。在多次实际定位实验中,橘子的深度定位误差最大值为1.06mm,证实了系统具有一定的准确性和稳定性。     

基于YOLOv3不同场景辣椒采摘机器人识别定位研究

针对辣椒采摘受环境光、枝叶遮挡和果实重叠的影响问题，构建了基于YOLOv3模型和realsense深度相机的识别定位系统，研究不同补光位置、枝叶遮挡和果实重叠程度对辣椒识别和定位精度的影响规律。结果表明：模型召回率Recall达0.98,平均精度均值mAP达0.95,精确率precision达0.854;不同光照场景下，识别成功率由高到低依次为正向光、顶光、侧光和背光；轻度枝叶遮挡和轻微果实重叠时，模型识别成功率均保持在96%左右，综合定位误差最大为0.024m,满足辣椒采摘机器人识别和定位精度需求。     

苹果采摘机器人果实识别与定位方法

提出了利用归一化的红绿色差(R-G)/(R+G)分割苹果的方法。对不同光照情况下拍摄的苹果图像进行了识别,并对识别后的图像进行预处理后,获得苹果的轮廓图像。对轮廓图像采用随机圆环法进行果实圆心、半径提取。通过建立基于面积特征与极线几何相结合的匹配策略实现双目视觉下的果实定位,对于搜索区域内面积相似的果实,通过计算垂直投影的互相关函数最大值的方法,得到排序基准线,然后根据顺序一致性原则进行匹配。实验结果表明：识别算法可以较好地消除阴影、裸露土壤等影响,识别率达到92%。采用随机圆环法,可以准确地提取果实的圆心、半径。在60～150cm的距离范围内,测量误差小于     

基于机器视觉的采摘机器人果实三维模型重构与识别

为了提高采摘机器人果实定位和识别的准确性,在采摘机器人机器视觉系统的设计上引入了果实三维重构方法,利用二维采集图像信息的处理,通过坐标转换关系,实现了三维模型的构建.为了验证三维模型重构对机器视觉果实识别准确性的提高作用,模拟青椒夜间作业的采摘环境,对不采用三维重构和采用三维重构技术两种情况下的果实识别准确率进行了对比...     

基于视觉检测的苹果采摘机器人系统设计与实现

为提高苹果采摘的自动化与智能化水平,降低重复繁琐的人工劳动强度,减少对果实的损坏率,研制了一款用于苹果成熟自动检测并采摘的轮式机器人系统。系统由硬件平台和软件平台两部分组成。其中,硬件平台由四轮驱动越野小车、IPC-610L工控机、图像数据采集卡、四自由度机械臂和末端执行器组成;软件平台基于Visual C++6.0开发环境,使用双目立体视觉技术和图像处理技术实现对苹果的识别与定位,再通过机械臂的路径规划实现对苹果的采摘。通过仿真实验和数据分析表明:机器人在无人值守的情况下,能实现自动导航、自动识别、自动采摘苹果等功能,并且识别成功率大于94.00%,采摘成功率达到91.33%,平均采摘周期约为1 1 s,具有较高的准确性及稳定性。     

基于改进YOLOv5m的采摘机器人苹果采摘方式实时识别

为准确识别果树上的不同苹果目标,并区分不同枝干遮挡情形下的果实,从而为机械手主动调整位姿以避开枝干对苹果的遮挡进行果实采摘提供视觉引导,提出了一种基于改进YOLOv5m面向采摘机器人的苹果采摘方式实时识别方法。首先,改进设计了BottleneckCSP-B特征提取模块并替换原YOLOv5m骨干网络中的BottleneckCSP模块,实现了原模块对图像深层特征提取能力的增强与骨干网络的轻量化改进;然后,将SE模块嵌入到所改进设计的骨干网络中,以更好地提取不同苹果目标的特征;进而改进了原YOLOv5m架构中输入中等尺寸目标检测层的特征图的跨接融合方式,提升了果实的识别精度;最后,改进了网络的初始锚框尺寸,避免了对图像里较远种植行苹果的识别。结果表明,所提出的改进模型可实现对图像中可直接采摘、迂回采摘（苹果上、下、左、右侧采摘）和不可采摘果实的识别,识别召回率、准确率、mAP和F1值分别为85.9%、81.0%、80.7%和83.4%。单幅图像的平均识别时间为0.025s。对比了所提出的改进算法与原YOLOv5m、YOLOv3和EfficientDet-D0算法在测试集上对6类苹果采摘方式的识别效果,结果表明,所提出的算法比其他3种算法识别的mAP分别高出了5.4、22、20.6个百分点。改进模型的体积为原始YOLOv5m模型体积的89.59%。该方法可为机器人的采摘手主动避开枝干对果实的遮挡,以不同位姿采摘苹果提供技术支撑,可降低苹果的采摘损失。     

基于改进Faster R-CNN的苹果采摘视觉定位与检测方法

针对采摘机器人对场景中目标分布密集、果实相互遮挡的检测及定位能力不理想问题,提出一种引入高效通道注意力机制(ECA)和多尺度融合特征金字塔(FPN)改进Faster R-CNN果实检测及定位方法。首先,利用表达能力较强的融合FPN的残差网络ResNet50替换原VGG16网络,消除了网络退化问题,进而提取更加抽象和丰富的语义信息,提升模型对多尺度和小目标的检测能力;其次,引入注意力机制ECA模块,使特征提取网络聚焦特征图像的局部高效信息,减少无效目标的干扰,提升模型检测精度;最后,采用一种枝叶插图数据增强方法改进苹果数据集,解决图像数据不足问题。基于构建的数据集,使用遗传算法优化K-means++聚类生成自适应锚框,提高模型定位准确性。试验结果表明,改进模型对可抓取和不可直接抓取苹果的精度均值分别为96.16%和86.95%,平均精度均值为92.79%,较传统Faster R-CNN提升15.68个百分点;对可抓取和不可直接抓取的苹果定位精度分别为97.14%和88.93%,较传统Faster R-CNN分别提高12.53个百分点和40.49个百分点;内存占用量减少38.20%,每帧平均计算时间缩短40.7%,改进后的模型参数量小且实时性好,能够更好地应用于果实采摘机器人视觉系统。     

苹果采摘机器人三维视觉传感器设计

以红富士苹果为研究对象,设计了用于苹果采摘机器人的三维视觉传感器.根据苹果树的反射光谱特性,选择敏感波长的激光作为主动光源,在步进电动机的驱动下进行扫描,利用果树对激光的反射差异实现果实识别,利用三角测量原理实现果实定位.该传感器以ARM7芯片LPC2114为处理器,PSD为信号接收传感器,在电路和机械方面进行了优化设计,有效消除了外界各种干扰.实验结果表明,系统信号输出稳定,在150～750 mm距离范围内,最大偏差13 mm.     

苹果采摘机器人仿生机械手静力学分析与仿真

提出了一种应用于苹果采摘机器人末端执行器的仿生机械手。采用腱传动式仿生机械手取代了简单的夹具,提高了末端执行器在复杂环境中抓取苹果的适应性。建立了腱传动式机械手开环控制的驱动力和抓握力间的力学模型。仿真结果表明,在相同的驱动力下,腱传动仿生机械手的抓握力与其机构参数相关。其中,有效抓握力由手指的长度和厚度决定;抓握力的分布由各指节的长度比例决定;手指的初始张角决定了其可抓取苹果的半径范围;随着苹果半径的增大,有效抓握力将减小。摩擦力能够改善抓握力在各指节的分布,使抓握力分布均匀化,同时使有效抓握力变大。     

基于单目视觉与超声检测的振荡果实采摘识别与定位

针对采摘机器人在果实振荡情况下因难以精确定位影响采摘效率的问题,提出了一种基于单目视觉与超声检测的振荡果实识别与定位方法。首先对采集的振荡果树图像序列进行基于色差R-G的Otsu阈值分割和形态学处理,接着对图像果实区域进行灰度填充,将处理后的图像序列叠加得到复合图像和目标果实运动区域,求取振荡果实在图像运动区域的二维平衡位置坐标。然后机械手在视觉引导下运动,其末端指向振荡果实二维平衡位置坐标,同时超声传感器检测目标果实深度信息并提取超声回波信号峰峰值进行果实识别,当检测到果实处于适合采摘位置时,机械手爪抓取果实。采摘试验表明,采摘成功率为86%,验证了所采用方法的有效性,为实现采摘机器人实用化提供了参考。     

基于粒子滤波的苹果采摘机器人目标姿态估算

针对苹果采摘机器人中果实姿态信息缺失造成果实损伤及采摘失败等问题,根据苹果尾部花萼遗迹区域是否可见分析了果实姿态信息机器视觉测量方法,研究了果实姿态信息的粒子滤波估计。将单目摄像机固定在机器人末端手爪上,在手爪趋近果实的采摘过程中,随机采集多帧果实图像。对每帧图像运用惯性主轴或重心点偏移两种方法计算果实在机器人坐标系下的姿态向量值,并通过粒子滤波融合来得到果实姿态信息的最优估计。实验结果表明,粒子滤波方法可以有效地融合多帧图像的苹果姿态信息,能够减小因依靠单帧图像直接测量而产生的误差。     

采摘机器人基于支持向量机苹果识别方法

针对目前苹果采摘机器人果实识别过程误差大、处理时间长等问题,应用支持向量机(SVM)方法对苹果果实进行识别.首先采用矢量中值滤波法对苹果彩色图像进行预处理,然后运用区域生长算法和颜色特征相结合的方法进行图像分割,最后分别对苹果彩色图像的颜色特征、几何形状特征进行提取,并用支持向量机的模式识别方法识别苹果果实.实验结果表明:支持向量机识别方法的识别性能优于神经网络方法;综合颜色特征和形状特征的支持向量机识别方法对苹果果实识别的正确率高于只用颜色特征或形状特征的正确率.     

苹果采摘机器人目标果实快速跟踪识别方法

为了减少苹果采摘机器人采摘过程处理时间,对苹果采摘机器人目标果实的快速跟踪识别方法进行了研究。对基于R-G颜色特征的OTSU动态阈值分割方法进行首帧采集图像分割,采用图像中心原则确定要采摘的目标果实;利用所采集图像之间的信息关联性,在不断缩小图像处理区域的同时,采用经过加速优化改进的去均值归一化积相关模板匹配算法来跟踪识别后帧图像的目标果实,并进行不同阈值分割方法实现效果,不同灰度、亮度和对比度的匹配识别以及新旧方法识别时间对比试验,从而验证了所采用和设计方法的有效性;其中所设计跟踪识别方法的识别时间相比于原方法,减少36%。     

柑橘采摘机器人障碍物识别技

根据柑橘采摘机器人遇到树枝等障碍物的特点,通过提取和处理障碍物图像的骨架恢复障碍物的三维信息.首先采用图像分割、形态学处理、区域细线化等步骤提取障碍物骨架,并进行骨架修剪、恢复遮挡骨架等处理;然后找出骨架中端点、分支点等特征点并记录其连接关系;最后通过对特征点的立体匹配恢复障碍物的三维信息,试验表明障碍物的正确识别率为67.3%.     

基于改进人工势场的苹果采摘机器人机械手避障方法

针对非结构化环境下的采摘机器人机械手实时避障问题,提出一种改进人工势场法的避障路径规划方法。根据自行研制的5自由度苹果采摘机器人机械手具体结构和障碍物特征,进行机械手运动学分析和障碍物建模;在保留传统人工势场法易于实现、结构简单等优点的基础上,针对其存在的局部极小点、陷进区等问题,结合果树生长环境中障碍物的特点,通过引入虚拟目标点使搜索过程跳出局部最优的极小点,从而实现机械手避开障碍物到达目标的灵活避障;将该方法应用于机械手末端位置、障碍物位置和目标位置已知条件下的采摘机器人机械手实时避障任务中,仿真和实验研究结果表明此方法简单,实时性好,能够有效地避开障碍物,成功到达目标位置,适合自然生长状态下苹果的自动采摘。     

基于云计算技术的苹果采摘机器人系统

近年来,我国水果产业迎来快速发展期,苹果种植面积日益扩大,年产量明显增加,促使我国成为世界上最大的水果生产国家。水果进行种植过程中,成熟的水果采摘操作时必须消耗大量的时间和劳动力。由于进城务工人员日益增多,农村劳动力人口不断减少,此时劳动力成本有一定程度的增长,果农日常经营的成本也有所增加,因此智能采摘机器人顺势而生。为此,针对水果采摘机械研究的不足之处,提出了基于云计算的苹果采摘机器人系统,在机器人处于作业状态下设计了苹果采摘机器人软、硬件设计情况。为验证苹果采摘机器人的采摘效果,在果园中对其采摘性能展开试验,试验结果表明:所设计的采摘机器人运用视觉技术,能很好地克服气候环境等因素的影响,采摘作业中性能稳定,采摘效率高,值得在苹果生产地推广使用。