基于YOLOv3算法与3D视觉的农业采摘机器人目标识别与定位研究

为解决目前农业采摘机器人目标难以识别与定位的问题,在原有农业采摘机器人的基础上,提出一种改进YOLOv3算法和3D视觉技术相结合的方法,实现目标的准确识别和精准定位,并利用标定完成目标坐标系和机器人坐标系的转换。通过试验分析改进YOLOv3算法的性能,并与之前的YOLOv3算法、Fast RCNN算法和Faster RCNN算法进行综合比较,研究表明所采用的改进YOLOv3算法和3D视觉具有较高的识别准确度和定位精度,识别准确率分别提高55%、9%、1.4%,最大定位误差分别降低0.69、0.44、0.28 mm,可以较好地完成后续采摘工作,对于农业机器人的发展具有重要的参考价值。     

基于YOLOv3不同场景辣椒采摘机器人识别定位研究

针对辣椒采摘受环境光、枝叶遮挡和果实重叠的影响问题，构建了基于YOLOv3模型和realsense深度相机的识别定位系统，研究不同补光位置、枝叶遮挡和果实重叠程度对辣椒识别和定位精度的影响规律。结果表明：模型召回率Recall达0.98,平均精度均值mAP达0.95,精确率precision达0.854;不同光照场景下，识别成功率由高到低依次为正向光、顶光、侧光和背光；轻度枝叶遮挡和轻微果实重叠时，模型识别成功率均保持在96%左右，综合定位误差最大为0.024m,满足辣椒采摘机器人识别和定位精度需求。     

苹果采摘机器人果实识别与定位方法

提出了利用归一化的红绿色差(R-G)/(R+G)分割苹果的方法.对不同光照情况下拍摄的苹果图像进行了识别,并对识别后的图像进行预处理后,获得苹果的轮廓图像.对轮廓图像采用随机圆环法进行果实圆心、半径提取.通过建立基于面积特征与极线几何相结合的匹配策略实现双目视觉下的果实定位,对于搜索区域内面积相似的果实,通过计算垂直投影的互相关函数最大值的方法,得到排序基准线,然后根据顺序一致性原则进行匹配.实验结果表明:识别算法可以较好地消除阴影、裸露土壤等影响,识别率达到92%.采用随机圆环法,可以准确地提取果实的圆心、半径.在60～150 cm的距离范围内,测量误差小于2 cm.     

采摘机器人果实识别与定位研究——基于双目视觉和机器学习

分析了双目视觉系统的工作原理及视觉标定方法,利用YOLO V2卷积神经网络算法实现对目标果实的识别,并对目标果实的空间定位进行了深入研究,设计了一套基于双目视觉和机器学习的采摘机器人果实识别与定位系统。在多次实际定位实验中,橘子的深度定位误差最大值为1.06mm,证实了系统具有一定的准确性和稳定性。     

基于视觉组合的苹果作业机器人识别与定位

为实现机器人自动化采摘作业,设计了苹果作业机器人识别与定位系统.模拟人类采摘过程,采用单、双目视觉组合传感器系统,克服了现有识别与定位系统对目标到视觉传感器距离的依赖性.实现了对单、双目视觉系统的单独和组合标定,与手动测量结果相比,双目视觉系统标定后3个方向的标准偏差分别为3.4、1.2和1.2 cm.提出了基于苹果颜色、形状和位置特征的识别与定位方法,试验结果表明:当工作距离为240 cm时,双目视觉系统可以准确识别并定位所有苹果,深度方向标准差为4.9 em;当工作距离为150 cm时,双目视觉系统深度方向标准差为2.4 cm;当工作距离小于100 cm时,单目视觉传感器测量目标到传感器距离的标准偏差为1.0 cm.     

苹果采摘机器人果实识别与定位方法

提出了利用归一化的红绿色差(R-G)/(R+G)分割苹果的方法。对不同光照情况下拍摄的苹果图像进行了识别,并对识别后的图像进行预处理后,获得苹果的轮廓图像。对轮廓图像采用随机圆环法进行果实圆心、半径提取。通过建立基于面积特征与极线几何相结合的匹配策略实现双目视觉下的果实定位,对于搜索区域内面积相似的果实,通过计算垂直投影的互相关函数最大值的方法,得到排序基准线,然后根据顺序一致性原则进行匹配。实验结果表明：识别算法可以较好地消除阴影、裸露土壤等影响,识别率达到92%。采用随机圆环法,可以准确地提取果实的圆心、半径。在60～150cm的距离范围内,测量误差小于     

基于改进YOLOv5m的采摘机器人苹果采摘方式实时识别

为准确识别果树上的不同苹果目标,并区分不同枝干遮挡情形下的果实,从而为机械手主动调整位姿以避开枝干对苹果的遮挡进行果实采摘提供视觉引导,提出了一种基于改进YOLOv5m面向采摘机器人的苹果采摘方式实时识别方法。首先,改进设计了BottleneckCSP-B特征提取模块并替换原YOLOv5m骨干网络中的BottleneckCSP模块,实现了原模块对图像深层特征提取能力的增强与骨干网络的轻量化改进;然后,将SE模块嵌入到所改进设计的骨干网络中,以更好地提取不同苹果目标的特征;进而改进了原YOLOv5m架构中输入中等尺寸目标检测层的特征图的跨接融合方式,提升了果实的识别精度;最后,改进了网络的初始锚框尺寸,避免了对图像里较远种植行苹果的识别。结果表明,所提出的改进模型可实现对图像中可直接采摘、迂回采摘（苹果上、下、左、右侧采摘）和不可采摘果实的识别,识别召回率、准确率、mAP和F1值分别为85.9%、81.0%、80.7%和83.4%。单幅图像的平均识别时间为0.025s。对比了所提出的改进算法与原YOLOv5m、YOLOv3和EfficientDet-D0算法在测试集上对6类苹果采摘方式的识别效果,结果表明,所提出的算法比其他3种算法识别的mAP分别高出了5.4、22、20.6个百分点。改进模型的体积为原始YOLOv5m模型体积的89.59%。该方法可为机器人的采摘手主动避开枝干对果实的遮挡,以不同位姿采摘苹果提供技术支撑,可降低苹果的采摘损失。     

基于Softmax的采摘机器人目标识别技术研究

首先,介绍了目标水果的形态、采摘机器人识别技术与试验平台;然后,设计了双目视觉系统,并基于Softmax分类模型设计了苹果的目标识别算法,实现了一套基于Softmax的采摘机器人目标识别模型。试验结果表明：采摘机器人对无遮挡的苹果目标识别率为94%,对部分遮挡的苹果目标正确识别率为88.7%,稳定性较好,精度较高。     

苹果采摘机器人目标果实快速跟踪识别方法

为了减少苹果采摘机器人采摘过程处理时间,对苹果采摘机器人目标果实的快速跟踪识别方法进行了研究。对基于R-G颜色特征的OTSU动态阈值分割方法进行首帧采集图像分割,采用图像中心原则确定要采摘的目标果实;利用所采集图像之间的信息关联性,在不断缩小图像处理区域的同时,采用经过加速优化改进的去均值归一化积相关模板匹配算法来跟踪识别后帧图像的目标果实,并进行不同阈值分割方法实现效果,不同灰度、亮度和对比度的匹配识别以及新旧方法识别时间对比试验,从而验证了所采用和设计方法的有效性;其中所设计跟踪识别方法的识别时间相比于原方法,减少36%。     

基于视觉检测的苹果采摘机器人系统设计与实现

为提高苹果采摘的自动化与智能化水平,降低重复繁琐的人工劳动强度,减少对果实的损坏率,研制了一款用于苹果成熟自动检测并采摘的轮式机器人系统。系统由硬件平台和软件平台两部分组成。其中,硬件平台由四轮驱动越野小车、IPC-610L工控机、图像数据采集卡、四自由度机械臂和末端执行器组成;软件平台基于Visual C++6.0开发环境,使用双目立体视觉技术和图像处理技术实现对苹果的识别与定位,再通过机械臂的路径规划实现对苹果的采摘。通过仿真实验和数据分析表明:机器人在无人值守的情况下,能实现自动导航、自动识别、自动采摘苹果等功能,并且识别成功率大于94.00%,采摘成功率达到91.33%,平均采摘周期约为1 1 s,具有较高的准确性及稳定性。     

田间果蔬采摘机器人视觉传感器设计与试验

针对田间果蔬采摘机器视觉识别与定位的需求,设计嵌入式采摘视觉传感器,内嵌130万像素CMOS图像传感器和开放性MCU,配置亮度处理模块和室外光自适应控制专家库,解决室外光变化影响视觉检测的难题.用主从传感器构造双目视觉系统,配置图像分割和测距算法,进行采摘目标的识别与定位.经试验和测试,在采摘臂长范围内,对成熟西红柿的识别有效率为96%,位置误差±12 mm.     

基于改进Faster R-CNN的苹果采摘视觉定位与检测方法

针对采摘机器人对场景中目标分布密集、果实相互遮挡的检测及定位能力不理想问题,提出一种引入高效通道注意力机制(ECA)和多尺度融合特征金字塔(FPN)改进Faster R-CNN果实检测及定位方法。首先,利用表达能力较强的融合FPN的残差网络ResNet50替换原VGG16网络,消除了网络退化问题,进而提取更加抽象和丰富的语义信息,提升模型对多尺度和小目标的检测能力;其次,引入注意力机制ECA模块,使特征提取网络聚焦特征图像的局部高效信息,减少无效目标的干扰,提升模型检测精度;最后,采用一种枝叶插图数据增强方法改进苹果数据集,解决图像数据不足问题。基于构建的数据集,使用遗传算法优化K-means++聚类生成自适应锚框,提高模型定位准确性。试验结果表明,改进模型对可抓取和不可直接抓取苹果的精度均值分别为96.16%和86.95%,平均精度均值为92.79%,较传统Faster R-CNN提升15.68个百分点;对可抓取和不可直接抓取的苹果定位精度分别为97.14%和88.93%,较传统Faster R-CNN分别提高12.53个百分点和40.49个百分点;内存占用量减少38.20%,每帧平均计算时间缩短40.7%,改进后的模型参数量小且实时性好,能够更好地应用于果实采摘机器人视觉系统。     

田间环境下果蔬采摘快速识别与定位方法研究进展

作为实现果蔬采摘作业自动化的关键难题之一,田间环境下的果蔬快速识别与定位受到了广泛的关注。综述了常见的果蔬识别硬件系统和识别算法;总结和分析了果蔬图像预处理、颜色特征选择、图像分割算法设计及图像后处理的研究;综述了常见果蔬识别算法、成簇果蔬识别算法及被遮挡果蔬识别算法的研究;分析和比较了果蔬定位中常用的有源测距法和无源测距法,以及果蔬无源测距中常见的立体匹配算法。分析了田间环境下果蔬识别和定位研究存在的主要问题,并展望了发展趋势。     

排球运动规划在采摘机器人识别与定位中的应用

在排球比赛过程中,扣球是得分最关键的动作之一,为了得到合适位置出手点、角度和力度等优化数据,可以采用排球机器人训练的方法,通过植入人工智能算法,对扣球过程中的数据进行采集,最后通过运动规划使扣球动作达到最佳姿态。排球机器人运动规划方案可以移植到采摘机器人的智能化训练上,加快对果实信息采集和处理效率,从而更快地捕捉到果实目标,对路径规划做出响应,对于提高采摘机器人定位和识别能力具有重要的意义。为了验证方案的可行性,对基于排球机器人运动规划系统的采摘机器人定位识别功能进行了测试,结果表明:采摘机器人可以成功定位和识别果实,且响应速度较快、误差较小,可以满足采摘机器人定位识别功能的设计需求。     

西红柿采摘机器人视觉系统的研究

针对果实采摘机器人果实识别率低的问题,设计了一组用于西红柿识别和定位的双目立体视觉系统,为机器人的采摘作业提供更有利的条件。为此,采用Bumblebee双目立体视觉系统,基于成熟果实与植株颜色特征的差异进行图像分割,来识别成熟的西红柿;在完成相机标定、特征点提取和特征点匹配的基础上,通过三维空间定位获取果实的三维坐标。实验结果表明:该系统果实识别的整个过程平均耗时150ms,对成熟西红柿的识别率达到99%,测试误差在10mm以内,能够较好地满足西红柿采摘工作的要求。     

苹果采摘机器人夜间识别方法

提出了一种适用于苹果采摘机器人夜间识别的方法。在图像采集阶段,通过对比不同光源的照明效果,选用白炽灯作为照明光源并采用2盏白炽灯从不同角度照明的方式削弱图像中的阴影。在图像分割阶段,对比白天图像的分割方法,提出改进R-G色差分割法。此外针对夜间图像中的高亮反光区,采用二次分割的方法提取出水果表面的高亮反光区以此对分割后的图像进行修补,以得到完整的分割结果。经统计不考虑果实的遮挡和粘连,夜间苹果正确识别率达到83.7%。     

采摘机器人基于支持向量机苹果识别方法

针对目前苹果采摘机器人果实识别过程误差大、处理时间长等问题,应用支持向量机(SVM)方法对苹果果实进行识别.首先采用矢量中值滤波法对苹果彩色图像进行预处理,然后运用区域生长算法和颜色特征相结合的方法进行图像分割,最后分别对苹果彩色图像的颜色特征、几何形状特征进行提取,并用支持向量机的模式识别方法识别苹果果实.实验结果表明:支持向量机识别方法的识别性能优于神经网络方法;综合颜色特征和形状特征的支持向量机识别方法对苹果果实识别的正确率高于只用颜色特征或形状特征的正确率.     

基于双目相机与改进YOLOv3算法的果园行人检测与定位

针对复杂果园环境中行人难以精确检测并定位的问题,提出了一种双目相机结合改进YOLOv3目标检测算法的行人障碍物检测和定位方法。该方法采用ZED双目相机采集左右视图,通过视差原理获取图像像素点的距离信息;将双目相机一侧的RGB图像作为用树形特征融合模块改进的YOLOv3算法的输入,得到行人障碍物在图像中的位置信息,结合双目相机获得的像素位置信息计算出相对于相机的三维坐标。用卡耐基梅隆大学国家机器人工程中心开放的果园行人检测数据集测试改进的YOLOv3算法,结果表明,准确率和召回率分别达到95.34%和91.52%,高于原模型的94.86%和90.19%,检测速度达到30.26 f/ms。行人检测与定位试验表明,行人障碍物的定位在深度距离方向平均相对误差为1.65%,最大相对误差为3.80%。该方法具有快速性和准确性,可以较好地实现果园环境中的行人检测与定位,为无人驾驶农机的避障决策提供依据。     

苹果采摘机器人视觉系统的目标提取研究

研究了自然环境下的成熟苹果彩色图像,结果表明:成熟苹果颜色与背景色大都存在明显差异。从颜色空间角度来说,目标和背景分布于不同的区域。根据这一特点,提出了基于样本颜色空间的目标提取算法。首先,由苹果样本图像在L*a*b*空间中构建样本颜色空间,并用数学形态学对样本颜色空间进行优化;然后,依据样本颜色空间对苹果彩色图像进行目标识别,对于远景深小目标物和严重遮挡的目标物,在样本空间识别的基础上进行二值化,运用形态学结构元素法进行处理;最后,得到了理想的分割效果,识别率高。     

自然环境下柑橘采摘机器人识别定位系统研究

为了准确理解柑橘采摘机器人在自然环境下的作业场景,获取采摘目标及周围障碍物的位置信息,构建了基于卷积神经网络和Kinect V2相机的识别定位系统。首先,对采摘场景中的果树提出5类目标物分类准则,包含1类可采摘果实和4类障碍物目标;然后,在YOLO V3（You only look once）卷积层模块中添加3层最大池化层,对预测候选框进行K-means聚类分析,增强模型对枝叶类物体特征的提取能力,实现采摘场景的准确理解;最后,采用Kinect V2相机的深度图映射得到采摘目标和障碍物的三维信息,并在自然环境下进行了避障采摘作业。实验结果表明,构建的识别定位系统对障碍物和可采摘果实的识别综合评价指数分别为83.6%和91.9%,定位误差为5.9mm,单帧图像的处理时间为0.4s,采摘成功率和避障成功率分别达到80.51%和75.79%。