基于Des-YOLO v4的复杂环境下苹果检测方法

为使采摘机器人快速准确检测出复杂环境中的苹果,提出一种Des-YOLO v4算法与苹果检测方法。由于YOLO v4的网络结构复杂,提出一种Des-YOLO结构,可减少网络参数并提高算法的检测速度;在训练阶段,正负样本的不平衡会导致苹果误检,提出一种基于AP-Loss的类别损失函数,以提高苹果识别的准确性。通过自制的苹果数据集测试了Des-YOLO v4算法,并在苹果采摘机器人样机上完成了采摘实验。实验结果表明:Des-YOLO v4算法对苹果图像的平均精度值为93.1%,检测速度为53f/s;机器人单次采摘时间为8.7s,采摘成功率达92.9%,具有检测精度高、速度快等优点。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于友好人机界面的采摘机器人系统构建分析

以采摘机器人为研究对象,针对现有采摘机器人采用CCD进行图像识别采集,其数据采集精度和速度均具有一定的局限性的问题,基于友好人机界面构建了采摘机器人的视觉系统。采用激光测距仪作为视觉系统的数据采集装置,综合运用运动控制系统实现激光测距仪的位移变化,选用上位机进行实时数据处理。在视觉系统构建基础上,以果园为目标进行实际检测试验,在视觉系统距离采摘对象不同距离处进行数据采集,绘制出不同距离条件下苹果的轮廓曲线,得出视觉系统对环境当中果树的识别度。试验数据表明:随着距离的增加,视觉系统对苹果轮廓的检测精度逐渐降低,在200mm处对采摘环境的识别度最高。     

气电混合驱动全天候苹果收获机器人设计与试验

提出了一种基于气电混合驱动且能够全天候工作的高效率苹果收获机器人。该机器人机械臂包含5个自由度,混合使用电动和气动两种驱动方式,同时保证机械臂的准确定位和末端执行器对果实的快速柔性抓取。机器人视觉识别系统结合了机器视觉和深度神经网络方法,在提高系统鲁棒性的同时优化了系统的整体检测速度。此外,机器人配备的夜间照明系统使其能够实现全天候工作。在实验室环境下进行了机器人视觉检测试验和苹果采摘试验,结果表明,视觉系统定位苹果的平均时间为44 ms,机器人的采摘率为81. 25%,平均每个苹果的采摘时间为7. 81 s。     

自然环境下绿色柑橘视觉检测技术研究

绿色柑橘具有与背景相似的颜色特征,自然环境下绿色柑橘的视觉检测比较困难。提出基于深度学习技术,利用Faster RCNN方法进行树上绿色柑橘的视觉检测研究。首先配置深度学习的试验环境,同时设计了绿色柑橘图像采集试验,建立了柑橘图像样本集,通过试验对批处理大小、学习速率和动量等超参数进行调优,确定合适的学习速率为0.01、批处理为128、动量系数为0.9,使用确定的超参数对模型进行了训练,最终训练模型在测试集上的平均精度(MAP)为85.49%。通过设计自然环境下不同光照条件、图像中不同尺寸柑橘、不同个数柑橘的Faster RCNN方法与Otsu分割法的柑橘检测对比试验,并定义F值作为对比评价指标,分析2种方法的检测结果,试验结果表明:Faster RCNN方法与Otsu方法在不同光照条件下检测绿色柑橘的F值分别为77.45%和59.53%;不同个数柑橘果实检测结果的F值分别为82.58%和60.34%,不同尺寸柑橘检测结果的F值分别为73.53%和49.44%,表明所提方法对自然环境下绿色柑橘有较好的检测效果,为果园自动化生产和机器人采摘的视觉检测提供了技术支持。     

复杂背景下果园视觉导航路径提取算法

为解决果园视觉导航机器人行间自主行进和调头问题,提出了基于Mask R-CNN的导航线提取方法和基于随机采样一致性(Random sample consensus, RANSAC)算法的树行线提取方法。首先,基于Mask R-CNN模型对道路与树干进行识别,提取道路分割掩码和树干边界框坐标;其次,在生成行间导航线的基础上,采用改进RANSAC算法提取前排树行线;然后,计算树干边界框坐标点到前排行线的距离,筛选后排树干坐标点,采用最小二乘法拟合生成后排树行线;最后,通过分析前后排树行信息判断调头方向,结合本文提出的行末端距离计算与调头路径规划方法,规划车辆的调头路线。实验结果表明：在不同光照、杂草、天气环境下的6种果园场景中,模型的平均分割精度和边界框检测精度都为97.0%,导航目标点提取的平均偏差不超过5.3%,树行线检测准确率不低于87%,调头后车辆距道路中心的平均偏差为7.8 cm,可为果园环境下的视觉自主导航提供有效参考。     

基于YOLOv3算法与3D视觉的农业采摘机器人目标识别与定位研究

为解决目前农业采摘机器人目标难以识别与定位的问题,在原有农业采摘机器人的基础上,提出一种改进YOLOv3算法和3D视觉技术相结合的方法,实现目标的准确识别和精准定位,并利用标定完成目标坐标系和机器人坐标系的转换。通过试验分析改进YOLOv3算法的性能,并与之前的YOLOv3算法、Fast RCNN算法和Faster RCNN算法进行综合比较,研究表明所采用的改进YOLOv3算法和3D视觉具有较高的识别准确度和定位精度,识别准确率分别提高55%、9%、1.4%,最大定位误差分别降低0.69、0.44、0.28 mm,可以较好地完成后续采摘工作,对于农业机器人的发展具有重要的参考价值。     

基于视觉导航和RBF的移动采摘机器人路径规划研究

为了提高采摘机器人自主导航和路径规划能力,提出了基于计算机视觉路径规划和RBF神经网络自适应逼近算法的导航方法。使用图像分割、平滑处理和边缘检测技术,根据图像像素灰度值确定了导航线的位置,利用逐行扫描的方法得到了导航离散点。路径规划和跟踪使用RBF神经网络逼近算法,通过逼近误差和权值控制路径跟踪的精度,系统响应的执行端使用液压伺服系统,提高了机器人自主导航的精度。以黄瓜采摘作为研究对象,在日光温室对机器人采摘作业进行了测试,通过测试得到了RBF神经网络的路径跟踪误差曲线。测试结果表明:机器人可以很好地逼近跟踪规划路径,其计算精度较高,跟踪效果较好。     

基于改进YOLOv5m的采摘机器人苹果采摘方式实时识别

为准确识别果树上的不同苹果目标,并区分不同枝干遮挡情形下的果实,从而为机械手主动调整位姿以避开枝干对苹果的遮挡进行果实采摘提供视觉引导,提出了一种基于改进YOLOv5m面向采摘机器人的苹果采摘方式实时识别方法。首先,改进设计了BottleneckCSP-B特征提取模块并替换原YOLOv5m骨干网络中的BottleneckCSP模块,实现了原模块对图像深层特征提取能力的增强与骨干网络的轻量化改进;然后,将SE模块嵌入到所改进设计的骨干网络中,以更好地提取不同苹果目标的特征;进而改进了原YOLOv5m架构中输入中等尺寸目标检测层的特征图的跨接融合方式,提升了果实的识别精度;最后,改进了网络的初始锚框尺寸,避免了对图像里较远种植行苹果的识别。结果表明,所提出的改进模型可实现对图像中可直接采摘、迂回采摘（苹果上、下、左、右侧采摘）和不可采摘果实的识别,识别召回率、准确率、mAP和F1值分别为85.9%、81.0%、80.7%和83.4%。单幅图像的平均识别时间为0.025s。对比了所提出的改进算法与原YOLOv5m、YOLOv3和EfficientDet-D0算法在测试集上对6类苹果采摘方式的识别效果,结果表明,所提出的算法比其他3种算法识别的mAP分别高出了5.4、22、20.6个百分点。改进模型的体积为原始YOLOv5m模型体积的89.59%。该方法可为机器人的采摘手主动避开枝干对果实的遮挡,以不同位姿采摘苹果提供技术支撑,可降低苹果的采摘损失。     

基于深度学习的群猪图像实例分割方法

群养饲喂模式下猪群有聚集在一起的习性,特别是躺卧时,当使用机器视觉跟踪监测猪只时,图像中存在猪体粘连,导致分割困难,成为实现群猪视觉追踪和监测的瓶颈。根据实例分割原理,把猪群中的猪只看作一个实例,在深度卷积神经网络基础上建立Pig Net网络,对群猪图像尤其是对粘连猪体进行实例分割,实现独立猪体的分辨和定位。Pig Net网络采用44层卷积层作为主干网络,经区域候选网络(Region proposal networks,RPN)提取感兴趣区域(ROI),并和主干网络前向传播的特征图共享给感兴趣区域对齐层(Region of interest align,ROIAlign),分支通过双线性插值计算目标空间,三分支并行输出ROI目标的类别、回归框和掩模。Mask分支采用平均二值交叉熵损失函数计算独立猪体的目标掩模损失。连续28 d采集6头9. 6 kg左右大白仔猪图像,抽取前7 d内各不同时段、不同行为模式群养猪图像2 500幅作为训练集和验证集,训练集和验证集的比例为4∶1。结果表明,Pig Net网络模型在训练集上总分割准确率达86. 15%,在验证集上准确率达85. 40%。本文算法对不同形态、粘连严重的群猪图像能够准确分割出独立的猪个体目标。将本文算法与Mask R-CNN模型及其改进模型进行对比,准确率比Mask RCNN模型高11. 40个百分点,单幅图像处理时间为2. 12 s,比Mask R-CNN模型短30 ms。     

基于激光视觉的智能识别苹果采摘机器人设计

为了提高苹果采摘视觉识别系统的精度,增强视觉系统的抗干扰能力和自适应能力,设计了一种新的苹果采摘机器人激光视觉识别系统,可以直接获得层次关系的深度图像,实现了果园非结构化环境中果实的识别与定位。为了测试激光识别系统苹果采摘机器人的采摘效果,在果园中对其采摘性能进行了测试:首先采用高清相机完成了对果实图像的采集,通过图像处理准确地实现了苹果的识别,在遮挡率低于50%时其识别率达到了90%以上;然后利用激光测距方法对苹果进行距离测量,成功定位了果实位置,其响应时间仅为3.58s,动作效率快,实现了苹果的高效率、高精度采摘功能。     

果实成熟度识别机器人设计——基于近红外线信号处理

为了提高采摘机器人自动识别果实成熟度的智能化水平,提高果实识别的准确性,实现机器人自主定位和自动规划路径能力,设计了一种新的自动化采摘机器人。该机器人利用图像分割技术和近红外信号处理技术,实现了果实成熟度的自动定位和判别。对采摘机器人的性能进行了测试,包括苹果图像的分割和提取、果实成熟度的判断和机器人路径规划。通过测试发现:机器人可以在复杂采摘背景下准确地识别苹果果实,并可以通过红外线探测实现果实成熟度的判别,最终规划出来合理的采摘路径,实现果实的精准采摘,为果蔬采摘机器人的研究提供了较有价值的参考。     

农业采摘机器人视觉感知关键技术研究

为了提高农业机器人在复杂野外环境下采摘油茶果的速度和准确性,针对机器人视觉感知的关键技术,设计了一种农业机器人果实检测、定位和采摘系统。首先,使用双目相机采集油茶果的左右图像;然后,应用先进的目标检测网络YOLOv4-tiny检测出左右图像中的油茶果;再次,不同于传统的双目相机图像的立体匹配技术,根据YOLOv4-tiny网络生成的预测框提取出油茶果图像的感兴趣区域,并根据预测框的生成机制自适应地进行立体匹配以求解出视差,为后续使用三角测量原理求出油茶果采摘点提供参考;最后,使用基于Eye-in-Hand手眼标定的农业机器人进行采摘试验,验证了本研究的可行性和准确性。试验结果表明：YOLOv4-tiny网络能够精确和实时地检测油茶果,提出的定位方法满足采摘机器人的应用需求,验证了本研究的可行性和准确性。研究可为果园环境中作业的农业采摘机器人视觉感知关键技术提供参考。     

基于改进YOLO v3网络的夜间环境柑橘识别方法

为研究夜间环境下采摘机器人的视觉检测技术，实现采摘机器人的夜间作业，提出了一种多尺度卷积神经网络Des-YOLO v3算法，可实现夜间复杂环境下成熟柑橘的识别与检测。借鉴残差网络和密集连接网络，设计了Des-YOLO v3网络结构，实现了网络多层特征的复用和融合，加强了小目标和重叠遮挡果实识别的鲁棒性，显著提高了果实检测精度。柑橘识别试验结果表明， Des-YOLO v3网络的精确率达97.67%、召回率为97.46%、F1值为0.976，分别比YOLO v3网络高6.26个百分点、6.36个百分点和0.063。同时，经过训练的模型在测试集下的平均精度(mAP)为90.75%、检测速度达53f/s，高于YOLO v3_DarkNet53网络的平均精度88.48%，mAP比YOLO v3_DarkNet53网络提高了2.27个百分点，检测速度比YOLO v3_DarkNet53网络提高了11f/s。研究结果表明，本文提出的Des-YOLO v3网络对野外夜间复杂环境下成熟柑橘的识别具有更强的鲁棒性和更高的检测精度，为柑橘采摘机器人的视觉识别提供了技术支持。     

智能移动苹果采摘机器人的设计及试验

以ARM9 2440处理器为核心,基于BP神经网络的机器人视觉识别和定位,研制了一种苹果采摘机器人及控制系统。首先应用Photoshop软件将图像分割为640×640像素的图片,然后在RGB颜色空间下,结合数学形态学中值滤波降噪和拉普拉斯算子边缘检测的方法实现果实目标的特征提取,最终完成苹果的定位并在MatLab环境下使用robotics-toolbox工具箱编程仿真。试验结果表明:该机器人能有效识别果实并完成抓取工作,为后续的深入研究奠定了基础。     

基于BP神经网络的苹果图像分割算法

针对目前苹果采摘机器人图像分割运算量大、耗时多等问题,通过分析选取3×3邻域像素色度值作为苹果图像的特征,选取40幅图像作为训练样本,以人工分割后的图像作为教师信号,采用BP算法对神经网络的权值进行训练.经过100次循环后,获得有效的网络权值,误差为0.001.结果表明,利用BP神经网络能够较好地实现苹果与背景的分离,后续操作中,经过腐蚀、膨胀等算法的进一步处理后,得到了更加理想的效果.     

基于实例分割和光流计算的死兔识别模型研究

为实现自动化识别死兔,提高养殖管理效率,以笼养生长兔为研究对象,以基于优化Mask RCNN的实例分割网络和基于LiteFlowNet的光流计算网络为研究方法,构建了一种多目标背景下基于视频关键帧的死兔识别模型.该模型的实例分割网络以ResNet 50残差网络为主干,结合PointRend算法实现目标轮廓边缘的精确提取...     

苹果采摘机器人目标果实快速跟踪识别方法

为了减少苹果采摘机器人采摘过程处理时间,对苹果采摘机器人目标果实的快速跟踪识别方法进行了研究。对基于R-G颜色特征的OTSU动态阈值分割方法进行首帧采集图像分割,采用图像中心原则确定要采摘的目标果实;利用所采集图像之间的信息关联性,在不断缩小图像处理区域的同时,采用经过加速优化改进的去均值归一化积相关模板匹配算法来跟踪识别后帧图像的目标果实,并进行不同阈值分割方法实现效果,不同灰度、亮度和对比度的匹配识别以及新旧方法识别时间对比试验,从而验证了所采用和设计方法的有效性;其中所设计跟踪识别方法的识别时间相比于原方法,减少36%。     

基于云计算技术的苹果采摘机器人系统

近年来,我国水果产业迎来快速发展期,苹果种植面积日益扩大,年产量明显增加,促使我国成为世界上最大的水果生产国家。水果进行种植过程中,成熟的水果采摘操作时必须消耗大量的时间和劳动力。由于进城务工人员日益增多,农村劳动力人口不断减少,此时劳动力成本有一定程度的增长,果农日常经营的成本也有所增加,因此智能采摘机器人顺势而生。为此,针对水果采摘机械研究的不足之处,提出了基于云计算的苹果采摘机器人系统,在机器人处于作业状态下设计了苹果采摘机器人软、硬件设计情况。为验证苹果采摘机器人的采摘效果,在果园中对其采摘性能展开试验,试验结果表明:所设计的采摘机器人运用视觉技术,能很好地克服气候环境等因素的影响,采摘作业中性能稳定,采摘效率高,值得在苹果生产地推广使用。     

夜间自然环境下荔枝采摘机器人识别技术

利用机器视觉实现自然环境下成熟荔枝的识别,对农业采摘机器人的研究与发展具有重要意义。本文首先设计了夜间图像采集的视觉系统,然后选取了白天和夜间两种自然环境下采集荔枝图像,分析了同一串荔枝在白天自然光照与夜间LED光照下的颜色数据,确定了YIQ颜色模型进行夜间荔枝果实识别的可行性。首先选择夜间荔枝图像的I分量图,利用Otsu算法分割图像去除背景,然后使用模糊C均值聚类算法分割果实和果梗图像,得到荔枝果实图像;再利用Hough圆拟合方法检测出图像中的各个荔枝果实。荔枝识别试验结果表明:夜间荔枝图像识别的正确率为95.3%,识别算法运行的平均时间为0.46 s。研究表明,该算法对夜间荔枝的识别有较好的准确性和实时性,为荔枝采摘机器人的视觉定位方法提供了技术支持。