基于双目相机与改进YOLOv3算法的果园行人检测与定位

针对复杂果园环境中行人难以精确检测并定位的问题,提出了一种双目相机结合改进YOLOv3目标检测算法的行人障碍物检测和定位方法。该方法采用ZED双目相机采集左右视图,通过视差原理获取图像像素点的距离信息;将双目相机一侧的RGB图像作为用树形特征融合模块改进的YOLOv3算法的输入,得到行人障碍物在图像中的位置信息,结合双目相机获得的像素位置信息计算出相对于相机的三维坐标。用卡耐基梅隆大学国家机器人工程中心开放的果园行人检测数据集测试改进的YOLOv3算法,结果表明,准确率和召回率分别达到95.34%和91.52%,高于原模型的94.86%和90.19%,检测速度达到30.26 f/ms。行人检测与定位试验表明,行人障碍物的定位在深度距离方向平均相对误差为1.65%,最大相对误差为3.80%。该方法具有快速性和准确性,可以较好地实现果园环境中的行人检测与定位,为无人驾驶农机的避障决策提供依据。     

基于双目立体视觉的植株生长状态无损监测方法的研究

基于双目立体视觉的植物生长状态无损测量方法研究,能快速地对植株生长进行无损监测,尤其能准确测量倾斜生长的植株高度,对于农业工程研究有重要意义。本研究在实验室搭建计算机双目立体视觉平台,对大豆植株生长进行无损监测。由于植物的形态与生长条件限制,双相机光轴与基线的夹角未能构成最佳双目测量系统,因此本研究对双目立体视觉平台本身的精度进行了校验。利用VC＋＋6.0编制的图像分析处理软件,结合界跟踪算法与斜率计算对植株的顶芽进行识别,能取得很好的效果。研究表明,实验表明双目立体视觉可应用于植物无损监测,具有广阔的应用前景。     

基于改进SSD卷积神经网络的苹果定位与分级方法

为实现苹果果径与果形快速准确自动化分级,提出了基于改进型SSD卷积神经网络的苹果定位与分级算法。深度图像与两通道图像融合提高苹果分级效率,即对从顶部获取的苹果RGB图像进行通道分离,并提取分离通道中影响苹果识别精度最大的两个通道与基于ZED双目立体相机从苹果顶部获取的苹果部分深度图像进行融合,在融合图像中计算苹果的纵径相关信息,实现了基于顶部融合图像的多个苹果果形分级和信息输出;使用深度可分离卷积模块替换原SSD网络主干特征提取网络中部分标准卷积,实现了网络的轻量化。经过训练的算法在验证集下的识别召回率、精确率、mAP和F1值分别为93.68%、94.89%、98.37%和94.25%。通过对比分析了4种输入层识别精确率的差异,实验结果表明输入层的图像通道组合为DGB时对苹果的识别与分级mAP最高。在使用相同输入层的情况下,比较原SSD、Faster R-CNN与YOLO v5算法在不同果实数目下对苹果的实际识别定位与分级效果,并以mAP为评估值,实验结果表明改进型SSD在密集苹果的mAP与原SSD相当,比Faster R-CNN高1.33个百分点,比YOLO v5高14.23个百分点...     

基于Kinect相机的穴盘苗生长过程无损监测方法

为实现工厂化穴盘苗的无损测量,提出一种基于Kinect相机的穴盘苗生长过程无损监测方法。以黄瓜穴盘苗为监测对象,在穴盘苗正上方架设Kinect相机,获取穴盘苗的彩色图像和深度图像,并进行彩色图和深度图之间的像素匹配;通过对彩色图像进行预处理、阈值分割、形态学运算和连通分量统计,获取穴盘发芽率;同时,由图像分割获取的幼苗轮廓和深度值计算得到叶片中心像素点坐标及其对应的深度,以此得到相机到幼苗叶片中心的高度,结合相机到穴盘格的距离和穴盘高度,实现对穴盘苗株高的监测;将深度图像进行直通滤波、条件滤波、边界保持滤波处理,有效去除穴盘苗周围的背景噪声以及波动幅度大的深度数据,获得幼苗叶片中像素点的有效深度,通过在深度图像中对叶片进行重建实现叶面积分析;基于获取的穴盘苗株高和叶面积建立壮苗指数评价模型。利用穴盘苗生长过程监测数据进行实验验证,结果表明,在发芽后5 d内,发芽率误差不大于1.567%;株高和实际株高之间的拟合优度R²为0.875,RMSE为1.395 mm;叶面积平均误差为2.15%;壮苗指数拟合优度R²为0.958。说明本文设计的穴盘苗监测方法可以实现对穴盘苗的发芽率、株高、叶面积和壮苗指数的无损监测,为工厂化穴盘苗生长过程监测提供了有效的解决方案。     

基于双目视觉的树木图像测距方法

研究了双目视觉技术在智能对靶喷雾中的应用;试验中运用平行光轴的摄像机采集图像,通过寻找树木图像中特征点的方式将两幅图像进行匹配,解决相似性问题;再计算出目标树木到摄像头的距离及其误差,试验的平均偏差率在8%以内;运用该方法能达到智能喷雾中控制施药量的目的,提高精确智能对靶施药效率。     

基于多维特征数据库的玉米长势自动监测车辆设计

为了提高农作物长势预测的精度和实时性,提出了一种新的基于双目立体视觉的玉米长势自动化监测车辆,并将图像多维重构技术引入到了车辆的设计中,采用自主导航技术在无需人员进入农田的情况下,实现了玉米长势的智能远程监控。为了解决玉米叶面积采集特征数据的冗余导致信息处理速度不高的问题,提出了改进的LPP的降维方法,并对算法进行了验证。测试结果表明:采用LPP算法,能够完成对作物多维特征信息的优化降维,具有较高的实用性和准确性。对玉米长势自动化监测车辆的性能进行了测试,对生物量的预测结果表明:采用监测车辆生物量反演模型得到的长势预测量和实测量的误差较小,从而验证了监测车辆设计的可行性。     

苹果采摘机器人目标识别与定位方法研究

【目的】在算力资源有限的嵌入式设备上对目标苹果进行快速、准确的识别与定位。【方法】研究小组对采摘机器人的目标识别与定位方法进行研究,以YOLOv4网络模型为基础,对YOLOv4进行轻量化改进,使用MobileNet V3作为特征提取的主干网络,减少模型的计算量,并结合ZED双目相机与定位算法在嵌入式平台上进行实验。【结果】实验表明：1）在目标识别方面,改进后模型的平均检测精度为87.32%,模型的大小为53.76 MB,较改进前降低了79%。2）采用ZED相机结合测距算法进行了苹果目标定位实验,ZED双目相机的测距误差可控制在0.02 m以内,同时改进的YOLOv4算法的平均检测速度在15FPS左右。【结论】改进后的YOLOv4网络模型更适合部署在算力有限的嵌入式设备中进行苹果采摘任务,且能够满足苹果采摘任务的实时性要求。因此,该方法可以为苹果采摘机器人的识别与定位提供技术参考。     

玉米叶片生长状态的双目立体视觉监测技术

研究了使用双目立体视觉技术监测玉米叶片运动的可行性,视觉监测系统包括一个能够垂直升降和水平移动的支架,用于支撑双目相机连续监测被试样品。采用白色荧光小球作为标志物,简化图像算法的同时增加了三维坐标测量精度。图像处理过程中采用亚像素边缘检测算法,有效地提高了立体匹配的精度。仿真实验结果表明,系统测量误差可达0.0139 cm,能够检测叶片微小的位置变化。     

基于RGB-D相机的果树三维重构与果实识别定位

为实现对果园果实机器人采摘提供科学可靠的技术指导,提出了一种基于RGB-D相机的苹果果树三维重构以及进行果实立体识别与定位的方法。使用RGB-D相机快速获取自然光照条件下果树的彩色图像和深度图像,通过融合果树图像彩色信息和深度信息实现了果树的三维重构;对果树的三维点云进行 R-G 的色差阈值分割和滤波去噪处理,获得果实区域的点云信息;基于随机采样一致性的点云分割方法对果实点云进行三维球体形状提取,得到每个果实质心的三维空间位置信息和果实半径。实验结果表明,提出的果树三维重构和果实立体识别与定位方法具有较强的实时性和鲁棒性,在0.8~2.0 m测量范围内,顺光和逆光环境中果实正确识别率分别达95.5%和88.5%;在果实拍摄面的点云区域被遮挡面积超过50%的情况下正确识别率达87.4%;果实平均深度定位偏差为8.1 mm;果实平均半径偏差为4.5 mm。     

农业采摘机器人视觉感知关键技术研究

为了提高农业机器人在复杂野外环境下采摘油茶果的速度和准确性,针对机器人视觉感知的关键技术,设计了一种农业机器人果实检测、定位和采摘系统。首先,使用双目相机采集油茶果的左右图像;然后,应用先进的目标检测网络YOLOv4-tiny检测出左右图像中的油茶果;再次,不同于传统的双目相机图像的立体匹配技术,根据YOLOv4-tiny网络生成的预测框提取出油茶果图像的感兴趣区域,并根据预测框的生成机制自适应地进行立体匹配以求解出视差,为后续使用三角测量原理求出油茶果采摘点提供参考;最后,使用基于Eye-in-Hand手眼标定的农业机器人进行采摘试验,验证了本研究的可行性和准确性。试验结果表明：YOLOv4-tiny网络能够精确和实时地检测油茶果,提出的定位方法满足采摘机器人的应用需求,验证了本研究的可行性和准确性。研究可为果园环境中作业的农业采摘机器人视觉感知关键技术提供参考。     

基于深度图像和神经网络的拖拉机识别与定位方法

针对多机协同导航作业中本机前方的拖拉机识别精度低、相对定位困难，难以保障自主作业安全的问题，提出了一种基于深度图像和神经网络的拖拉机识别与定位方法。该方法通过建立YOLO-ZED神经网络识别模型，识别并提取拖拉机特征；运用双目定位原理计算拖拉机相对本机的空间位置坐标。对拖拉机进行定点识别与定位试验，分别沿着拖拉机纵向、宽度方向和S形曲线方向测量拖拉机的识别与定位结果。试验结果表明：本文方法能够在3~10m景深范围内快速、准确地识别并定位拖拉机的空间位置，平均识别定位速度为19f/s；在相机景深方向和宽度方向定位拖拉机的最大绝对误差分别为0.720m和0.090m，最大相对误差分别为7.48%和8.00%，标准差均小于0.030m，能够满足多机协同导航作业对拖拉机目标识别的精度和速度要求。     

基于双目视觉的汽车缝隙尺寸检测技术研究

为了实现对汽车表面缝隙尺寸的快速检测以保证整车的使用性能,提出了一种基于最小外接矩形的缝隙尺寸检测方法.对双目相机进行标定并获取缝隙图像之后,对缝隙图像进行去噪、边缘检测的预处理,通过最小外接矩形定位缝隙并进行固定点匹配,使用最小二乘法实现对特征点的三维重建,最终实现了对汽车表面缝隙尺寸的检测.以大众汽车的车身缝隙为检...     

基于视觉测量的茶叶嫩芽定位方法研究

针对目前名优茶采摘效率低以及名优茶的采摘具有较强的时效性等问题,提出用双目摄像头定位茶叶嫩芽,以此推动自动化采茶设备的研发。采用双目立体视觉技术获取茶叶嫩芽的三维坐标信息,用于引导采摘机械臂进行自动化采摘作业。试验以茶园中的茶树为研究对象,根据SGBM算法获得一幅视差图像。然后通过OpenCV中reprojectImageTo3D函数得到深度图像,最后对照左摄像机中嫩芽形心在深度图像中的位置,获取茶叶嫩芽的三维坐标信息。实验结果表明,所采用的方案能够较为精确地定位出茶叶三维立体坐标,为后续自主采茶机器人的研发提供了技术支持。     

田间背景下小麦叶尖生长点提取

采用机器视觉可以实时监测作物长势,然而由于受到复杂背景和变化光照的影响,田间小麦图像叶尖生长点提取难度较大,因此本文提出一种基于深度信息进行区域生长来分割图像并提取小麦叶尖生长点的图像处理方法。首先,根据作物颜色特征去除背景,采用Canny算子检测小麦边缘,然后通过双目视觉技术,获取视差图;然后根据深度信息赋予不同的灰度值,并通过灰度阈值分割仅保留前排小麦深度图,以前排小麦深度图为种子点进行区域生长,得到前排小麦图像;最后检测小麦深度图叶尖,并将其作为初始位置,查找彩色图像前排小麦真实叶尖。结果表明该方法提取准确率为75%,能有效克服复杂背景和纹理的影响,满足应用需求,为植株生长监测提供技术支撑。     

基于改进YOLACT的果树叶墙区域实时检测方法

为了解决果园因农药过量使用导致的环境污染与农药浪费问题,提出了一种基于改进YOLACT的果树叶墙区域(Leaf wall area, LWA)实时检测方法,用于计算深度-彩色双目相机采集视频中的叶墙区域距离及密度,为果园农药智慧喷施作业中农药喷洒剂量与喷洒距离的实时调整提供依据。首先,使用ConvNeXt主干网络改进了YOLACT模型,并引入NAM通道注意力机制对模型进行了优化;其次,提出了基于深度学习的果树叶墙密度检测方法;最后,通过阈值法排除深度图像中的干扰信息,简化了果树叶墙平均距离计算方法的处理流程。实验结果表明,改进YOLACT模型分割的AP_all为91.6%,相较于原始模型上升3.0个百分点,与YOLACT++、Mask R-CNN和QueryInst模型相比分别高2.9、1.2、4.1个百分点;叶墙密度估计算法在叶墙顶部、中部和底部的均方根误差(Root mean square error, RMSE)分别为1.49%、0.82%、2.20%;叶墙区域实时检测方法的处理速度可达29.96 f/s。     

基于立体视觉技术的多种农田障碍物检测方法

从摄像机标定、图像获取、双目校正、立体匹配、深度计算等方面研究多种农田障碍物检测方法,分别用Bouguet算法进行立体校正、用区域匹配方法获取视差图、用三角测量方法计算障碍物的深度,获取了不同环境下的5种障碍物及其位置信息,并使用计算机视觉函数库OpenCV,提高了算法的实时性。试验表明:障碍物与摄像机的距离小于2 000 mm时,准确识别率在96%以上,深度的绝对误差在±30 mm内(即相对误差在1.5%以下),且完成一次障碍物检测的时间小于100 ms。     

基于关键帧提取与头颈部去除的奶牛体尺测量方法

为提高奶牛体尺测量的效率与精度,降低劳动强度,提出一种基于关键帧提取与头颈部去除的奶牛体尺测量方法。首先,搭建奶牛俯视深度视频采集平台,利用分水岭算法提取深度图像中的奶牛目标;其次,使用图像扫描策略获取奶牛左右两侧轮廓,利用基于霍夫变换的直线检测方法,提取图像序列中含有完整奶牛躯干的关键帧;然后,根据奶牛头部区域骨架特征判定头部是否存在,若头部存在,则基于凸包分析方法去除图像中奶牛头部,并利用多项式曲线拟合方法去除奶牛颈部;最后,根据奶牛体尺测点的空间特征,自动计算奶牛体直长、肩宽、腹宽、臀宽及体高。利用35头奶牛的2.163帧深度图像对本文方法精度进行测试,结果分析表明,关键帧提取方法准确率为97.36%,可有效代替人工进行关键帧的选取;头部检测方法准确率为94.04%,提高了奶牛体尺测点定位的效率;体尺测量平均相对误差在3.3%以内。本文研究成果可提高奶牛体尺自动测量的效率与精度。     

基于深度双目视觉处理的智能采摘机器人设计

针对采摘机器人对果蔬的位置定位不够准确、无法准确避障,导致采摘效率较低的问题基于深度双目视觉处理对智能采摘机器人进行了设计。智能采摘机器人的主要组成包括PLC控制器、视觉系统、移动平台、导航系统、机械臂、通信系统和电源。为了对采摘机器人的机械臂进行最优路径规划并避障,通过对采集的图像进行预处理后,利用双目视觉系统对果蔬进行精准定位,然后采用哈夫变换直线检测的方法进行最优路径的设计和选择,最终确定最优采摘路径。对采摘机器人进行运动轨迹精度试验和采摘试验,结果表明：采摘机器人对果蔬的采摘成功率较高,可以满足果农对于采摘机器人的要求。     

基于激光视觉的智能识别苹果采摘机器人设计

为了提高苹果采摘视觉识别系统的精度,增强视觉系统的抗干扰能力和自适应能力,设计了一种新的苹果采摘机器人激光视觉识别系统,可以直接获得层次关系的深度图像,实现了果园非结构化环境中果实的识别与定位。为了测试激光识别系统苹果采摘机器人的采摘效果,在果园中对其采摘性能进行了测试:首先采用高清相机完成了对果实图像的采集,通过图像处理准确地实现了苹果的识别,在遮挡率低于50%时其识别率达到了90%以上;然后利用激光测距方法对苹果进行距离测量,成功定位了果实位置,其响应时间仅为3.58s,动作效率快,实现了苹果的高效率、高精度采摘功能。     

基于机器视觉技术的整地机械智能化控制研究

为了提高农田整地效率、减少资源浪费以及改善土壤质量,该研究通过对整地机械在田间工作过程的分析,基于机器视觉技术,利用高分辨率的摄像设备对整地区域进行图像采集与分析,获取土壤质量、杂草分布等信息,同时借助图像处理与模式识别技术,对图像数据进行处理和分析,实现对植物区域、土壤区域和杂草区域的识别与定位,将识别得到的信息与预先设定的整地参数相结合,自动调整整地机械工作模式、深度和速度,以实现精准的整地操作。通过在实际农田环境中的试验验证,证明了基于机器视觉技术的整地机械智能化控制在提高整地效率、降低能耗、改善土壤质量等方面的显著效果。