基于机器视觉的紧固套缺陷检测方法估计

针对紧固套缺陷检测中人工检测效率低等问题,设计了基于机器视觉的紧固套缺陷检测方法.首先根据紧固套的特点搭建了图像采集平台,突出缺陷特征;然后基于Halcon设计了相应的缺陷检测方法:先通过模板匹配的方法对检测区域定位;再使用基于频域图像差分的方法抑制干扰,突显缺陷特征;然后使用改进的动态阈值法得到缺陷备选图;最后使用面...     

基于机器视觉的对靶喷雾系统时延估计方法研究

对靶喷雾系统中的时延估计是关系到整个系统实际喷雾命中率的关键问题。首先对经典的机载对靶喷雾模型进行了分析,总结出理论上机载设备长度、硬件延时、算法耗时、农机运行速度和理论对靶精确度之间的关系;然后,在此基础上提出了一套基于双目机器视觉的核心速度测算方法,并设计了喷雾时延估计模型;最后,通过搭建完整软硬件实验平台实现了对算法的有效性验证。实验结果表明:该算法可以在常用的基于机器视觉的农机装备中实现准确的常规对靶喷雾时延估计。     

基于图像识别的无人机导航系统设计

无人机提高了农业生产效率,但作业性能受各方面因素的影响,而导航能力是重点关注的内容.图像识别技术通过分析图像中的大量信息来辨识目标,可以提高无人机的自动导航能力.固定翼无人机在飞行速度和高度上具有优势,进行农业信息监测和保险勘察时效率更高,但精准导航的难度较大.为此,设计了一个基于图像识别的无人机导航系统,以固定翼的航...     

农用四旋翼飞行器避障系统设计 —基于机器视觉和无线定位

在地形复杂的区域,为了提高农林植保的作业效率,提高作业过程的安全性,四旋翼飞行器被应用到了农业生产作业过程中.为了提高四旋翼飞行器的自主导航水平,将机器视觉技术和无线定位技术引入到了飞行器控制系统的设计上,通过两种定位方式的联合,有效提高了飞行器导航精度.采用软件仿真的方式对避障系统进行了测试,测试过程中设置了多种障碍...     

基于机器视觉的无人机油菜长势调查研究

精准农业以实时准确地获得作物生长信息为前提,可精确调控各种环境因素,促进农业物资合理利用和实现高产。在各种生长信息中,作物长势相关的参数是研究的重点。基于无人机的作物长势调查能够适应农田的复杂环境,在作业效率和降低成本上也有明显的优势。为此,开发了基于机器视觉的油菜长势调查方法,利用无人机搭载数码相机拍摄油菜图像,经过机器视觉分析处理后区分不同生育时期的油菜。以H分量值作为与生物量相关的特征参数,用于反映油菜的长势。在实际的应用中,建模样本的H值与实测生物量之间存在极显著的相关性,建立的模型准确计算出检验样本的生物量,为油菜的长势调查和产量预测提供了依据。     

基于人体姿态估计与场景交互的果园喷施行为检测方法

果园农药施用情况是果品质量安全的重要检验标准,农药喷施行为的可靠记录是果品溯源体系的重要环节。针对我国目前常见的果品种植专业合作社中难以确切掌握农药施用真实情况的问题,本研究提出了一种基于人体姿态估计与场景交互的果园背负式喷施行为检测方法。首先采用微调后的YOLO v5模型完成背负式喷雾器与果树目标的精确检测,提取场景交互特征;之后采用OpenPose模型识别喷施人员姿态及动作信息,提取人体姿态特征;最后对上述特征分别进行距离和角度计算,将其融合为11 244组特征向量并使用优化后的支持向量机(Support vector machine, SVM)进行训练,完成果园喷施行为的准确检测。为了验证算法的有效性,对包含不同光照、不同距离、不同人数和不同遮挡程度等的92段视频进行了测试。试验结果表明,该算法的准确度为85.66%,平均绝对误差为42.53%,均方根误差为44.59%,预测标准偏差为44.34%,以及性能偏差比为1.56。同时,本研究对不同光照、遮挡、距离变化和多人中单人喷施情况下的果园喷施行为识别的有效性进行了分析。试验结果表明,将该模型用于果园喷施行为的检测是可行的,本研究...     

农业植保多旋翼无人机飞行控制系统设计

【目的】为了确保农业植保无人机能够在合适的位置喷洒农药,提高控制精度、作业效率并降低成本,有必要对多旋翼无人机的飞行控制系统进行优化设计。【方法】本研究团队以STM32F428IGT6芯片为核心,设计了农业植保多旋翼无人机飞行控制系统。首先概述了无人机飞行控制系统的整体架构,该飞控系统由主控系统、惯性测量单元、喷洒系统、空速测量系统等构成。其次,详细分析了无人机飞行控制系统的电源供电系统设计、通信设计、传感器选择、喷洒系统设计等硬件设计。最后,阐述了无人机飞行控制系统的算法设计,主要包括无人机姿态解算和PID控制算法,并介绍了该系统应用优势。【结果】该系统各模块之间执行SPI和CAN总线协议,可以将传感器实时采集的高度、速度、偏航角等参数传输到主控系统中,利用MCU芯片完成参数的分析处理,在此基础上发出新的调控指令,让多旋翼无人机沿着既定航线飞行,在到达特定位置后启动喷洒系统并完成喷药作业。【结论】该系统能让无人机在合适位置喷洒农药,达到远程控制、自动作业的效果,提高了植保作业效率,有利于促进现代农业机械化高质量发展。     

基于机器视觉的母猪分娩检测方法研究

检测母猪分娩需对分娩限位栏内的仔猪进行目标识别,分析了母猪分娩视频图像特征,提出首先利用半圆匹配算法进行母猪目标分割,排除母猪运动干扰,基于改进的单高斯模型的背景减除法进行运动目标检测,根据运动区域的颜色和面积特征,对仔猪进行目标识别。试验表明:基于半圆匹配算法的母猪目标识别方法能够有效分割出母猪目标,基于改进单高斯模型的运动目标检测方法,对面积较大、运动缓慢的仔猪目标检测较为完整,适用于母猪分娩检测场景。     

多旋翼无人机旋翼下方风场对航空喷施雾滴沉积的影响

风场是影响航空喷施雾滴沉积分布特性的重要因素之一。为了揭示多旋翼无人机旋翼下方风场对雾滴沉积分布的影响机理,通过无人机旋翼风场测量系统测量多旋翼电动无人机旋翼下方的风场分布,同时结合航空喷施雾滴在水稻冠层的沉积情况,分析旋翼下方X、Y、Z 3个方向的风场对雾滴沉积分布的影响,并对试验结果进行了方差分析和回归分析。结果表明:在无人机旋翼下方3向风场中,X和Y向风速对有效喷幅区内雾滴沉积量的影响不显著,Z向风速的影响极显著;X向风速对有效喷幅区内雾滴沉积穿透性的影响不显著,Y和Z向风速的影响分别为显著和极显著;X和Y向风速对雾滴沉积飘移的影响均不显著,Z向风场的影响显著;且当水平方向上X、Y向风速峰值越小、垂直方向上Z向风速峰值越大时,雾滴沉积均匀性越好,最佳值达到36.44%。另外,有效喷幅区内雾滴沉积量与因素Z向风速之间的回归模型及有效喷幅区内雾滴沉积穿透性与因素Y和Z向风速之间的回归模型的决定系数R~2分别为0.868和0.842,表明模型可以为实际作业提供指导。     

基于旋翼无人机的农业低空高光谱遥感技术研究

低空高光谱遥感技术是一种新型技术,其可以搭载在旋翼无人机平台之上,被广泛应用于农业领域中,以实现对大面积农作物光谱信息进行精确和实时的快速检测。但由于其建立的统计模型主要是将地物光谱信息和卫星遥感影像数据直接结合,导致模型的精度容易受到一些外在因素的影响,如时间、地点、对象、图谱的特异性等,使其在现代化农业发展中还难以实现有效推广。基于此,笔者围绕低空高光谱遥感技术在农业方面的应用展开研究。研究结果表明,运用无人机低空高光谱遥感技术,能够更为方便和快捷地收集农作物信息数据,掌握各种农作物的生长情况,能够减少实际成本,有效克服传统航天技术存在的相应问题,极大地促进了现代农业的发展。     

基于实例分割的番茄串视觉定位与采摘姿态估算方法

准确识别定位采摘点,根据果梗方向,确定合适的采摘姿态,是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂,果实颜色、形状各异,果梗姿态多样,叶子藤枝干扰等因素,降低了采摘点识别准确率和采摘成功率。针对这个问题,考虑番茄串生长特性,提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制,保证番茄串和果梗感兴趣区域(Region of interest, ROI)、掩膜质量和可靠性,实现果梗粗分割;通过果梗掩膜信息和ROI位置关系匹配可采摘果梗,基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割;再通过果梗深度信息填补法与深度信息融合,精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态,并根据果梗姿态确定适合采摘的末端执行器姿态,引导机械臂完成采摘。研究和大量现场试验结果表明,提出的方法在复杂采摘环境中具有较高的定位精度和稳定性,对4个品种的番茄串采摘点平均识别成功率为98.07%,图像分辨率为1 280像素×720像素时算法处理速率达到21 f/s,采摘点图像坐标最大定位误差为3像素...     

基于信息融合描述子的机器人复杂场景位姿估计算法

传统机器人V-SLAM前端定位算法是基于人工设定的特征点提取和描述子局部匹配进行定位的,由于人工设定的主观性会导致提取方法鲁棒性差、复杂场景适应能力弱(场景明亮变化、噪声的引入、运动模糊)以及局部描述子匹配精度低等问题,为此,提出一种前端定位算法(SuperPoint Brief and K-means visual location, SBK-VL),该算法首先采用一种改进的概率p-SuperPoint深度学习算法提取特征点,以解决特征点鲁棒性低、复杂场景适应力弱的问题。其次提出一种全局信息(特征点聚类)和局部信息(Brief描述子)相结合的复合描述子,降低传统描述子误匹配及匹配精度低的问题,实验结果显示该复合描述子的平均匹配正确率为92.71%。最后将该SBK-VL替换ORB-SLAM2的前端,引入一种Ransac随机抽样方法对位姿进行检验,并使用绝对轨迹误差、相对轨迹误差、平均跟踪时间与ORB-SLAM2算法和GCNv2-SLAM算法进行比较。实验结果表明,本文算法具有更好的均衡性能,一方面可提升经典V-SLAM算法的复杂场景适应性和估计精度,另一方面相比传统深度学习SLAM算法具有更好的实时性和更低计算成本。     

果园机器人视觉导航行间位姿估计与果树目标定位方法

针对单目视觉导航中位姿信息不完整和果树定位精度低的问题,提出基于实例分割神经网络的偏航角、横向偏移、果树位置计算方法。首先,基于Mask R-CNN模型识别并分割道路与树干;其次,寻找道路掩码凸包并进行霍夫变换,由凸包中的边界方程计算消失点坐标;最后,根据建立的位姿-道路成像几何模型,计算偏航角、横向偏移与果树相对位置。实验结果表明：改进Mask R-CNN模型的边框回归平均精确度为0.564,分割平均精确度为0.559,平均推理时间为110 ms。基于本文方法的偏航角估计误差为2.91%、横向偏移误差为4.82%,果树横向定位误差为3.80%,纵向误差为2.65%。该方法能在不同位姿稳定地提取道路与果树掩码、计算消失点坐标与边界方程,较准确地估计偏航角、横向位移和果树相对位置,为果园环境下的视觉自主导航提供有效参考。     

基于改进U-Net的火龙果采摘图像分割和姿态估计方法

为了实现火龙果采收自动化作业,提出一种基于改进U-Net的火龙果图像分割和姿态估计方法。首先,在U-Net模型的跳跃连接(编码器与解码器部分特征图进行的连接操作)中引入通道和空间注意力机制模块(Concurrent spatial and channel squeeze and channel excitation, SCSE),同时将SCSE模块集成到残差模块(Double residual block, DRB)中,在增强网络提取有效特征能力的同时提高网络的收敛速度,得到一种基于注意力残差U-Net的火龙果图像分割网络。通过该网络分割出果实及其附生枝条的掩膜图像,利用图像处理技术和相机成像模型拟合出果实及其附生枝条的轮廓、果实质心、果实最小外接矩形框和三维边界框,进而结合果实及其附生枝条的位置关系进行火龙果三维姿态估计,并在火龙果种植园中获得一个测试集,以评价该算法的性能,最后在自然果园环境下进行实地采摘试验。试验结果表明,火龙果果实图像分割平均交并比(mIoU)和平均像素准确率(mPA)分别达到86.69%和93.89%,三维姿态估计平均误差为8.8°,火龙果采摘机器人在果园环境...     

基于无人机高光谱遥感与机器学习的小麦品系产量估测研究

为快速、准确地估测小麦产量,有效提高育种工作效率,本文以小麦品系为研究对象,收集小麦灌浆期无人机高光谱数据和产量数据。首先基于递归特征消除法筛选出特征波长作为模型输入变量,然后利用岭回归（Ridge regression,RR）、偏最小二乘回归（Partial least squares regression,PLS）、多元线性回归（Multiple linear regression,MLR）3种线性算法和随机森林（Random forest,RF）、梯度提升回归（Gradient boosting regression,GBR）、极限梯度提升（eXtreme gradient boosting,XGB）、高斯过程回归（Gaussian process regression,GPR）、支持向量回归（Support vector regression,SVR）、K最邻近算法（K-nearest neighbor,KNN）6种非线性算法构建单一算法产量估测模型并进行精度比较,最后基于Stacking算法构建多模型集成组合,筛选最佳集成模型。结果表明,基于不同算法的产量估测模型精度差异显著,非线性模型优于线性模型,基于GBR的产量估测模型在单一模型中表现最优,训练集R2为0.72,RMSE为534.49kg/hm2,NRMSE为11.10%,测试集R2为0.60,RMSE为628.73kg/hm2,NRMSE为13.88%。基于Stacking算法构建的集成模型性能与初级模型和次级模型的选择密切相关,以KNN、RR、SVR为初级模型组合,GBR为次级模型的集成模型有效提高了估测精度,相比单一模型GBR,训练集R2提高1.39%,测试集R2提高3.33%。本研究可为基于高光谱技术的小麦品系产量估测提供应用参考。     

基于无人机多维数据集的森林地上生物量估测模型研究

森林地上生物量（Aboveground biomass,AGB）是评价森林生长情况的重要指标。基于数字航空摄影（Digital aerial photography,DAP）生成的二维和三维数据,分别计算了41个点云高度变量和16个可见光植被指数,利用6种回归算法（随机森林（RF）、袋装树（BT）、支持向量回归（SVR）、Cubist、类别型特征提升（CatBoost）、极端梯度提升（XGBoost））分别构建了单一变量集和综合变量集AGB估测模型,探索了不同变量对于AGB估测模型的贡献。研究结果表明光谱数据集和点云数据集AGB预测模型精度最高分别为Cubist和XGBoost,R2分别为0.5309和0.6395。组合数据集最高精度模型为XGBoost,R2达到0.7601, XGBoost模型具有更高的AGB估测稳定性。研究还表明6种机器学习模型的贡献主要取决于所考虑的回归方法,所选择的特征个数和特征对模型的重要性在不同的模型中并不一致。DOM光谱特征在AGB的估测中具有更高的重要性。总体来说,二维和三维数据的结合能够有效提高森林AGB估测精度,基于无人机倾斜摄影获取的RGB影像能够实现森林AGB的快速无损估计。