复杂背景下果园视觉导航路径提取算法

为解决果园视觉导航机器人行间自主行进和调头问题,提出了基于Mask R-CNN的导航线提取方法和基于随机采样一致性(Random sample consensus, RANSAC)算法的树行线提取方法。首先,基于Mask R-CNN模型对道路与树干进行识别,提取道路分割掩码和树干边界框坐标;其次,在生成行间导航线的基础上,采用改进RANSAC算法提取前排树行线;然后,计算树干边界框坐标点到前排行线的距离,筛选后排树干坐标点,采用最小二乘法拟合生成后排树行线;最后,通过分析前后排树行信息判断调头方向,结合本文提出的行末端距离计算与调头路径规划方法,规划车辆的调头路线。实验结果表明：在不同光照、杂草、天气环境下的6种果园场景中,模型的平均分割精度和边界框检测精度都为97.0%,导航目标点提取的平均偏差不超过5.3%,树行线检测准确率不低于87%,调头后车辆距道路中心的平均偏差为7.8 cm,可为果园环境下的视觉自主导航提供有效参考。     

基于无人机遥感与植被指数的冬小麦覆盖度提取方法

基于开源飞控Pixhawk开发了一套集成稳定云台、位置与姿态系统(Position and orientation system,POS)数据采集模块的无人机多光谱遥感图像采集系统,同步采集520~920 nm范围内的红、绿和近红外波段信息。以冬小麦为例,分别在越冬期、拔节期、挑旗期和抽穗期进行飞行实验,飞行高度55 m,多光谱影像地面分辨率2.2 cm。采用监督分类与植被指数统计直方图相结合的方式,提出了一种田间尺度小麦覆盖度快速提取的方法,给出归一化植被指数(Normalized difference vegetation index,NDVI)、土壤调节植被指数(Soil-adjusted vegetation index,SAVI)及修正土壤调节植被指数(Modified soil-adjusted vegetation index,MSAVI)对应的植被像元与土壤像元的分类阈值,分别为0.475 6、0.705 6和0.635 0。同时利用基于同步采集的地面分辨率可达0.8 cm的高清可见光遥感图像提取了相应时期的冬小麦覆盖度参考值。结果表明,基于无人机多光谱遥感技术及植被指数法可以较好地提取冬小麦越冬期、拔节期、挑旗期和抽穗期的植被覆盖度信息。与SAVI、MSAVI相比,基于NDVI分类阈值的提取效果最好,绝对误差最小。     

基于纹理特征与植被指数融合的水稻含水量无人机遥感监测

含水量是表征水稻生理和健康状况的关键参数,精确预测水稻含水量对于水稻育种和大田精准管理具有重要意义。目前,利用无人机搭载光谱图像传感器监测作物生长的研究主要集中在利用植被指数评估作物在单一或者几个生育期的生长参数,针对作物含水量监测的研究非常有限。本研究主要利用多旋翼无人机低空遥感平台获取不同生育期水稻冠层的RGB图像和多光谱图像,通过提取植被指数和纹理特征,分析水稻的动态生长变化,并构建了基于随机森林回归方法的含水量预测模型。试验结果表明：（1）从无人机图像提取的植被指数、纹理特征以及地面测量的含水量都能用于监测水稻生长,并且这些参数随水稻生长呈现出了相似的动态变化趋势;（2）与RGB图像相比,多光谱图像评估水稻含水量具有更高的潜力,其中归一化光谱指数NDSI_771,611实现了更好的预测精度（R²=0.68,RMSEP=0.039,rRMSE =5.24%）;（3）融合植被指数和纹理特征能够进一步改善含水量的预测结果（R²=0.86,RMSEP=0.026,rRMSE=3.51%）,预测误差RMSEP分别减小了16.13%和18.75%。上述结果表明,基于无人机遥感技术监测水稻含水量是可行的,可为农田精准灌溉和田间管理决策提供新思路。     

基于面向对象分类的细小河流水体提取方法研究

以2010年8月和1986年8月横山县TM图像为基础数据源,获取精准水域分布信息并进行动态分析。对2期TM图像进行预处理;创建特征空间WFS,辅助土地利用现状图、地形图、水系图等专题图件进行叠加分析,在WFS中通过全局阈值分割分离出沟谷阴影、植被等背景地物信息,粗提水域分布信息;在此基础上进行LBV变换,并选取适宜尺度执行面向对象分割,优化目标对象识别区;执行SVM监督分类并组合数学形态学开、闭运算对初始全域水体信息提取结果的二值图像进行分类后处理,精确逼近各类水体的水陆界限;依据2期全域水体信息提取结果进行动态分析。结果表明,所用方法能完整、快速地提取出研究区各类型水体的分布信息,准确识别细小河流水体,显著减少对沟谷阴影等背景地物的误判,基本消除椒盐效应;1986年和2010年2期水体提取结果的制图精度和用户精度分别为0.921、0.875和0.913、0.862。     

基于改进AlexNet的广域复杂环境下遮挡猕猴桃目标识别

为了提高猕猴桃采摘机器人的工作效率和对猕猴桃复杂生长环境的适应性,识别广域复杂环境下相互遮挡的猕猴桃目标,采用Im-AlexNet为特征提取层的Faster R-CNN目标检测算法,通过迁移学习微调AlexNet网络,修改全连接层L6、L7的节点数为768和256,以解决晴天(白天逆光、侧逆光)、阴天及夜间补光条件下的广域复杂环境中猕猴桃因枝叶遮挡或部分果实重叠遮挡所导致的识别精度较低等问题。采集广域复杂环境中晴天逆光、晴天侧逆光、阴天和夜间补光条件下存在遮挡情况的4类样本图像共1 823幅,建立试验样本数据库进行训练并测试。试验结果表明:该方法对晴天逆光、晴天侧逆光、阴天和夜间补光条件下存在遮挡情况的图像识别精度为96. 00%,单幅图像识别时间约为1 s。在相同数据集下,Im-AlexNet网络识别精度比LeNet、AlexNet和VGG16 3种网络识别精度的平均值高出5. 74个百分点。说明该算法能够降低猕猴桃果实漏识别率和误识别率,提高了识别精度。该算法能够应用于猕猴桃采摘机器人对广域复杂环境下枝叶遮挡或部分果实重叠遮挡的准确识别。     

双通道近地遥感图像采集处理系

利用2CCD多光谱相机设计了近地遥感图像采集平台,同步获取小范围区域作物的可见光和NIR图像,通过图像处理技术从作物图像获得反射光谱信息.采集平台包括一个2CCD多光谱相机,两个采集盒,一台具有两个千兆网口的田间计算机.图像处理部分通过2GRB灰度化、中值滤波和Otsu二值化,从背景中分割出作物图像,结合作物原始R分量灰度图像,提取出作物红光图像平均灰度值,利用建立的灰度值与反射率的线性模型,计算得到作物红光波段的反射率.试验结果表明,图像采集平台工作稳定,利用图像处理方法提取的反射率与ASD光谱仪测量结果有较好相关性,为从作物冠层图像探测生长状况提供了理论依据.     

基于无人机多光谱影像和关键点检测的雪茄烟株数提取

为从无人机遥感影像中准确识别烟草,实现植株定位与计数,以雪茄烟草植株为研究对象,提出一种新的深度学习模型。区别于传统的利用检测框识别目标,本文模型利用少量的关键点学习烟草中心形态学特征,并采用轻量级的编、解码器从无人机遥感影像快速识别烟草并定位计数。首先,提出的模型针对烟草植物形态学特点,通过中心关键点标注的方法,使用高斯函数生成概率密度图,引入更多监督信息。其次,对比不同主干网络在模型中的效果,ResNet18作为主干网络时平均精度大于99.5%,精度和置信度都高于测试的其他主干网络。而MobileNetV2在CPU环境下达到运行效率最优,但平均置信度相对较低。使用损失函数Focal Loss与MSE Loss结合的Union Loss时,平均精度大于99.5%。最后,利用不同波段组合作为训练数据,对比结果发现使用红边波段更有助于模型快速收敛且能够很好地区分烟草和杂草。由于红边波段与植株冠层结构相关,使用红边、红、绿波段时平均精度达到99.6%。本文提出的深度学习模型能够准确地检测无人机遥感影像中的烟草,可为烟草的农情监测提供数据支持。     

基于无人机遥感与面向对象法的田间渠系分布信息提取

针对目前农田灌排系统识别研究中遥感影像分辨率不足,难以提取田间毛渠且对无水或少水灌排沟渠识别不足等问题,以内蒙古河套灌区磴口县坝塄村为研究区域,利用固定翼无人机搭载520~920 nm多光谱相机进行航拍试验,采用基于面向对象法的特征组合分层分类的提取方法对获取的高分辨率单幅多光谱影像数据进行解译,采用分割阈值为65、合并阈值为90的遥感影像最佳分割参数。利用含水田间毛渠和无水、少水田间毛渠在光谱、几何、空间关系等特征参量中表现出的与其它地物的特异性,建立不同分类层次的规则提取田间毛渠分布信息。提取结果表明,由于水体对近红外波段光谱的强烈吸收,含水毛渠提取效果很好,精度达到97.8%;无水、少水田间毛渠提取精度为75.7%。无人机遥感技术和面向对象法的特征组合分层分类方法为灌区田间渠系识别提供了一种新途径。     

基于多目视觉的田间导航线提取方法

【目的】目前导航线提取算法适用范围窄,且图像获取范围没有统一标准,直接应用到导航设备上会产生较大误差。【方法】课题组提出了一种基于多目视觉的田间导航线提取方法。首先,获取四个摄像头拍摄的不同视觉范围的田间图像,通过归一化超绿特征、最大类间方差法（Otsu）和形态学操作获取二值图,提取背景像素中点作为导航特征点;其次,通过神经网络算法建立坐标系转换模型,将导航特征点映射到同一地面坐标系,并对导航特征点进行融合;最后,由最小二乘法拟合导航线。此外,课题组利用该方法进行了5组田间实验,并对比了实验结果。【结果】在同一地面坐标系下,拟合后的导航线精度普遍高于单条导航线。【结论】该算法为农机设备自主导航提供了理论基础,为降低山区农业机器人自主导航误差提供了思路,对农机设备的自主导航具有重要意义。     

无人机遥感监测作物病虫害胁迫方法与最新研究进展

病虫害是作物生产面临的主要胁迫之一.近年来,随着无人机产业的快速发展,无人机农业遥感因其图像空间分辨率高、数据获取时效性强和成本低等特点,在作物病虫害胁迫监测应用中发挥了重要作用.本文首先介绍了利用无人机遥感监测作物病虫害胁迫的相关背景;其次对目前无人机遥感监测作物病虫害胁迫中的常用方法进行了概述,主要探讨无人机遥感监...     

基于颜色取样的苹果树枝干点云数据提取方法

为了快速提取苹果树冠层枝干三维点云数据,以不同生长时期苹果树冠层彩色点云数据为研究对象,提出了基于颜色取样的苹果树枝干点云数据提取方法。首先,提出了苹果树冠层彩色点云获取方法,利用Trimble TX8型地面三维激光扫描仪获取冠层点云数据,同轴全景摄像机获取彩色全景图,采用贴图方法着色点云数据;然后,提取全景图像苹果树冠层区域R、G、B颜色分量信息,根据其分布规律建立枝干部分自适应分割阈值,并根据颜色阈值删除冠层中非枝干部分彩色点云数据;最后,在Geomagic软件中经过封装—创建流形—编辑多边形—填充孔—光滑等一系列操作重建枝干三维模型。苹果树提取枝干点云数据实验结果表明,本文方法点云删除率为75. 74%,相对于人工枝干点云数据提取,侧枝数量平均准确率为93. 34%,效率提高200倍以上,大大缩短了冠层枝干三维重建时间。本研究成果可为有叶苹果树枝干动力学模型建立提供技术基础。     

基于图像识别的无人机导航系统设计

无人机提高了农业生产效率,但作业性能受各方面因素的影响,而导航能力是重点关注的内容.图像识别技术通过分析图像中的大量信息来辨识目标,可以提高无人机的自动导航能力.固定翼无人机在飞行速度和高度上具有优势,进行农业信息监测和保险勘察时效率更高,但精准导航的难度较大.为此,设计了一个基于图像识别的无人机导航系统,以固定翼的航...     

基于改进Linknet网络的黄土高原苹果园精准提取

黄土高原近20年来苹果栽植面积迅猛增加,对区域生态水文和社会经济发展均产生了重要影响。但该区域果园地块小且场景复杂,仅有县/市尺度统计数据,尚无苹果园实际的空间分布信息。为此,本研究建立了无人机低空遥感影像专业数据集。融合迁移学习与深度学习方法,将残差神经网络ResNet34网络迁移到Linknet网络,得到R_34_Linknet网络。将R_34_Linknet网络与5种常用的深度学习语义分割模型SegNet、FCN_8s、DeeplabV3+、UNet和Linknet应用于黄土高原苹果园空间分布提取,表现最好的模型为R_34_Linknet,其在测试集上的调和平均值F₁为87.1%,像素准确度PA为92.3%,均交并比MIoU为81.2%,频权交并比FWIoU为85.7%,平均像素准确度MPA为89.6%。将空间金字塔池化结构（Atrous Spatial Pyramid Pooling,ASPP）与R_34_Linknet网络相结合,扩大网络的感受野,得到R_34_Linknet_ASPP网络;然后对ASPP结构进行改进,得到R_34_Linknet_ASPP+网络。对比三种网络性能,表现最优的为R_34_Linknet_ASPP+,在测试集上F₁为86.3%,PA为94.7%,MIoU为82.7%,FWIoU为89.0%,MPA为92.3%。使用R_34_Linknet_ASPP+在长武县王东沟和白水县通积村提取苹果园面积精度分别为94.22%和95.66%。本研究提出的R_34_Linknet_ASPP+方法提取到的苹果园更加准确,苹果园地块边缘处效果更好,可作为黄土高原苹果园空间分布制图等研究的技术支撑和理论依据。     

阴影环境下拖拉机视觉导航路径识别方法研究

在对比分析了普通环境与阴影环境下图像特点的基础上,提出了一种适用于阴影环境下拖拉机视觉导航的路径识别方法。首先,运用2G-R-B彩色模型分割图像,根据图像的线性灰度分布,采用合理的点运算分析法提高图像对比度,利用迭代阈值分割法和二值图像闭运算提取道路特征;然后,通过扫描道路边缘离散点和最小二乘法拟合出拖拉机的导航路径。实验结果表明,该方法能快速和有效地提高拖拉机视觉导航系统对阴影环境的适应性。     

基于改进爬峰法高分辨率遥感影像分割的树冠提取

对现有爬峰法利用高分辨率遥感影像分割进行树冠提取时存在的问题进行直方图压缩和基于类的二次合并两方面的改进,并将改进后的爬峰法在Matlab平台上模拟实现。以Quick Bird影像为基础数据源提取单木树冠,分析树冠面积提取精度,验证改进爬峰法对高分遥感影像树冠分割的可靠性。研究结果表明:实验样本精度均达到85%以上,与传统目视解译精度比较相差较少,满足应用需求。     

基于机器视觉的果园导航中线提取算法研究

为实现果园作业自动化,对基于机器视觉的果园自然情况下的导航路径拟合方法进行了研究。针对果园环境特点,基于HSV色彩模型和最大类间方差法对果园果树树行特征进行了增强。同时,使用Hough变换对果树树行线进行了拟合,并最终获得了相邻两树行的中线作为导航路径。最终试验结果表明:该方法能有效克服行间生草、光照阴影和修剪枯枝的干扰,可提取果园果树树行线并拟合出果园导航中线。     

基于激光雷达的作物收获导航线实时提取方法研究

为提高联合收获机无人驾驶导航路径的精度,本文提出一种基于激光雷达的作物收获导航线实时提取方法。搭建点云数据采集系统,利用平面拟合法确定激光雷达安装高度和安装角度。利用三维激光雷达扫描收获机前方作物的点云数据,结合IMU惯性传感器反馈的姿态信息,实现作物点云数据从激光雷达坐标系到车体坐标系的变换。基于激光雷达扫描视场角、安装高度和安装角度获取感兴趣区域（ROI）的坐标,并对感兴趣区域进行直通滤波和统计滤波,去除灰尘、秸秆粉末等噪声的影响,以实现点云数据无效点和离群点的剔除。提出一种基于栅格八邻域高程差的作物收获导航线快速识别算法,以点云栅格化后在Z轴方向上的坐标值作为检测依据,定义某一栅格与其8个相邻栅格在Z轴坐标上的差值为高程差,遍历栅格并根据设定阈值进行比较判断,实现收获边界点的有效提取。采用最小二乘算法进行收获边界点的拟合,实现田间作业过程中作物收获导航线动态提取。田间试验表明,该方法具有较好的鲁棒性,能在作物稀缺、杂草较多等情况下保持较高的准确性,其中前进方向偏差角平均值为0.872°,割台横向偏差为0.104m,收获导航线准确率为93.5%,可为联合收获机工作提供辅助导航,提高无人驾驶的准确率。     

基于树木整体图像和集成迁移学习的树种识别

为解决自然场景中拥有复杂背景的树木整体图像识别问题,提出了一种基于树木整体图像和集成迁移学习的树种识别方法。首先使用Alex Net、Vgg Net-16、Inception-V3及ResNet-50这4种在Image Net大规模数据集上预训练的模型对图像进行特征提取,然后迁移到目标树种数据集上,训练出4个不同的分类模型,最后通过相对多数投票法和加权平均法建立集成模型。构建了一个新的树种图像数据集——Trees Net,基于该数据集,设计了多类实验,并将该方法与传统的图像识别方法进行了分析比较。实验结果表明:该方法对复杂背景下树种图像识别准确率达到99. 15%,对于树木整体图像识别具有较好的效果。