融合多源图像信息的果实识别方法

光线变化与目标重叠是影响自然环境中果实正确识别的重要原因。为了降低两者的影响,研究了融合多源图像信息的果实识别方法。在图像配准的基础上,优选了H分量图与幅度图像作为待融合的源图像;由模糊推理系统(隶属度函数和模糊规则)决定权重,采用加权平均策略实现图像的像素级融合;根据融合图像中果实区域的分布规律,设计了一种基于直方图的首阈检测法以获得最佳的果实分割效果;利用深度图像的统计特性,设计了一种逐层分割图像的方法以解决重叠果实的分离问题。实验结果表明:多源融合图像用于果实识别与定位比单一图像具有更好的准确性与鲁棒性,对重叠果实的正确识别率在83.67%~94.22%之间。     

基于改良SURF的多聚焦图像配准方法与模型

多聚焦图像配准是多聚焦图像融合、聚焦形貌恢复等应用必不可少的预处理步骤,配准精度决定了后续图像处理的精度。为解决常规方法配准精度较低的问题,本研究提出了一种基于改良SURF的多聚焦图像配准方法与模型。该方法通过黄金分割搜索对配准模型中唯一参数进行最优估计,以提高图像配准精度。实验结果表明,该方法的MSE均小于常规方法,NCC值更接近1,可以有效地提高多聚焦图像配准精度,能更好地应用于农业机械的智能自动驾驶、作业道路导航、工装作业状态监测等实际方面。     

基于卷积神经网络的生菜多光谱图像分割与配准

针对多光谱图像中由于多镜头多光谱相机各通道之间存在的偏差以及传统分割方法的不适用,图像分析处理过程往往会出现无法自动化分割或分割精度较低的问题,提出采用基于相位相关算法和基于UNet的语义分割模型对田间生菜多光谱图像进行各个通道的精确配准并实现前景分割。使用Canny算法对多光谱各通道图像进行边缘提取,进而使用相位相关算法对多光谱各通道图像进行配准,单幅图像平均处理时间0.92s,配准精度达到99%,满足后续图像分割所需精度;以VGG16作为主干特征提取网络,直接采用两倍上采样,使最终输出图像和输入图像高宽相等,构建优化的UNet模型。实验结果表明：本文所提出的图像配准和图像分割网络,分割像素准确率达到99.19%,平均IoU可以达到94.98%,能够很好地对生菜多光谱图像进行前景分割,可以为后续研究作物精准表型的光谱分析提供参考。     

采摘机器人识别抓取重叠番茄果实的方法研究

为适应农业果实采摘机器人自主采摘的需求,针对重叠番茄果实,设计了一种在不同光照条件下改进色差算子的组合处理识别并抓取重叠果实的方法。首先,利用中值滤波滤除噪声;然后,采用改进算子的OTSU分割算法和形态学处理对番茄图像进行背景分割,通过异或运算、腐蚀操作,使未覆盖果实与被覆盖果实的分离更加明显,进而将凸包算法、泛洪填充算法和霍夫直线检测相结合,提取出番茄的真实轮廓,并利用最小二乘法对其进行椭圆拟合,计算出果实质心进行立体匹配;最后,设计了适用于番茄果实采摘的原型机器人,主要由三自由度的机械臂构成,用于抓取果实。分别从不同角度对不同光照条件下重叠的番茄果实图像进行了实验,并进行了水果立体匹配实验,结果表明:该方法是有效、可行且高效的。     

基于仿射变换的植物切片图像配准及三维重建

通过仿射变换对黄瓜茎切片图像进行了配准,该方法实现了序列切片图像的配准.在配准前需人工获取特征点,为减小误差,提出了用最小二乘法求取最优仿射变换参数.采用上述方法,对黄瓜茎切片图像实现了配准,并借助VTK提供的步进立方体算法进行了三维表面重建和显示.     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于IMFO-Otsu的果实深度图像多阈值分割

为了解决传统果实图像进行阈值分割易受颜色、光照等因素影响的问题,提出一种基于改进飞蛾火焰算法（Improved Moth flame Optimization,IMFO）的多阈值分割算法（IMFO-Otsu）。算法在构建深度直方图后,根据多阈值Otsu准则获取最佳分割阈值。为了提高获取最佳阈值的计算效率,对多阈值Otsu准则进行剪枝处理,并使用提出的改进飞蛾火焰算法对算法进行加速。为验证IMFO-Otsu算法的效果,使用该算法对采集得到的果实图像进行多阈值分割,结果表明提出的算法具有良好的性能。由于提出的算法没有用到彩色图像的颜色信息且简单有效,能在夜间环境等复杂情况对果实识别与定位提供支持。     

基于深度图像的球形果实识别定位算法

为了解决近色背景果实识别困难问题,针对果实近球形的形态特性,提出了一种利用深度图像从果实形态角度进行果实识别定位的算法。该算法使用深度摄像头获取果树的深度图像,通过深度图像计算出各像素点的梯度向量,将梯度向量看作运动矢量场,并计算出矢量场的散度,根据散度最大原则,从矢量场中搜索出辐散中心点;然后利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点,以果实中心点为起点采用八方向搜索方法搜索出果实边界点,将果实边界点依次连接后形成的封闭区域内的果实图像导入点云;最后根据果实图像部分点云利用RANSAC算法求出目标果实的拟合球形,进而得出果实的尺寸以及三维空间位置。该算法无需传统算法需要利用的颜色特征,而仅利用了深度图像中的深度信息进行果实识别定位,能够克服传统算法受色彩、光照等因素影响的弊端,并且由于该算法完全没有利用到彩色图像信息,因此不仅可以实现绿色果实的识别定位,还可以实现采摘机器人在夜间环境下正常工作,为复杂环境下的果实识别定位算法研究提供了技术支撑。     

近色背景果实识别的多源图像融合

为提高在近色背景下果实识别的准确性,减少非结构化因素对识别的影响,提出了基于近红外像机和可见光像机组合捕获多源图像进行融合的方法。首先对已配准的多源图像分别进行非下采样轮廓波变换(NSCT),得到高频系数与低频系数;对高频系数采用压缩融合,并通过CoSaMp恢复融合的高频系数;对低频系数进行小波分解,对分解的高频子带采用绝对值最大法进行融合;低频子带则采用基于几何距离和能量距离加权的融合方法,再通过小波逆变换得到融合的低频系数;最后对融合后的高、低频系数进行NSCT重构得到融合图像。试验结果表明,所设计方法有效地保留了图像的边缘轮廓,突出了图像的细节信息,在客观定量评价指标上均优于其他传统方法,其中与小波变换-非下采样轮廓波变换(DWT-NSCT)方法相比,最大提升达到15.59%。     

基于XGBoost算法的多云多雾地区多源遥感作物识别

快速、准确地获取作物种植面积信息是长势监测、产量估算、病虫害监测和预警的基础。针对我国江南区域多云雾的特点,以Sentinel-1/2为数据源,综合采用光学遥感影像和合成孔径雷达(Synthetic aperture radar, SAR)影像等多源数据,针对研究区作物早春覆膜的特点,构建地膜植被指数(SAR plastic-film vegetation index, SPVI);利用时序光谱和植被指数特征,研究基于XGBoost算法的作物识别方法。以安徽省宣城市宣州区为研究区,开展实例验证研究。在作物生育期内,云雾影响较大,光学遥感覆盖稀疏区域以Sentinel-2影像为主,获取时序指数数据集,增加4期Sentinel-1雷达影像,用以补充云雾时期(5—7月)光学影像的缺失。以本文设计的方法,得到作物识别总体精度为84.87%,优于随机森林的83.93%,主要作物烟草制图精度88.69%,用户精度95.51%。仅使用生育期Sentinel-2影像的作物识别总体精度79.01%,主要作物烟草制图精度82.30%,用户精度93.49%。研究结果表明,本文构建的基于XGBoost算法多源...