多尺度分解双寻优策略SPCNN的果园苹果异源图像融合模型

针对单一的自然场景图像信息不能满足准确识别果实和精准定位目标的要求,提出一种多尺度分解双寻优策略简化脉冲耦合神经网络（Simplified Pulse Coupled Neural Network, SPCNN）的飞行时间（Time of Flight,ToF）与可见光果园苹果图像融合模型。对SPCNN模型引入带参数优化的双寻优策略,对非下采样轮廓波变换（Nonsubsampled Contourlet Transform, NSCT）融合规则进行改进。模型包括配准模块、编码区、多尺度分解模块、单目标SPCNN融合模型、多目标SPCNN融合模型、解码区。模型改进了SPCNN模型的参数优化方式以及迭代次数,模型自适应点火次数较低,在3～7次左右,具有点火次数低、自适应分割、效率高的优点。中光15:00时段点火识别成功率达到了100.00%,点火分割时间达到最低91.91s。与其他融合模型比较,模型在强光12:00、中光15:00、弱光18:20、19:00时段融合图像识别成功率达到100.00%;融合时间低于SPCNN模型,达到最低92.68s。模型识别精度最优达到了100.00%、融合耗时最低达到了92.68s、模型大小较SPCNN低一个数量级,可补充和完善图像层次融合理论和方法。     

复杂环境下柿子和苹果绿色果实的优化SOLO分割算法

为了实现果园复杂环境下柿子和苹果绿色果实的精准分割,该研究提出了一种基于SOLO的绿色果实优化分割算法。首先,利用分离注意力网络（ResNeSt）设计SOLO算法的主干网络,用于提取绿色果实特征;其次,为更好地应对绿色果实特征的多尺度问题,引入特征金字塔网络（Feature Pyramid Networks,FPN）,构造ResNeSt+FPN组合结构;最后,将SOLO算法分为类别预测和掩码生成2个分支,类别预测分支在预测语义类别的同时,掩码生成分支实现了对绿色果实的实例分割。试验结果表明,优化SOLO分割算法的平均召回率和精确率分别达到94.84%和96.16%,平均每张绿色果实图像在图形处理器（Graphics Processing Unit,GPU）上的分割时间为0.14 s。通过对比试验可知,优化SOLO分割算法的召回率分别比优化掩膜区域卷积神经网络算法（Optimized Mask Region Convolutional Neural Network,Optimized Mask R-CNN）、SOLO算法、掩膜区域卷积神经网络算法（Mask Region Convolutional Neural Network,Mask R-CNN）和全卷积实例感知语义分割算法（Fully Convolutional Instance-aware Semantic Segmentation,FCIS）提高了1.63、1.74、2.23和6.52个百分点,精确率分别提高了1.10、1.47、2.61和6.75个百分点,分割时间缩短了0.06、0.04、0.11和0.13 s。该研究算法可为其他果蔬的果实分割提供理论借鉴,扩展果园测产和机器采摘的应用范围。     

基于射线轮廓点匹配的生猪红外与可见光图像自动配准

为研究生猪多源图像特征提取方法及生猪体表温度与生猪异常的关系特征,该文提出一种基于射线轮廓特征点匹配的红外与可见光图像自动配准方法。采用红外热像仪,同时采集相同猪舍场景的可见光图像和红外热图像,以红外热图像中生猪区域质心为中心间隔均匀角度构建辅助射线,提取射线与边缘轮廓交点构建匹配特征点集,通过计算不同尺度变换因子下特征点集间的加权部分Hausdorff距离作为测度,引入RPROP算法进行迭代加速,实现了可见光图像和红外热图像的快速自动配准。试验中,应用该文算法对50对红外和光学图像进行了测试,所提出自动配准方法配准成功率达到94%,平均配准误差小于1像素,试验结果表明自动配准效果达到或超过手动配准的效果,为进一步研究生猪多源图像异常特征提取奠定基础。     

基于改进蜂群算法优化神经网络的玉米病害图像分割

更加细致的体现病害外部形态特征和较为完好的保留病害区域颜色纹理信息,是玉米等作物病害分割的关键性研究问题之一。该文提出一种基于改进人工蜂群算法的脉冲耦合神经网络图像分割算法,该算法以最大香农熵和最小交叉熵加权线性组合作为蜂群算法收益度评价函数,通过引入尺度因子调整引领蜂和跟随蜂的解搜索策略,改进后人工蜂群算法与脉冲耦合神经网络相结合,实现网络参数的自动优化调节。在RGB色彩子空间上将该算法用于一组玉米常见病害彩色图像分割,并借鉴利用彩色图像合并策略得到最终病害分割结果。试验表明,该文算法较为细致的体现病害外部形态特征,较为完好的保留了颜色纹理信息;利用分割区域色度误分度V(I)值作为评判标准,该文算法V(I)幅值顺次降低2.03%、7.05%、10.15%和11.2%,综合降低了7.32% 也优于对比算法。因此,该文算法为病害彩色图像分割提供了一种较为有效的方法。     

基于LiDAR的果园对靶变量喷药控制系统设计与试验

传统果园喷药方式带来的非靶标区域农药沉积和飘移造成了环境污染,同时农药过量喷施导致农药残留.该研究基于前期获得的果树冠层网格化体积计算方法建立单喷头流量脉宽调制(Pulse Width Modulation,PWM)控制模型,根据果园喷药作业需求建立控制器局域网络(Controller Area Network,CAN...     

基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割

为了提高在自然采摘环境中成熟桑葚机器视觉识别的有效性和鲁棒性,克服图像目标形态小、分布杂散、背景干扰多和光照不均匀等困难,该文提出了一种采用视觉显著性和脉冲耦合神经网络(pulse coupled neural network,PCNN)模型的成熟桑葚图像分割方法。该方法首先将采集的图像映射到Lab颜色空间,利用空间颜色分量的算术平均值和高斯滤波值之间的差异,构建起桑葚图像的频率调谐视觉显著图;其次,提取采集图像在HSI颜色空间的色调分量,经过均衡化处理后,与视觉显著图进行融合,实现桑葚目标的融合特征表达;最后,通过改进的分层阈值化脉冲耦合神经网络模型进行目标分割以及形态学处理,得到成熟桑葚的识别结果。利用从重庆市天府镇果桑生态园采集到的200余幅桑树挂果图像进行试验,结果表明,该方法能够在不同光照条件的复杂背景下,有效分割出成熟果实,平均误分率为1.87%,优于结合频率调谐视觉显著性的OTSU法(17.73%)、K-means聚类算法(10.69%)、基于Itti视觉显著性的PCNN分割方法(7.34%)和基于GBVS(graph-based visual saliency,GBVS)视觉显著性的PCNN分割方法(5.83%)。研究结果为成熟桑葚果实的智能化识别提供参考。     

番茄果实串采摘点位置信息获取与试验

针对番茄收获机器人在采摘过程中果实串采摘点位置难以确定的问题,提出了基于果梗骨架角点计算方法,并利用该算法对番茄果实串果梗采摘点进行位置信息获取:首先采用最大类间方差分割法进行目标果实串分割,通过形态学方法和阈值法去除干扰,提取出目标果实串分割图像;根据果实串的质心和果串的轮廓边界确定果梗的感兴趣区域,采用快速并行细化算法提取果梗的骨架,利用Harris算法检测得到果实串第一个果实分叉点与植株主干之间果梗骨架角点,通过计算获得采摘点位置信息。然后进行验证试验,利用双目视觉图像采集系统采集了60组果实串图像并获取果梗采摘点位置信息,结果表明,采摘点位置成功率为90%,为采摘机器人提供准确的采摘位置信息。     

基于点云配准的果树快速三维重建

旨在为果园生产管理提供果树三维可视化基础数据,该文提出了一种基于点云配准的自然光照环境下的果树三维重构方法。首先,利用RGB-D相机采集不同视角下的果树彩色图像和深度图像,并通过信息融合获取相应视角下果树的三维点云数据;第二,对果树原始点云进行去背景和滤波等预处理,利用归一化对齐径向特征NARF(Normal Aligned Radial Feature)算法计算每片点云中的关键点,并在关键点初运用快速点特征直方图FPFH(Fast Point Feature Histograms)描述子得到关键点的特征向量。通过计算比较两片点云的FPFH特征,寻找两片相邻点云之间的空间映射关系,利用随机抽样一致性RANSAC(RANdomSAmple Consensus)算法提纯映射关系并完成相邻两片点云的初始配准;第三,在初始配准的基础上,利用迭代最近点ICP(Iterative Closest Point)算法完成点云的精确配准;最后,利用上述点云初始配准和精确配准方法对果树多片点云进行全局配准并完整重构果树的三维点云图像。针对配准过程中时间消耗过大的问题,该文提出了基于OpenMP技术对配准进行加速的方法。结果表明,该文所提出的果树三维重构方法具有较高的准确性,配准的平均距离误差为0.0068 m;同时,在不影响配准精度和稳定性的前提下大幅提高了果树三维重建的效率。     

基于点云配准的果树快速三维重建（英文）

旨在为果园生产管理提供果树三维可视化基础数据,该文提出了一种基于点云配准的自然光照环境下的果树三维重构方法。首先,利用RGB-D相机采集不同视角下的果树彩色图像和深度图像,并通过信息融合获取相应视角下果树的三维点云数据;第二,对果树原始点云进行去背景和滤波等预处理,利用归一化对齐径向特征NARF(Normal Aligned Radial Feature)算法计算每片点云中的关键点,并在关键点初运用快速点特征直方图FPFH(Fast Point Feature Histograms)描述子得到关键点的特征向量。通过计算比较两片点云的FPFH特征,寻找两片相邻点云之间的空间映射关系,利用随机抽样一致性RANSAC(RANdom SAmple Consensus)算法提纯映射关系并完成相邻两片点云的初始配准;第三,在初始配准的基础上,利用迭代最近点ICP(Iterative Closest Point)算法完成点云的精确配准;最后,利用上述点云初始配准和精确配准方法对果树多片点云进行全局配准并完整重构果树的三维点云图像。针对配准过程中时间消耗过大的问题,该文提出了基于OpenMP技术对配准进行加速的方法。结果表明,该文所提出的果树三维重构方法具有较高的准确性,配准的平均距离误差为0.0068 m;同时,在不影响配准精度和稳定性的前提下大幅提高了果树三维重建的效率。     

基于形状因子和分割点定位的粘连害虫图像分割方法

单个害虫的分割是进行害虫特征提取和识别的前提。针对害虫识别过程中出现的粘连等问题,提出了一种基于形状因子和分割点定位的害虫图像分割方法。该方法首先利用形状因子对图像中的每个区域进行粘连判定,然后对判定为粘连的区域进行逐层轮廓剥离和局部分割点的确定,接着根据局部分割点在原区域中搜索边界轮廓的两个分离点,最后连接局部分割点与分离点线段进行害虫分割。通过实验室人工随机散落桃蛀螟Conogethes punctiferalis(Guenée)和田间粘虫板诱捕梨小食心虫Grapholitha molesta(Busck)2种场景采集图像,验证算法的有效性,并与分水岭分割算法进行对比,采用分割率、分割错误率和分割有效性3项指标进行评价,结果表明:针对实验室环境下采集的2组桃蛀螟害虫图像,该文方法平均错误率为7%,约为分水岭分割方法的1/2,平均分割有效率为92.65%,比分水岭算法提高了5.7个百分点;在2组田间梨小食心虫图像分割中,该文方法平均错误率为2.24%,平均分割有效率为97.8%,分别比分水岭方法降低了4.29个百分点和提高了3.95个百分点,说明该文方法在分割准确性和有效性方面都可以获得更好的分割性能,应用于害虫多目标分割与自动识别系统中,可以有效地提高识别精度。     

用动态图层融合与纹理-灰度梯度能量模型的果树行识别

为解决果园机器视觉导航中果树行识别易受果园复杂环境干扰的问题,该研究提出一种采用动态选取融合因子对彩色图像与深度图像进行图层融合并采用纹理-灰度梯度能量模型进行图像分割的果树行视觉识别算法。首先,通过搭建立体视觉系统获取果园彩色图像与对应的深度图像,并基于饱和度（S）通道图像的灰度值选取动态融合因子,实现对果园彩色图像与深度图像的图层融合;然后,分别计算融合图像的纹理特征图像与灰度梯度特征图像,并建立纹理-灰度梯度结合的能量模型,基于模型能量最小原则进行树干与背景的分割;最后,以树干与地面交点为果树行特征点进果树行直线拟合,完成果树行角度的识别。并对上述算法分别进行果树行识别试验与移动作业平台视觉对行导航试验。果树行识别试验结果表明,该研究算法果树行角度识别平均偏差为2.81°,与基于纹理、灰度梯度特征的果树行识别算法相比识别平均偏差分别降低2.37°和1.25°。移动作业平台视觉导航试验结果表明,在作业平台速度为0.6 m/s时,对行行驶最大偏差为12.2 cm,平均偏差为5.94 cm。该研究提出的视觉导航算法可以满足果园移动作业平台视觉对行导航需求,研究成果将为基于机器视觉的果园自动导航系统的研究与优化奠定基础。     

苹果采摘机器人视觉系统研究进展

视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM(convolutional block attention module),改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

基于两级分割与区域标记梯度Hough圆变换的苹果识别

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果，该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先，使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正，增强图像的细节信息。结合果实颜色特征，提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后，采用改进后的Otsu算法进行初次分割，得到苹果目标的二值图像，该算法通过引入形态学开-闭重建滤波去除大量背景噪声，通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割，分离粘连果实区域，提取目标苹果的外部轮廓。最后，在轮廓外设置最小外接矩形标记有效区域，在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试，并与传统梯度Hough圆变换方法进行对比，本文方法在顺、逆光下的识别准确率为90.75和89.79%，比传统方法提高了15.03和16.41%，平均识别时间为0.665和0.693 s，比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域，而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求，可为苹果等类球形果实的快速识别提供参考。     

融合K-means与Ncut算法的无遮挡双重叠苹果目标分割与重建

重叠苹果目标的准确分割是采摘机器人必须解决的关键问题之一。针对现有重叠苹果目标分割方法不能保留重叠部分轮廓信息的问题,提出了一种无枝叶遮挡的双果重叠苹果目标分割方法。该方法首先利用K-means聚类算法进行图像分割以提取苹果目标区域,然后利用Normalized Cut(Ncut)算法提取苹果目标轮廓,以实现未被遮挡苹果目标完整轮廓的准确提取,最后利用Spline插值算法对遮挡的苹果目标进行轮廓重建。为了验证算法的有效性,对20幅无枝叶遮挡双果重叠的苹果图像进行试验,并将该算法与寻找2个有效凹点用其连线分割重叠苹果目标,把分离的2个轮廓分别用Hough变换重建轮廓的方法进行对比。试验结果表明,对于图像中未被遮挡的苹果目标,利用该研究算法的平均分割误差为3.15%,提取的苹果目标与原始图像中苹果目标的平均重合度为96.08%,平均误差比Hough变换重建算法低7.73%,平均重合度高9.71%,并且该研究算法能够很好地保留未被遮挡苹果目标的完整轮廓信息,提高了分割精度。对于重叠被遮挡的苹果目标,平均分割误差和平均重合度分别为5.24%和93.81%,比Hough变换重建算法的平均分割误差低11.35%,平均重合度高12.74%,表明该算法可以较好地实现重叠被遮挡苹果目标的轮廓重建,研究结果可为实现枝叶遮挡影响下的多果重叠目标分割与重建提供参考。     

基于标准地表光谱端元空间的苹果园种植时间制图方法

利用遥感数据进行果园种植时间制图可以高效便捷地获取大区域尺度的果园种植时间信息。为避免混合像元对果园的光谱信息造成影响,实现果园范围的精准识别及果园种植年龄的推测,该研究基于Landsat系列影像,开展融合地表标准地表光谱端元空间的果园范围提取和种植时间制图的研究。首先,将标准地表光谱端元空间融入原始影像中运用随机森林算法进行土地利用/覆被分类,重点提取果园分布范围。其次,构建地表植被端元年际间时间序列曲线,求得果园缓慢增长区间,运用四点法求取果园最大环境承载量。最后,回溯找到果园种植起点进行Logistic增长模型拟合,完成果园种植时间制图。研究结果表明：1）由线性光谱混合分解所得的地表光谱四端元能够很好地表达研究区地表组分信息。融合标准端元空间与随机森林算法提高了地物信息的提取精度。分类总体精度达到88.80%,Kappa系数达到0.86,对果园有较好的解译能力。2）通过植被端元年际时间序列曲线可以很容易地捕捉到土地覆被/利用类型的变化,通过Logistic增长模型可以检测植被生长的状况和最大环境承载量。拟合的果树生长模型具有较高的精度和稳定性,整体拟合度达到0.751,年龄验证误差均值为1.86a,说明该方法可以相对准确地确定苹果树的种植时间和长势。     

基于改进HRNet的单幅图像苹果果树深度估计方法

针对苹果自动采收获取果树深度信息的实际需求,以及目前单幅图像深度估计算法存在的空间分辨率低和边缘模糊问题,提出一种基于改进高分辨率网络（High-Resoultion Net, HRNet）的单幅图像苹果果树深度估计模型。首先基于HRNet构建多分支并行的编码器网络,提取多尺度特征,并通过引入密集连接机制强化特征传递过程中的连续性;为了减少冗余特征造成的噪声干扰,使用卷积注意力模块在通道及像素层级对融合特征进行重标定,强化特征图结构信息。在解码器网络中,使用条纹细化模块自适应地优化特征图的边界细节信息,突出边缘特征,改善边缘模糊问题,最后经上采样生成深度图。在NYU Depth V2公共数据集和果园深度数据集上进行试验。试验结果表明,引入密集连接机制,添加卷积注意力模块、条纹细化模块均能提升模型性能。提出的改进HRNet网络在果园深度数据集上的平均相对误差、均方根误差、对数平均误差、深度边缘准确误差和边缘完整性误差分别为0.123、0.547、0.051、3.90和10.76,在不同阈值下的准确率达到了0.850、0.975、0.993;在主观视觉上,改进HRNet网络生成的深度图有清晰的边缘以及较多的纹理细节。本文方法在客观指标和主观效果上均有良好的表现。     

基于改进YOLOv4模型的全景图像苹果识别

苹果果园由于密植栽培模式,果树之间相互遮挡,导致苹果果实识别效果差,并且普通的图像采集方式存在图像中果实重复采集的问题,使得果实计数不准确。针对此类问题,该研究采用全景拍摄的方式采集苹果果树图像,并提出了一种基于改进YOLOv4和基于阈值的边界框匹配合并算法的全景图像苹果识别方法。首先在YOLOv4主干特征提取网络的Resblock模块中加入scSE注意力机制,将PANet模块中的部分卷积替换为深度可分离卷积,且增加深度可分离卷积的输出通道数,以增强特征提取能力,降低模型参数量与计算量。将全景图像分割为子图像,采用改进的YOLOv4模型进行识别,通过对比Faster R-CNN、CenterNet、YOLOv4系列算法和YOLOv5系列算法等不同网络模型对全景图像的苹果识别效果,改进后的YOLOv4网络模型精确率达到96.19%,召回率达到了95.47%,平均精度AP值达到97.27%,比原YOLOv4模型分别提高了1.07、2.59、2.02个百分点。采用基于阈值的边界框匹配合并算法,将识别后子图像的边界框进行匹配与合并,实现全景图像的识别,合并后的结果其精确率达到96.17%,召回率达到95.63%,F1分数达到0.96,平均精度AP值达到95.06%,高于直接对全景图像苹果进行识别的各评价指标。该方法对自然条件下全景图像的苹果识别具有较好的识别效果。     

基于最小错误率贝叶斯决策的苹果图像分割

为了实现苹果分级完全自动化,对苹果图像的分割进行了研究。依据最小错误率贝叶斯决策理论,提出了一种基于最小错误率贝叶斯决策的图像分割方法。从图像的直方图中估计出服从正态分布的不同类别参数,对图像中每一像素点进行不同类别判断。通过对多幅图像试验,取得良好的分割结果。试验结果表明,该方法无须滤波而具有良好的抑制噪声的能力,在图像分割中是一种可行的方法。