Segmentation and reconstruction of overlappedapple images based on convex hull

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

基于凸壳的重叠苹果目标分割与重建算法

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

融合K-means与Ncut算法的无遮挡双重叠苹果目标分割与重建

重叠苹果目标的准确分割是采摘机器人必须解决的关键问题之一。针对现有重叠苹果目标分割方法不能保留重叠部分轮廓信息的问题,提出了一种无枝叶遮挡的双果重叠苹果目标分割方法。该方法首先利用K-means聚类算法进行图像分割以提取苹果目标区域,然后利用Normalized Cut(Ncut)算法提取苹果目标轮廓,以实现未被遮挡苹果目标完整轮廓的准确提取,最后利用Spline插值算法对遮挡的苹果目标进行轮廓重建。为了验证算法的有效性,对20幅无枝叶遮挡双果重叠的苹果图像进行试验,并将该算法与寻找2个有效凹点用其连线分割重叠苹果目标,把分离的2个轮廓分别用Hough变换重建轮廓的方法进行对比。试验结果表明,对于图像中未被遮挡的苹果目标,利用该研究算法的平均分割误差为3.15%,提取的苹果目标与原始图像中苹果目标的平均重合度为96.08%,平均误差比Hough变换重建算法低7.73%,平均重合度高9.71%,并且该研究算法能够很好地保留未被遮挡苹果目标的完整轮廓信息,提高了分割精度。对于重叠被遮挡的苹果目标,平均分割误差和平均重合度分别为5.24%和93.81%,比Hough变换重建算法的平均分割误差低11.35%,平均重合度高12.74%,表明该算法可以较好地实现重叠被遮挡苹果目标的轮廓重建,研究结果可为实现枝叶遮挡影响下的多果重叠目标分割与重建提供参考。     

基于模糊集理论的苹果表面阴影去除方法

为了提高阴影影响下的苹果目标提取精度,该文提出了一种基于模糊集理论的苹果表面阴影去除方法。该方法将含阴影图像作为一个模糊矩阵,利用所设计的隶属函数进行图像去模糊化处理,达到图像增强的目的,进而削弱苹果表面阴影对目标分割的影响。为了验证算法的有效性,采用基于灰度阈值和基于颜色聚类2种算法对去除阴影前后的目标图像进行分割,并选用分割误差、假阳性率、假阴性率和重叠系数4项指标进行了分析比较,试验结果表明,去除阴影之后,2种分割算法所提取的苹果目标区域较去除阴影之前有了较大的提高,2种分割算法的平均分割误差分别为3.08%和3.46%,比去除阴影之前降低了20.53%和25.92%,假阳性率、假阴性率分别降低了29.79%、29.98%和21.25%、29.83%,重叠系数分别提高30.96%和24.55%。与灰度变换法去除阴影后分割的效果比较表明,该方法的平均分割误差降低了29.23%,假阳性率、假阴性率分别降低了30.97%和20.40%,重叠系数提高了26.60%;与直方图均衡化法的比较表明,分割误差降低了25.59%,假阳性率、假阴性率分别降低了22.74%和27.56%,而重叠系数提高了27.43%。这一系列数据表明,基于模糊集理论的阴影去除方法具有较好的阴影去除效果。经过去除阴影后,可以获得更高的目标分割性能,目标提取精度显著提高,表明将模糊集方法应用于苹果目标的阴影去除可以有效地提高苹果目标区域的提取精度。     

基于平滑轮廓对称轴法的苹果目标采摘点定位方法

果实采摘点的精确定位是采摘机器人必须解决的关键问题。鉴于苹果目标具有良好对称性的特点,利用转动惯量所具有的平移、旋转不变性及其在对称轴方向取得极值的特性,提出了一种基于轮廓对称轴法的苹果目标采摘点定位方法。为了解决分割后苹果目标边缘不够平滑而导致定位精度偏低的问题,提出了一种苹果目标轮廓平滑方法。为了验证算法的有效性,对随机选取的20幅无遮挡的单果苹果图像分别利用轮廓平滑和未进行轮廓平滑的算法进行试验,试验结果表明,未进行轮廓平滑算法的平均定位误差为20.678°,而轮廓平滑后算法平均定位误差为4.542°,比未进行轮廓平滑算法平均定位误差降低了78.035%,未进行轮廓平滑算法的平均运行时间为10.2ms,而轮廓平滑后算法的平均运行时间为7.5ms,比未进行轮廓平滑算法平均运行时间降低了25.839%,表明平滑轮廓算法可以提高定位精度和运算效率。利用平滑轮廓对称轴算法可以较好地找到苹果目标的对称轴并实现采摘点定位,表明将该方法应用于苹果目标的对称轴提取及采摘点定位是可行的。     

基于空间特征谱聚类算法的含噪苹果图像优化分割

为了减少噪声对苹果采摘机器人的目标识别所带来的影响,对含噪苹果图像的分割方法进行了研究。该研究设计一种针对噪声具有鲁棒性的苹果图像分割方法,首先计算苹果图像的三维空间特征点的紧致性函数,用以构造邻近点的相似矩阵实现苹果图像的去噪效果;再利用离群点矩阵拆分并由其他剩余列向量线性表示,对相似矩阵进行离群点调优实现聚类优化,进而提出基于空间特征的谱聚类含噪苹果图像分割的优化算法,旨在提高分割算法的效率和识别准确率。通过对两幅苹果图像添加不同程度的高斯和椒盐噪声（方差分别为0.01、0.05和0.1的高斯噪声和概率为0.01、0.05和0.1的椒盐噪声）进行试验,分别求出谱聚类方法、基于空间特征的谱聚类方法和该文优化方法的苹果目标图像的分割图,并计算三类方法的分割准确率。该文优化方法对于单个苹果受不同噪声影响下的分割准确率均在99%以上,对于重叠苹果的分割准确率均在98%以上,对于所选取的30幅苹果图在方差为0.05的高斯噪声和概率为0.01的椒盐噪声影响下的平均分割准确率为99.014%。结果表明：谱聚类方法受噪声的影响较大;基于空间特征的谱聚类方法的分割效果受噪声的影响较小,但在边界区域仍然有很多错分的像素;优化方法在边界区域的分割要优于基于空间特征的谱聚类方法;在设定的试验条件下,其分割结果准确率相对于基于空间特征的谱聚类方法和传统的谱聚类方法可分别提高5%～6%和9%～25%。在分割效率方面,该文优化方法的分割时间低于传统的谱聚类算法,且与基于空间特征谱聚类方法接近。研究结果为苹果采摘机器人的快速目标识别提供参考。     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。     

基于边缘链码信息的番茄苗重叠叶面分割算法

针对番茄穴盘苗自动移栽机在检测幼苗特征参数时,由于叶面重叠导致提取特征参数不准确问题,提出一种基于重叠叶面边缘链码信息逐层分割算法。首先将穴盘苗原图像预处理得到的边缘二值图进行重叠叶面边缘拐点检测和链码统计,然后通过拐点配对进行叶面逐层分割,对真实分割拐点对进行线性插值,最终实现重叠叶面分割。试验结果表明,采用逐层重叠叶面分割算法具有旋转不变性,针对72孔和128孔2种穴盘规格,重叠叶面分割成功率分别为100%和96%,分割平均耗时分别为0.835和0.99 s。此分割算法分割速度快、精确度高,可满足实际工厂化全自动移栽作业要求。     

基于K-means和近邻回归算法的Kinect植株深度图像修复

针对Kinect传感器应用于农业植株检测产生的图像噪声问题,特别是由光线以及传感器自身局限导致的匹配图像目标植株数据的缺失,提出一种基于K-means和近邻回归算法的植株深度检测图像修复方法。首先对Kinect传感器获取的彩色RGB图像进行阈值分割预处理提取植株目标区域,再利用K-means聚类算法去除背景噪声,使得植株目标区域轮廓更加清晰;然后基于配准的彩色图像和深度图像,对获取的深度图像中可疑像素点的深度数据采取近邻回归算法进行修复,再将修复后的深度图像与目标分割后的彩色图像进行植株区域的匹配,并进行二次近邻回归算法修正错误的深度数据,最后获取目标植株深度信息的检测图像。试验结果证明,采用RGB阈值分割和K-means聚类算法植株目标区域分割误差均值为12.33%,比单一RGB阈值分割和K-means聚类分割误差降低了12.12和41.48个百分点;同时结合聚类后的彩色图像对深度数据进行两次近邻回归算法修复深度数据,能够提高深度数据边缘的清晰度,单帧深度数据空洞点进行修复数据的准确度提高。该研究结果可为农业植株检测、植株三维重构、精准对靶喷雾等提供参考。     

基于时空域联合信息的高原鼠兔运动目标检测

自然场景下的高原鼠兔序列图像对比度低,边缘较弱,目标包含多色彩且目标运动具有突变性。针对传统运动目标检测方法不能精确提取多色彩目标轮廓的问题,提出一种基于时空域联合信息的运动目标检测方法。首先,利用背景减法确定当前帧图像中目标的形心位置,得到粗分割图像及初始轮廓,然后用改进Chan-Vese(CV)模型对粗分割图像进行分割,改进Chan-Vese模型对多色彩目标图像适应性强,从而获得精确的目标轮廓。鉴于几何活动轮廓模型在图像分割过程中需不断初始化水平集函数,且初始化计算量随图像规模的增大而增多,该文在背景减法获得目标形心的基础上,以形心为中心,截取包含目标的图像块作为粗分割图像,然后利用改进Chan-Vese模型对粗分割图像精确分割,以减少分割耗时。该文对包含50帧图像的视频处理,试验结果显示:该文方法耗时仅为15.25 s,相似度指数平均为0.852 929,Jaccard指数平均为0.744 57。和背景减与CV模型相结合的运动目标检测方法相比,该文方法过分割率低,无冗余轮廓,且耗时短;和背景减与改进CV模型相结合的运动目标检测方法相比,该文实时性更高;该文所提出的目标检测方法可精确提取目标轮廓且实时性高。     

形态学多尺度重建结合凹点匹配分割枸杞图像

针对枸杞分级过程中因图像噪声、光照不均匀和粘连等造成枸杞难以准确分割的问题,提出了一种基于形态学多尺度开闭重建结合凹点匹配的分割方法。首先提取原始图像的红色分量去除枸杞光照阴影噪声,利用形态学多尺度混合开闭重建对红色分量图像进行重建,平滑枸杞内部而保留轮廓边缘信息;然后采用8邻域跟踪算法提取粘连枸杞轮廓边缘;最后运用圆形模板检测粘连枸杞的轮廓凹点,以凹点间最短欧氏距离为匹配条件连接凹点对,并对匹配错误的凹点对进行修正,实现粘连枸杞分割。试验结果表明,该文方法分割准确率较高,而过分割率较低,相比标记控制的分水岭和直接凹点匹配分割等方法,对粘连枸杞分割效果较好,分割准确率可达到96%。该研究可为枸杞分割技术提供理论支撑。     

基于TMU-Net网络的苹果果心分割方法

针对苹果内在品质检测过程中传统测量果心大小方法效率低、准确性差等问题,该研究提出一种基于TMU-Net网络自动分割果心的方法,将Transformer编码器融入U-Net网络结构中,构建改进U型卷积网络TMU-Net模型。模型由特征提取模块、特征处理模块、解码器、特征拼接模块组成,以VGG-16前13层作为主干特征提取网络,在跳跃连接中叠加多重残差空洞卷积（Multiple Residual Dilated Convolution,MRDC）模块,增大感受野的同时增强了模型对底层特征提取能力。采用数据增强技术对果心数据集扩充后,利用迁移学习方法冻结特定的网络层,对TMU-Net模型进行训练。试验结果表明：引入迁移学习并使用最佳训练方式使模型分割精确率提高了22.48个百分点;TMU-Net网络模型在果心分割任务中实现了96.72%的精确率,与U-Net、PSPNet、DeeplabV3+网络对比,精确率分别提升了14.28、9.98、7.15个百分点。该方法能够精准、有效地实现果心分割,可为实现苹果内在品质智能检测提供参考。     

基于形状因子和分割点定位的粘连害虫图像分割方法

单个害虫的分割是进行害虫特征提取和识别的前提。针对害虫识别过程中出现的粘连等问题,提出了一种基于形状因子和分割点定位的害虫图像分割方法。该方法首先利用形状因子对图像中的每个区域进行粘连判定,然后对判定为粘连的区域进行逐层轮廓剥离和局部分割点的确定,接着根据局部分割点在原区域中搜索边界轮廓的两个分离点,最后连接局部分割点与分离点线段进行害虫分割。通过实验室人工随机散落桃蛀螟Conogethes punctiferalis(Guenée)和田间粘虫板诱捕梨小食心虫Grapholitha molesta(Busck)2种场景采集图像,验证算法的有效性,并与分水岭分割算法进行对比,采用分割率、分割错误率和分割有效性3项指标进行评价,结果表明:针对实验室环境下采集的2组桃蛀螟害虫图像,该文方法平均错误率为7%,约为分水岭分割方法的1/2,平均分割有效率为92.65%,比分水岭算法提高了5.7个百分点;在2组田间梨小食心虫图像分割中,该文方法平均错误率为2.24%,平均分割有效率为97.8%,分别比分水岭方法降低了4.29个百分点和提高了3.95个百分点,说明该文方法在分割准确性和有效性方面都可以获得更好的分割性能,应用于害虫多目标分割与自动识别系统中,可以有效地提高识别精度。     

基于稀疏场水平集的荔枝图像分割算法

为了给采摘机器人提供完整的荔枝果实轮廓,该文选择HSV彩色空间中色调H分量的旋转分量作为图像分割的特征;然后,通过模糊聚类算法自动获取合适的初始演化曲线轮廓,再利用稀疏场水平集方法对目标区域轮廓进行精确提取;最后,对分割的区域进行标记,并利用图像标记来恢复分割区域的原始图像。结果表明,该算法不仅很好地克服随机噪声的影响,而且很好地保持果实区域的完整性,使成熟荔枝分割的正确率达到了84.1%。     

基于轮廓分割的草莓叶片三维建模

为精确构建原位草莓植株三维空间结构,以高架栽培模式生长环境下的草莓植株为研究对象,提出了一种基于多源图像轮廓分割的草莓植株结构形态三维重建算法。通过改进的多源图像融合算法,建立多源图像映射关系,融合预处理后的多源信息得到待分割强度图;计算待分割强度图矢量场卷积的局部中心,选出多目标的初始轮廓控制点,将参数的活动轮廓模型应用于待分割强度图像进行叶片的分割;采用标记的方法将分割轮廓映射至距离点云集,设计以单个叶片为单位的平面拟合选择机制,最终完成草莓三维模型的重建及显示。为验证该算法的有效性,将三维重建后的有效叶片数,平均单叶长度及叶片距离差作为评价指标,实验结果表明,有效叶片数正确率为85.6%,平均单叶长度模型正确计算率为88.4%,叶片距离差正确计算率为82.4%,研究结果可应用于原位草莓植株的空间位置测量,可为农业机器人局部视觉场景中植株空间结构的构建提供参考。