基于两级分割与区域标记梯度Hough圆变换的苹果识别

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果，该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先，使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正，增强图像的细节信息。结合果实颜色特征，提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后，采用改进后的Otsu算法进行初次分割，得到苹果目标的二值图像，该算法通过引入形态学开-闭重建滤波去除大量背景噪声，通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割，分离粘连果实区域，提取目标苹果的外部轮廓。最后，在轮廓外设置最小外接矩形标记有效区域，在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试，并与传统梯度Hough圆变换方法进行对比，本文方法在顺、逆光下的识别准确率为90.75和89.79%，比传统方法提高了15.03和16.41%，平均识别时间为0.665和0.693 s，比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域，而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求，可为苹果等类球形果实的快速识别提供参考。     

基于光照无关图的苹果图像识别方法

为了解决苹果采摘机器人的果实识别率在不同光照条件下表现不稳定的问题,该文提出一种基于光照无关图的苹果识别方法。该方法首先采用中值滤波法对苹果图像进行预处理,然后对处理后的彩色图像提取光照无关图,消除光照变化的影响,再采用Ostu阈值分割法进行目标果实的提取。最后通过对苹果图像进行识别试验的结果表明,在4种不同的光照情况下,采用基于光照无关图的识别方法得出的识别率的稳定度是不采用光照无关图的识别方法的3倍,并且其平均识别率也高达90.45%。基于光照无关图的苹果识别方法能够克服光照变化对目标识别带来的负面影     

基于同态滤波和K均值聚类算法的杨梅图像分割

针对自然环境下光照不均杨梅果实分割效果不理想问题展开研究。应用同态滤波算法对HSV(色调hue,饱和度saturation,亮度value)颜色空间下杨梅图像V分量进行亮度增强,以补偿光线。而后针对彩色杨梅图像的颜色特征,结合Lab(L(亮度Lightness),a(色度chromaticity,+a表示红色,-a表示绿色),b(色度chromaticity,+b表示黄色,-b表示蓝色)颜色空间a、和b分量的特点,应用K均值聚类算法在Lab颜色空间中对彩色杨梅图像进行分割。为了验证该算法的有效性,在100余幅图像中选用15幅因光照不均和生长状态不同而存在不同程度阴影影响的杨梅图像,进行了3组比较试验,先采用K均值聚类算法对光线补偿去除阴影前后的杨梅图像分割结果进行比较;接着,采用基于色差2*R-G-B自适应灰度阈值分割算法和K均值聚类算法2种不同分割算法对去除阴影后的杨梅图像分割结果进行比较;最后,与基于灰度变换法、直方图均衡化方法的图像增强法去除阴影的效果进行对比。试验结果表明,该文算法的分割误差、假阳性率、假阴性率平均值分别为3.78%,0.69%和6.8%,分别比光线补偿前降低了21.01,12.79和21.14个百分点;与基于色差(2*R-G-B)自适应灰度阈值分割算法相比,分割误差、假阳性率、假阴性率这3个指标的性能平均提高了12.93,1.45和7.11个百分点;与基于灰度变换法图像增强法比较表明,分割误差、假阳性率、假阴性率平均值分别降低了32.94,6.85和29.65个百分点,与直方图均衡化图像增强法相比,这3个值分别降低了24.92,6.12和33.06个百分点。通过试验结果图的主观判断和评价指标的定量分析,验证了该算法能有效地分割出杨梅目标,保证了杨梅目标在颜色、纹理和形状方面的完整度,研究结果为研究采摘机器人进行杨梅等果实的分割和识别提供参考。     

基于模糊集理论的苹果表面阴影去除方法

为了提高阴影影响下的苹果目标提取精度,该文提出了一种基于模糊集理论的苹果表面阴影去除方法。该方法将含阴影图像作为一个模糊矩阵,利用所设计的隶属函数进行图像去模糊化处理,达到图像增强的目的,进而削弱苹果表面阴影对目标分割的影响。为了验证算法的有效性,采用基于灰度阈值和基于颜色聚类2种算法对去除阴影前后的目标图像进行分割,并选用分割误差、假阳性率、假阴性率和重叠系数4项指标进行了分析比较,试验结果表明,去除阴影之后,2种分割算法所提取的苹果目标区域较去除阴影之前有了较大的提高,2种分割算法的平均分割误差分别为3.08%和3.46%,比去除阴影之前降低了20.53%和25.92%,假阳性率、假阴性率分别降低了29.79%、29.98%和21.25%、29.83%,重叠系数分别提高30.96%和24.55%。与灰度变换法去除阴影后分割的效果比较表明,该方法的平均分割误差降低了29.23%,假阳性率、假阴性率分别降低了30.97%和20.40%,重叠系数提高了26.60%;与直方图均衡化法的比较表明,分割误差降低了25.59%,假阳性率、假阴性率分别降低了22.74%和27.56%,而重叠系数提高了27.43%。这一系列数据表明,基于模糊集理论的阴影去除方法具有较好的阴影去除效果。经过去除阴影后,可以获得更高的目标分割性能,目标提取精度显著提高,表明将模糊集方法应用于苹果目标的阴影去除可以有效地提高苹果目标区域的提取精度。     

自然光照条件下采摘机器人果实识别的表面阴影去除方法

有效的阴影检测和去除算法会大大提高自然环境下果实识别算法的性能,为农业智能化提供技术支持。该研究采用超像素分割的方法,将一张图像分割成多个小区域,在对图像进行超像素分割的基础上,对自然光照下的果园图像阴影区域与非阴影区域进行对比分析,探索8个自定义特征用于阴影检测。然后采用SVM的方法,结合8个自主探索的自定义特征,对图像中每个超像素分割的小区域进行检测,判断每个小区域是否处于阴影中,再使用交叉验证方法进行参数优化。根据Finlayson的二维积分算法策略,对检测的每一个阴影区域进行阴影去除,获得去除阴影后的自然光照图像。最后进行阴影检测的识别准确性试验,试验结果表明,本研究的阴影检测算法的平均识别准确率为83.16%,经过阴影去除后,图像的阴影区域亮度得到了提高,并且整幅图像的亮度更为均匀。该研究可为自然环境下机器人识别果实及其他工农业应用场景提供技术支持。     

不同生长状态下多目标番茄图像的自动分割方法

将自然生长状态下的成熟果实从复杂背景中识别出来并确定其空间位置，是实现果实采摘作业智能化的基础。该文针对在自然光照条件下多个番茄自然生长状态为相互分离、靠拢或重叠以及被枝叶部分遮挡的情况，研究了一种成熟番茄图像的自动分割方法。该方法利用RGB颜色空间下番茄图像中目标与背景的(R-G)灰度值存在明显差异的特点，首先使用Otsu法对番茄的RGB彩色图像的色差灰度图像(R-G)进行动态阈值分割,然后对番茄的R分量灰度图像应用基于形态重建的受控标记分水岭算法搜索靠拢或重叠番茄的分界线，最后对前面两次运算的结果作交集运算得到最终分割的二值图像，将番茄从背景中分割出来。通过100幅番茄图像进行试验表明，该方法不仅能对自然光照条件下不同生长状态的多目标番茄图像进行有效分割，而且对番茄的成熟度及品种差异也具有很好的鲁棒性。     

基于空间特征谱聚类算法的含噪苹果图像优化分割

为了减少噪声对苹果采摘机器人的目标识别所带来的影响,对含噪苹果图像的分割方法进行了研究。该研究设计一种针对噪声具有鲁棒性的苹果图像分割方法,首先计算苹果图像的三维空间特征点的紧致性函数,用以构造邻近点的相似矩阵实现苹果图像的去噪效果;再利用离群点矩阵拆分并由其他剩余列向量线性表示,对相似矩阵进行离群点调优实现聚类优化,进而提出基于空间特征的谱聚类含噪苹果图像分割的优化算法,旨在提高分割算法的效率和识别准确率。通过对两幅苹果图像添加不同程度的高斯和椒盐噪声（方差分别为0.01、0.05和0.1的高斯噪声和概率为0.01、0.05和0.1的椒盐噪声）进行试验,分别求出谱聚类方法、基于空间特征的谱聚类方法和该文优化方法的苹果目标图像的分割图,并计算三类方法的分割准确率。该文优化方法对于单个苹果受不同噪声影响下的分割准确率均在99%以上,对于重叠苹果的分割准确率均在98%以上,对于所选取的30幅苹果图在方差为0.05的高斯噪声和概率为0.01的椒盐噪声影响下的平均分割准确率为99.014%。结果表明：谱聚类方法受噪声的影响较大;基于空间特征的谱聚类方法的分割效果受噪声的影响较小,但在边界区域仍然有很多错分的像素;优化方法在边界区域的分割要优于基于空间特征的谱聚类方法;在设定的试验条件下,其分割结果准确率相对于基于空间特征的谱聚类方法和传统的谱聚类方法可分别提高5%～6%和9%～25%。在分割效率方面,该文优化方法的分割时间低于传统的谱聚类算法,且与基于空间特征谱聚类方法接近。研究结果为苹果采摘机器人的快速目标识别提供参考。     

基于Niblack自适应修正系数的温室成熟番茄目标提取方法

番茄目标的准确提取是番茄采摘的基础,目前番茄目标提取方法都有一定的局限性,难以满足采摘需求。该研究在传统Niblack算法的基础上,结合图像全局灰度变化的估计信息与局部区域信息之间的关联性,提出了一种基于Niblack自适应修正系数的温室成熟番茄目标提取新方法。首先对R-G番茄灰度图像,采用基于自适应修正系数选取的Niblack算法进行阈值分割,从理论意义上确定修正系数的选取原则,归一化局部标准差,实现修正值的计算及二值化过程,然后对分割后的图像去噪,最后采用最小临界矩形法提取成熟番茄果实。试验结果表明,该方法对温室成熟番茄图像有较好的提取效果,识别正确率达到98.3%,与基于归一化红绿色差灰度化的Otsu算法和传统的Niblack算法相比有更高的识别率和更快的处理速度,噪声率也明显减少,能够满足后续成熟番茄定位的需要,有效地解决传统方法适应性低,易产生伪噪声块等问题。     

改进Niblack算法的光照不均匀QR码识别研究

QR码作为农产品可追溯体系的信息载体,一直是农业领域的科研热点。在实际应用中,溯源环境的复杂多变易使设备采集到光照不均匀的QR码图像而增加解码流程中二值化的难度,影响后续解码。该文针对原始Niblack算法自适应性不足的缺陷,提出一种自适应邻域窗口和修正系数的Niblack算法,该算法依据QR码图像的分辨率和灰度值,动态调整修正系数和邻域窗口,进行自适应二值化处理。分别用改进Niblack算法,原始Niblack算法和Otsu算法处理设备无法识别的不同光照环境下、不同程度的光照不均匀QR码图像,试验数据表明经改进算法处理后的识别成功率为74.2%,高出原始Niblack算法18.4%,高出Otsu算法71.7%,具有较高的鲁棒性。这一结果对农产品在各种光照不均匀环境中的溯源提供了参考。     

基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别

疏果前期苹果背景复杂、光照条件变化、重叠及被遮挡,特别是果实与背景叶片颜色极为相近等因素,给其目标识别带来很大困难。为识别疏果前期的苹果目标,提出基于区域的全卷积网络(region-based fully convolutional network,R-FCN)的苹果目标识别方法。该方法在研究基于ResNet-50和ResNet-101的R-FCN结构及识别结果的基础上,改进设计了基于ResNet-44的R-FCN,以提高识别精度并简化网络。该网络主要由ResNet-44全卷积网络、区域生成网络(RegionProposal Network, RPN)及感兴趣区域(Region of Interest, RoI)子网构成。ResNet-44全卷积网络为基础网络,用以提取图像的特征,RPN根据提取的特征生成Ro I,然后Ro I子网根据ResNet-44提取的特征及RPN输出的Ro I进行苹果目标的识别与定位。对采集的图像扩容后,随机选取23 591幅图像作为训练集,4 739幅图像作为验证集,对网络进行训练及参数优化。该文提出的改进模型在332幅图像组成的测试集上的试验结果表明,该方法可有效地识别出重叠、被枝叶遮挡、模糊及表面有阴影的苹果目标,识别的召回率为85.7%,识别的准确率为95.1%,误识率为4.9%,平均速度为0.187 s/幅。通过与其他3种方法进行对比试验,该文方法比FasterR-CNN、基于ResNet-50和ResNet-101的R-FCN的F1值分别提高16.4、0.7和0.7个百分点,识别速度比基于ResNet-50和ResNet-101的R-FCN分别提高了0.010和0.041 s。该方法可实现传统方法难以实现的疏果前苹果目标的识别,也可广泛应用于其他与背景颜色相近的小目标识别中。     

基于光照无关图的农业机器人视觉导航算法

完成沿作物行的行走作业是农业机器人视觉导航系统的一个基础功能,但是由于田间环境的复杂性,比如阴影的存在和天气的恶劣变化等外界因素的影响使导航参数的提取变得困难。该研究针对农业机器人视觉导航中存在的阴影干扰问题,采用基于光照无关图的方法去除导航图像中的阴影,然后采用增强的最大类间方差法进行图像分割和优化的Hough变换提取作物行中心线,最终通过坐标转换获得导航参数。最后,通过作物行跟踪试验表明,基于光照无关图的阴影去除方法不仅满足了导航实时性的要求,而且使农业机器人在光照变化的情况下导航参数提取的鲁棒性有了更大的提高。     

苹果采摘机器人视觉系统研究进展

视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。     

基于果萼图像的猕猴桃果实夜间识别方法

根据猕猴桃的棚架式栽培方式,提出了一种适用于猕猴桃采摘机器人夜间识别的方法。采用竖直向上获取果实图像的拍摄方式,以果萼为参考点,进行果实的识别,并测试该方法对光照的鲁棒性。试验结果表明:基于果萼能够有效的识别猕猴桃果实,成功率达94.3%;未识别和误识别的果实一般出现在5果及5果以上的簇中,原因是果实相互挤压导致的果萼部分不在果实图像的中心区域,以及果实之间的三角区形成暗色封闭区域;光照过小或过大会导致成像模糊或过曝,对正确率有细微影响;识别速度达到了0.5 s/个。因此,基于果萼的猕猴桃果实夜间识别方法在正确识别率和速度上都有很大提升,更接近实际应用。     

基于平滑轮廓对称轴法的苹果目标采摘点定位方法

果实采摘点的精确定位是采摘机器人必须解决的关键问题。鉴于苹果目标具有良好对称性的特点,利用转动惯量所具有的平移、旋转不变性及其在对称轴方向取得极值的特性,提出了一种基于轮廓对称轴法的苹果目标采摘点定位方法。为了解决分割后苹果目标边缘不够平滑而导致定位精度偏低的问题,提出了一种苹果目标轮廓平滑方法。为了验证算法的有效性,对随机选取的20幅无遮挡的单果苹果图像分别利用轮廓平滑和未进行轮廓平滑的算法进行试验,试验结果表明,未进行轮廓平滑算法的平均定位误差为20.678°,而轮廓平滑后算法平均定位误差为4.542°,比未进行轮廓平滑算法平均定位误差降低了78.035%,未进行轮廓平滑算法的平均运行时间为10.2ms,而轮廓平滑后算法的平均运行时间为7.5ms,比未进行轮廓平滑算法平均运行时间降低了25.839%,表明平滑轮廓算法可以提高定位精度和运算效率。利用平滑轮廓对称轴算法可以较好地找到苹果目标的对称轴并实现采摘点定位,表明将该方法应用于苹果目标的对称轴提取及采摘点定位是可行的。     

基于演化算法的水果图像分割

为了满足水果采摘机器人对图像分割算法实时性和自适应性的要求,在传统演化算法的基础上,提出了一种基于蜂王交配结合精英选择、截断选择分阶段的改进演化算法对水果图像进行分割。在设计选择策略时,将迭代过程划分为前中后3个阶段,分别采用蜂王交配算法、精英选择策略和截断选择策略来进行适应值的选择,这样既保证了种群的多样性,又克服了传统演化算法局部最优、收敛过快的缺点。试验结果表明,该文提出的水果图像演化分割算法无论从稳定性、分割效果,还是全局最优收敛速度上,都明显优于传统演化算法,分割的阈值稳定在3个像素之内;与Otsu算法、贝叶斯分类算法、K均值聚类算法、模糊C均值算法等其他算法相比,水果图像演化分割算法分割效果最好,对同一幅图像进行分割得到的分割识别面积参考值最大,而且运行速度最快,平均运行时间为0.08735 s,远少于其余4种算法;并能用于柑橘、荔枝、苹果等各种水果的图像分割,具有一定的通用性,达到水果采摘机器人视觉实时识别的要求,为水果图像分割及其实时获取提供了一种新的基础算法。     

野生动物监测光照自适应Retinex图像增强算法

针对野外白天不同光照对野生动物监测图像质量造成的影响,提出一种基于Retinex理论的光照自适应图像增强方法。该方法首先使用基于复合梯度的引导滤波估计图像照度分量,克服光照突变造成的伪光晕现象;然后提出一种基于Otus阈值的对比度自适应拉伸方法实现照度分量的校正,克服传统算法过度增强的问题;最后采用照度分量单通道图像计算反射分量图像,实现色彩的保真。该文采用50张保护区实地拍摄的野生动物监测图像为样本进行试验,结果表明,该文算法相比于MSRCR算法、双边滤波Retinex算法和引导滤波Retinex算法色调保真度平均提高81.00%、5.24%和3.58%,信息熵平均提高6.76%、6.23%和2.61%,峰值信噪比平均提高53.43%、5.36%和-2.85%,运算耗时减少-29.03%、78.51%和28.68%,证明该文算法可以有效克服传统Retinex理论算法的过增强、伪光晕现象和灰化效应,实现不同光照条件下野生动物监测图像的自适应增强。