基于光照无关图的农业机器人视觉导航算法

完成沿作物行的行走作业是农业机器人视觉导航系统的一个基础功能,但是由于田间环境的复杂性,比如阴影的存在和天气的恶劣变化等外界因素的影响使导航参数的提取变得困难。该研究针对农业机器人视觉导航中存在的阴影干扰问题,采用基于光照无关图的方法去除导航图像中的阴影,然后采用增强的最大类间方差法进行图像分割和优化的Hough变换提取作物行中心线,最终通过坐标转换获得导航参数。最后,通过作物行跟踪试验表明,基于光照无关图的阴影去除方法不仅满足了导航实时性的要求,而且使农业机器人在光照变化的情况下导航参数提取的鲁棒性有了更大的提高。     

基于Retinex图像增强的不同光照条件下的成熟荔枝识别

为了满足自然环境下荔枝采摘机器人视觉定位系统的有效性和实时性的要求,针对不同光照条件的荔枝彩色图像,采用基于双边滤波的Retinex图像增强算法凸显图像中的荔枝果实和果梗,对增强处理后的图像在HSI颜色空间中进行H分量旋转的处理,再对旋转处理后的H分量进行Otsu自动阈值分割去除荔枝图像果实和果梗外的复杂背景;然后通过将双三次插值算法和传统的模糊C均值（FuzzyC-Mean）算法融合,对去背景后的荔枝图像在YCbCr颜色空间中进行Cr分量模糊聚类分割,实现荔枝果实和果梗的识别。荔枝图像的分割试验结果表明：该算法对晴天顺光、逆光、遮阴、阴天顺光等光照条件的荔枝图像能够有效地分割,对阴天弱光照、果实被遮阴条件下的荔枝也能较好的识别,并保持荔枝果实和果梗区域的完整性,4种光照条件荔枝图像分割正确率分别为96%、90%、89.3%和88.9%,成熟荔枝识别的正确率达到了90.9%,该研究为水果采摘机器人的室外作业的实时性和有效性提供指导。     

基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割

为了提高在自然采摘环境中成熟桑葚机器视觉识别的有效性和鲁棒性,克服图像目标形态小、分布杂散、背景干扰多和光照不均匀等困难,该文提出了一种采用视觉显著性和脉冲耦合神经网络(pulse coupled neural network,PCNN)模型的成熟桑葚图像分割方法。该方法首先将采集的图像映射到Lab颜色空间,利用空间颜色分量的算术平均值和高斯滤波值之间的差异,构建起桑葚图像的频率调谐视觉显著图;其次,提取采集图像在HSI颜色空间的色调分量,经过均衡化处理后,与视觉显著图进行融合,实现桑葚目标的融合特征表达;最后,通过改进的分层阈值化脉冲耦合神经网络模型进行目标分割以及形态学处理,得到成熟桑葚的识别结果。利用从重庆市天府镇果桑生态园采集到的200余幅桑树挂果图像进行试验,结果表明,该方法能够在不同光照条件的复杂背景下,有效分割出成熟果实,平均误分率为1.87%,优于结合频率调谐视觉显著性的OTSU法(17.73%)、K-means聚类算法(10.69%)、基于Itti视觉显著性的PCNN分割方法(7.34%)和基于GBVS(graph-based visual saliency,GBVS)视觉显著性的PCNN分割方法(5.83%)。研究结果为成熟桑葚果实的智能化识别提供参考。     

基于视觉显著性改进的水果图像模糊聚类分割算法

准确分割水果图像是采摘机器人实现视觉定位的关键技术。该文针对传统模糊聚类对初始聚类中心敏感、计算量大和易出现图像过分割等问题,结合机器人的视觉特性,提出了一种基于多尺度视觉显著性改进的水果图像模糊聚类分割算法。首先,选择适当的颜色模型把彩色水果图像转换为灰度图像;然后对灰度图像做不同尺度的高斯滤波处理,基于视觉显著性的特点,融合了多个不同尺度的高斯滤波图像,形成图像聚类空间;最后,用直方图和模拟退火粒子群算法对图像的传统模糊聚类分割算法进行了改进,用改进的算法分别对采集到的100张成熟荔枝和柑橘图像,各随机选取50张,进行图像分割试验。试验结果表明:该方法对成熟荔枝和柑橘的图像平均果实分割率分别为95.56%和93.68%,平均运行时间分别为0.724和0.790s,解决了水果图像过分割等问题,满足实际作业中采摘机器人对果实图像分割率和实时性的要求,为图像分割及其实时获取提供了一种新的基础算法,为视觉精确定位提供了有效的试验数据。     

采用改进Unet网络的茶园导航路径识别方法

针对目前在茶园垄间导航路径识别存在准确性不高、实时性差和模型解释困难等问题，该研究在Unet模型的基础上进行优化，提出融合Unet和ResNet模型优势的Unet-ResNet34模型，并以该模型所提取的导航路径为基础，生成路径中点，通过多段三次B样条曲线法拟合中点生成茶园垄间导航线。该研究在数据增强后的茶园垄间道路训练集中完成模型训练，将训练完成的模型在验证集进行导航路径识别，根据梯度加权类激活映射法解释模型识别过程，可视化对比不同模型识别结果。Unet-ResNet34模型在不同光照和杂草条件下导航路径分割精度指标平均交并比为91.89%，能够实现茶园垄间道路像素级分割。模型处理RGB图像的推理速度为36.8 帧/s，满足导航路径分割的实时性需求。经过导航线偏差试验可知，平均像素偏差为8.2像素，平均距离偏差为0.022 m，已知茶园垄间道路平均宽度为1 m，道路平均距离偏差占比2.2%。茶园履带车行驶速度在0～1 m/s之间，单幅茶垄图像平均处理时间为0.179 s。研究结果能够为茶园视觉导航设备提供技术和理论基础。     

改进随机样本一致性算法的弯曲果园道路检测

果园道路检测的目的是为农业采摘机器人鲁棒实时地规划出合适的行走路径,因果园环境的复杂性,例如光照变化、杂草和落叶遮挡等因素的影响造成视觉检测算法鲁棒性差,为此提出融合边缘提取和改进随机样本一致性的弯曲果园道路检测方法。首先,根据果园道路的颜色分布特征和几何形状特征,使用有限差分算子提取图像边缘,再使用灰度值对比度约束和霍夫直线检测去除噪声,实现道路边缘点提取。然后,提出多项式函数描述直线和弯曲道路,使用改进的随机样本一致性算法和线性最小二乘法拟合道路边缘点,以估计多项式函数的参数,实现果园道路检测。在华南农业大学果园采集240张道路图像作为试验对象。试验表明:在光照变化、阴影和遮挡背景的影响下,该方法能有效地提取果园道路边缘点,并能正确地拟合道路以实现道路检测,平均正确检测率为89.1%,平均检测时间为0.2639 s,能够满足视觉导航系统的要求。该研究为农业采摘机器人的视觉导航的鲁棒性和实时性提供指导。     

基于自动Hough变换累加阈值的蔬菜作物行提取方法研究

为解决机器视觉对生菜和绿甘蓝两种作物在整个生长时期内多环境变量对作物行识别影响的问题,同时提高机器视觉作物行识别算法的有效性,该文提出了一种基于自动Hough变换累加阈值的多作物行提取算法。首先,选用Lab颜色空间中与光照无关a分量对绿色作物进行提取,通过最优自适应阈值进行图像分割,并采用先闭后开形态学运算对杂草和作物边缘进行滤波。其次,采用双阈值分段垂直投影法对作物行特征点进行提取,通过对亮度投影视图中的目标像素占比阈值和噪声判断阈值设置,实现特征点位置判断和杂草噪声过滤,并对相邻特征点进行优化,剔除部分干扰特征。最后,采用Hough变化对特征点进行直线拟合,将不同Hough变换累加阈值获得的拟合直线映射到累加平面上,通过K-means聚类将累加平面数据聚类为与作物行数相同的类数,根据相机成像的透视原理提出基于聚类质心距离差和组内方差的最优累加阈值获取方法,将最优累加阈值下累加平面中的聚类质心作为识别出的真实作物行线。温室和田间试验表明,针对不同生长时期的生菜和绿甘蓝作物,该文算法均可有效识别出作物行线,最优阈值算法耗时小于1.5 s,作物行提取平均耗时为0.2 s,在田间和温室中作物行的平均识别准确率分别为94.6%、97.1%,识别准确率为100%的占比分别为86.7%和93.3%。研究结果为解决多环境变量影响因素下的算法鲁棒性和适用性问题提供依据。     

用动态图层融合与纹理-灰度梯度能量模型的果树行识别

为解决果园机器视觉导航中果树行识别易受果园复杂环境干扰的问题,该研究提出一种采用动态选取融合因子对彩色图像与深度图像进行图层融合并采用纹理-灰度梯度能量模型进行图像分割的果树行视觉识别算法。首先,通过搭建立体视觉系统获取果园彩色图像与对应的深度图像,并基于饱和度（S）通道图像的灰度值选取动态融合因子,实现对果园彩色图像与深度图像的图层融合;然后,分别计算融合图像的纹理特征图像与灰度梯度特征图像,并建立纹理-灰度梯度结合的能量模型,基于模型能量最小原则进行树干与背景的分割;最后,以树干与地面交点为果树行特征点进果树行直线拟合,完成果树行角度的识别。并对上述算法分别进行果树行识别试验与移动作业平台视觉对行导航试验。果树行识别试验结果表明,该研究算法果树行角度识别平均偏差为2.81°,与基于纹理、灰度梯度特征的果树行识别算法相比识别平均偏差分别降低2.37°和1.25°。移动作业平台视觉导航试验结果表明,在作业平台速度为0.6 m/s时,对行行驶最大偏差为12.2 cm,平均偏差为5.94 cm。该研究提出的视觉导航算法可以满足果园移动作业平台视觉对行导航需求,研究成果将为基于机器视觉的果园自动导航系统的研究与优化奠定基础。     

基于知识的视觉导航农业机器人行走路径识别

目前的农业生产方式引起了环境污染、生态恶化等诸多问题，研制具有精确作业能力的视觉导航农业机器人因而被较多关注。针对导航视觉系统采集的农田非结构化自然环境彩色图像，探讨了用于行走路径识别的适宜的彩色特征，并结合农田作业时农业机器人行走路径的特点，运用路径知识启发机制识别出行走路径。与传统的阈值分割算法的对比处理试验表明，此识别算法可以明显地改善路径识别效果。     

基于双目视觉的香蕉园巡检机器人导航路径提取方法

为实现移动机器人香蕉园巡检自动导航,研究提出了一种基于双目视觉的香蕉园巡检路径提取方法。首先由机器人搭载的双目相机获取机器人前方点云,进行预处理后对点云感兴趣区域进行二维投影并将投影结果网格化,得到网格地图;然后采用改进的K-means算法将道路两侧香蕉树分离,其中初始聚类中心通过对网格地图进行垂直、水平投影以及一、二阶高斯拟合确定;最后基于最小包围矩形提取导航路径,将道路两侧网格以最小矩形框包围,提取两包围框中间线作为期望导航路径。测试结果表明,改进的K-means算法聚类成功率为93%,较传统方法提高了12%;导航路径提取平均横向偏差为14.27 cm,平均航向偏差为4.83°,研究方法可为香蕉园巡检机器人自动导航提供支持。     

基于图像处理的玉米收割机导航路线检测方法

快速精准的检测出导航路线并对田端做出准确判断是收割机视觉导航的前提。为解决玉米收割机导航作业过程中因玉米列阴影、玉米田端的杂草等因素对检测精度干扰的问题,该文通过分析视觉导航图像的颜色特征去除阴影干扰,对玉米收割机提取导航作业路径和判断田端提出了检测算法。为减少计算量,设定关注区域作为非第一帧图像的处理范围;为去除玉米列阴影对检测结果造成的干扰,强调关注区域内G(绿色)分量并减弱R(红色)或B(蓝色)分量;为加快处理速度,采用跳行累计G分量的方式确定候补点。在关注区域内对图像中去除阴影干扰后的G分量垂直累计值查找候补点,对图像上半部分收敛性好的候补点通过方差计算确定出已知点,再利用过已知点Hough变换拟合出玉米列边界所在的导航线。最后采用R分量的连续突变判断收割机是否到达田端。田间试验表明:目标直线的平均检测时间为50.13 ms/帧,对田端的检测准确可靠,满足玉米收割的作业要求。该研究成果也适用于高粱等其它高杆作物的机械化收获应用。     

基于Niblack自适应修正系数的温室成熟番茄目标提取方法

番茄目标的准确提取是番茄采摘的基础,目前番茄目标提取方法都有一定的局限性,难以满足采摘需求。该研究在传统Niblack算法的基础上,结合图像全局灰度变化的估计信息与局部区域信息之间的关联性,提出了一种基于Niblack自适应修正系数的温室成熟番茄目标提取新方法。首先对R-G番茄灰度图像,采用基于自适应修正系数选取的Niblack算法进行阈值分割,从理论意义上确定修正系数的选取原则,归一化局部标准差,实现修正值的计算及二值化过程,然后对分割后的图像去噪,最后采用最小临界矩形法提取成熟番茄果实。试验结果表明,该方法对温室成熟番茄图像有较好的提取效果,识别正确率达到98.3%,与基于归一化红绿色差灰度化的Otsu算法和传统的Niblack算法相比有更高的识别率和更快的处理速度,噪声率也明显减少,能够满足后续成熟番茄定位的需要,有效地解决传统方法适应性低,易产生伪噪声块等问题。     

双激光雷达温室运输机器人导航系统研制

为解决机器人在温室环境下的自主导航问题,该研究研制了基于双激光雷达的温室运输机器人导航系统,实现温室环境下的地图构建、路径规划和定位导航。融合激光雷达与编码器信息,使用cartographer算法及时定位与地图构建。根据地图与检测点信息,采用Dijkstra算法规划全局路径,使用动态窗口算法规划局部路径,完成自主导航。试验表明,车载系统分别以0.2、0.5和0.8 m/s速度运行时,实际导航路径与目标路径的横向平均偏差小于13 cm,标准差小于5 cm;导航目标点处横向偏差、纵向偏差的平均值不超过9 cm,均方根误差不超过11.2 cm,标准差小于5 cm,航向偏差的平均值小于10°,均方根误差小于12°,标准差小于6°,满足机器人温室运输作业的导航精度需求。     

变光照环境下农用车辆导航方法

摘要：为了使农业车辆视觉导航系统对不同的光照环境具有良好的适应性,分析了不同光照环境对农业车辆导航路径的影响。在普通环境导航路径识别方法的基础上,针对影响较大的强光照环境,提出一种基于直方图均衡与中心线检测的适应于不同光照环境的导航路径识别方法。大量田间试验证明,该方法的识别准确率为92%,平均消耗时间为245m,能够快速、可靠、准确的提取导航路径特征。该研究可为农业车辆视觉航系统的研发提供参考。     

改进Niblack算法的光照不均匀QR码识别研究

QR码作为农产品可追溯体系的信息载体,一直是农业领域的科研热点。在实际应用中,溯源环境的复杂多变易使设备采集到光照不均匀的QR码图像而增加解码流程中二值化的难度,影响后续解码。该文针对原始Niblack算法自适应性不足的缺陷,提出一种自适应邻域窗口和修正系数的Niblack算法,该算法依据QR码图像的分辨率和灰度值,动态调整修正系数和邻域窗口,进行自适应二值化处理。分别用改进Niblack算法,原始Niblack算法和Otsu算法处理设备无法识别的不同光照环境下、不同程度的光照不均匀QR码图像,试验数据表明经改进算法处理后的识别成功率为74.2%,高出原始Niblack算法18.4%,高出Otsu算法71.7%,具有较高的鲁棒性。这一结果对农产品在各种光照不均匀环境中的溯源提供了参考。