基于改进YOLOv7的果园行间导航线检测

在复杂果园环境中，传统机器视觉算法难以处理光影变化、遮挡、杂草等因素的干扰，导致导航道路分割不准确。针对此问题，该研究提出了一种改进YOLOv7的果园内导航线检测方法。将注意力机制模块(convolutional block attention module，CBAM)引入到原始YOLOv7模型的检测头网络中，增强果树目标特征，削弱背景干扰；在ELAN-H(efficient layer aggregation networks-head，ELAN-H)模块和Repconv(re-parameterization convolution，Repconv)模块之间引入SPD-Conv(space-to-depth，non-strided convolution，SPD-Conv)模块，提高模型对低分辨率图像或小尺寸目标的检测能力。以树干根部中点作为导航定位基点，利用改进YOLOv7模型得到两侧果树行线的定位参照点，然后利用最小二乘法拟合两侧果树行线和导航线。试验结果表明，改进YOLOv7模型检测精度为95.21%，检测速度为42.07帧/s，相比于原始YOLOv7模型分别提升了2.31个百分点和4.85帧/s，能够较为准确地识别出树干，且对树干较密的枣园图像也能达到较好的检测效果；提取到的定位参照点与人工标记树干中点的平均误差为8.85 cm，拟合导航线与人工观测导航线的平均偏差为4.90 cm，处理1帧图像平均耗时为0.044 s，能够满足果园内导航需求。     

最小二乘法与SVM组合的林果行间自主导航方法

为了提高作业装备在果园与树林行间的自主导航性能,该研究提出一种基于最小二乘法与支持向量机(Support Vector Machine,SVM)融合的树行识别与导航方法。研究采用履带式小型喷雾机为作业平台,通过低成本的单线激光雷达获取果园或树林环境点云数据,融合姿态传感器进行数据校正,利用最小二乘法拟合识别树行,结合SVM算法,预测果园行间中心线,作为作业平台的参考导航线。在桃园、柑橘园、松树林3种不同的行间环境对导航算法进行了测试验证,并以松树林导航为例进行分析。试验结果表明:该导航算法最大横向偏差为107.7 mm,横向偏差绝对平均值不超过17.8 mm,结合作业平台的行驶轨迹,说明该导航算法能够保证作业平台沿树行行间中心线自主导航行驶,能够满足作业装备在果园与树林行间自主导航作业的需求。     

基于改进YOLOv3的果树树干识别和定位

为提高果园机器人自主导航和果园作业的质量、效率,该研究提出一种基于改进YOLOv3算法对果树树干进行识别,并通过双目相机进行定位的方法。首先,该算法将SENet注意力机制模块融合至Darknet53特征提取网络的残差模块中,SENet模块可增强有用特征信息提取,压缩无用特征信息,进而得到改进后残差网络模块SE-Res模块;其次,通过K-means聚类算法将原始YOLOv3模型的锚框信息更新。果树树干定位通过双目相机的左、右相机对图像进行采集,分别传输至改进YOLOv3模型中进行果树树干检测,并输出检测框的信息,再通过输出的检测框信息对左、右相机采集到的果树树干进行匹配;最后,通过双目相机三角定位原理对果树树干进行定位。试验表明,该方法能较好地对果树树干进行识别和定位,改进YOLOv3模型平均精确率和平均召回率分别为97.54%和91.79%,耗时为0.046 s/帧。在果树树干定位试验中,横向和纵向的定位误差均值分别为0.039 和0.266 m,误差比均值为3.84%和2.08%;与原始YOLOv3和原始SSD模型相比,横向和纵向的定位误差比均值分别降低了15.44、14.17个百分点和21.58、20.43个百分点。研究结果表明,该方法能够在果园机器人自主导航、开沟施肥、割草和农药喷洒等作业中进行果树识别和定位,为提高作业效率、保障作业质量奠定理论基础。     

基于垄线平行特征的视觉导航多垄线识别

为有效快速地识别农田多条垄线以实现农业机器人视觉导航与定位,提出一种基于机器视觉的田间多垄线识别与定位方法。使用VC++ 6.0开发了农业机器人视觉导航定位图像处理软件。该方法通过图像预处理获得各垄行所在区域,使用垂直投影法提取出导航定位点。根据摄像机标定原理与透视变换原理,计算出各导航定位点世界坐标。然后结合垄线基本平行的特征,使用改进的基于Hough变换的农田多垄线识别算法,实现多垄线的识别与定位。使用多幅农田图像进行试验并在室内进行了模拟试验。处理一幅320×240的农田图像约耗时219.4 ms,室内试验各垄线导航距与导航角的平均误差分别为2.33 mm与0.3°。结果表明,该方法能有效识别与定位农田的多条垄线,同时算法的实时性也能满足 要求。     

基于知识的视觉导航农业机器人行走路径识别

目前的农业生产方式引起了环境污染、生态恶化等诸多问题，研制具有精确作业能力的视觉导航农业机器人因而被较多关注。针对导航视觉系统采集的农田非结构化自然环境彩色图像，探讨了用于行走路径识别的适宜的彩色特征，并结合农田作业时农业机器人行走路径的特点，运用路径知识启发机制识别出行走路径。与传统的阈值分割算法的对比处理试验表明，此识别算法可以明显地改善路径识别效果。     

矮化密植枣园收获作业视觉导航路径提取

针对矮化密植枣园环境的复杂性,提出一种基于图像处理的枣园导航基准线生成算法。选用B分量图进行处理,提出"行阈值分割"方法分割树干与背景;根据拍摄场景及视角提出"行间区域"方法剔除行间噪声;通过统计树干与地面交点位置分布区域选取图像五分之二向下区域进行处理;依据树干纵向灰度分布规律,采用浮动窗口灰度垂直投影方法结合形态学开闭运算提取树干区域;基于枣园行间线性分布特征引入"趋势线",而后利用点到直线的距离与设定阈值作比较选取树干与地面的交点;利用交点的位置分布将其归类,并采用最小二乘法原理拟合左右两侧边缘,提取边缘线上各行的几何中心点生成枣园导航基准线。通过对阴天、晴天、顺光、逆光、噪声多元叠加5种条件进行试验,结果表明,该算法具有一定的抗噪性能,单一工况条件导航基准线生成准确率可达83.4%以上,多工况条件准确率为45%。针对5种工况条件的视频检测,结果表明,单一工况条件算法动态检测准确率可达81.3%以上,每帧图像处理平均耗时低于1.7 s,多工况条件检测准确率为42.3%,每帧图像平均耗时1.0 s。该研究可为矮化密植果园实现机器人自主导航作业提供参考。     

基于Census变换的双目视觉作物行识别方法

针对基于双目视觉技术的作物行识别算法在复杂农田环境下,立体匹配精度低、图像处理速度慢等问题,该文提出了一种基于Census变换的作物行识别算法。该方法运用改进的超绿-超红方法灰度化图像,以提取绿色作物行特征;采用最小核值相似算子检测作物行特征角点,以准确描述作物行轮廓信息;运用基于Census变换的立体匹配方法计算角点对应的最优视差,并根据平行双目视觉定位原理计算角点的空间坐标;根据作物行生长高度及种植规律,通过高程及宽度阈值提取有效的作物行特征点并检测作物行数量;运用主成分分析法拟合作物行中心线。采用无干扰、阴影、杂草及地头环境下的棉田视频对算法进行对比试验。试验结果表明,对于该文算法,在非地头环境下,作物行中心线的正确识别率不小于92.58%,平均偏差角度的绝对值不大于1.166°、偏差角度的标准差不大于2.628°;图像处理时间的平均值不大于0.293 s、标准差不大于0.025 s,能够满足田间导航作业的定位精度及实时性要求。     

基于扫描滤波的农机具视觉导航基准线快速检测方法

针对基于机器视觉的自动导航系统现有导航线提取算法易受外界环境干扰和处理速度较慢等问题,该文提出一种基于图像扫描滤波的导航线提取方法。首先获取不同农作物的彩色图像,使用2G-R-B算法对彩色图片进行灰度化处理,得到作物行和土壤背景对比性良好的图片。使用Otsu方法对图像进行分割,得到二值化的图像后,再采用腐蚀-中值滤波-膨胀的滤波方法对图像进行去噪处理。然后使用该文提出的扫描滤波导航线提取算法,将图像分成左右两部分,使用等面积三角形对两部分分别进行扫描后,再对扫描的结果进行滤波,从而提取作物行,得到导航线。试验结果表明,采用该方法处理一幅640×320像素的图像只需要76ms,可满足农机具实时导航的要求;与传统导航线提取算法相比,该算法计算速度快,适应能力强。     

基于图像特征点粒子群聚类算法的麦田作物行检测

为了快速准确地提取麦田作物行中心线,提出了基于图像特征点粒子群聚类算法的麦田作物行检测。首先,对自然光照下获取的彩色图像运用"过绿颜色因子图像灰度化"、"Otsu图像二值化"、"左右边缘中间线检测提取作物行特征点算法"3步对图像进行预处理。然后,根据农田作物行中心线周围区域的特征点到该直线的距离均小于某一距离阈值的特征,运用粒子群优化算法对每一作物行的特征点分别进行聚类。最后,对每一类的特征点用最小二乘法进行直线拟合获取麦田作物行中心线。试验结果表明,该算法可以对作物断行、杂草、土块等复杂农田环境下的图像进行有效地作物行检测,识别率达95%,识别误差小于3°。与标准Hough算法相比,运行速率提升了一倍。该文可为实现农业机器人田间作业提供参考。     

采用双目视觉和自适应Kalman滤波的作物行识别与跟踪

针对传统作物行识别方法在相邻图像间的识别结果偏差较大,作物行的定位精度和稳定性低等问题,该研究提出一种基于双目视觉和自适应Kalman滤波技术的作物行识别与跟踪方法。对于作物行识别,首先建立图像预处理算法,基于改进的超绿-超红模型和最大类间方差法分割植被灰度特征;建立作物行特征提取算法,基于特征点检测技术和双目视差测距方法计算植被角点特征的三维坐标,根据三维阈值提取作物行特征点,进而建立作物行中心线检测算法,建立基于主成分分析的直线拟合模型,根据作物行特征点的频数统计规律检测作物行冠层中心线。对于作物行跟踪,建立跟踪目标规划模型,提取位于图像中央区域的作物行作为跟踪目标;建立目标状态方程,基于自适应Kalman滤波技术构建作物行中心线跟踪模型。以棉花图像开展试验研究,图像数据包括阴影、杂草、地头等田间场景。试验结果表明,该研究方法的作物行识别准确度、精度和速度均较高,识别正确率约为92.36%,平均航向偏差为0.31°、标准差为2.55°,平均识别速度约80.25 ms/帧;经目标跟踪后,航向角和横向位置估计的标准差分别为2.62°和0.043 m、较无跟踪状态分别减小22.94%和10.42%,作物行中心线的方位估计精度进一步提高。研究成果可为导航系统提供连续、稳定的作物行导引参数。     

基于颜色及纹理特征的果蔬种类识别方法

为更好地表述果蔬图像纹理特征,提高智能果蔬识别系统识别准确性,提出一种颜色完全局部二值模式纹理特征提取算法。果蔬识别系统模型利用颜色完全局部二值模式提取图像纹理特征,利用HSV颜色直方图、外点/内点颜色直方图提取图像颜色特征,采用匹配得分融合算法将颜色和纹理特征相融合,采用最近邻分类器实现果蔬农产品分类。通过不同光照条件下和不同数量训练样本条件下的试验得出：颜色完全局部二值模式的果蔬图像纹理表述能力明显优于和差直方图等果蔬图像纹理操作子,识别率提升最小在5%以上,更适合果蔬分类;对比其他纹理特征提取算法,采用颜色完全局部二值模式与颜色特征进行融合时,识别率最优,时间开销约为1.1 s。该方法能够应用到智能果蔬识别系统中,提升系统识别准确性。     

图像拼接重建苹果树冠层器官三维形态

为重建苹果树年生长期冠层器官三维形态,以休眠期、疏花期、成熟期苹果树冠层为研究对象,分别针对基于光合混合探测技术(photonic mixer detector,PMD)的摄像机与彩色摄像机获取的强度图像与彩色图像开展冠层图像拼接技术研究。利用Scale invariant feature transform算法的尺度不变特征,并结合Random sample consensus算法精确确定图像映射模型,避免了果园非结构光及图像尺度变换的影响。以此为基础,应用拉普拉斯金字塔分解与重构算法、分层确定融合规则,实现了不同生长期的冠层图像拼接,有效克服了传统融合算法反映细节信息能力差、拼接痕迹明显等缺点。果园不同环境下(晴天顺光、晴天逆光、阴天)的试验表明:提出的拼接方法适合于苹果树年生长期的冠层器官图像拼接,且算法的鲁棒性、速度及拼接精度均能满足冠层三维重建工作的要求,研究成果对提升剪枝、疏花、测产、采摘等果园管理的信息化水平具有重要意义。     

基于偏好人工免疫网络多特征融合的油茶果图像识别

为提高油茶果采摘机器人机器视觉的识别率,该文提出了基于偏好人工免疫网络识别的油茶果多特征融合识别方法。在对油茶果图像进行处理的基础上,提取待识别目标区域的颜色特征、形态特征、纹理特征进行聚类,并提取典型油茶果多特征作为偏好抗体,使多特征参数在偏好免疫算法中进行有效融合。仿真试验结果表明,多特征融合的识别方法对油茶果果实的识别率在晴天时达到了90.15%,阴天时达到了93.90%。而时间复杂度基本不变,取得了较好的识别效果,该研究可为下一步油茶果采摘机器人智能采摘提供参考。     

基于图像特征融合的苹果在线分级方法

苹果在线分级是提升苹果商品化价值的重要环节,需要同时满足分级准确度和速度要求。为进一步提高苹果在线分级效率,该文借助机器视觉技术动态采集苹果传输过程中的实时图像,提出改进的三层Canny边缘检测算法来提取苹果轮廓以克服采集图像中的光线噪声影响,通过分析苹果分级指标,采用判别树对苹果的果径、缺陷面积、色泽等特征进行初步分级判断,并采用粒子群参数优化的支持向量机对果形、果面纹理、颜色分布等特征进行模型构建与分级,最后,通过将两种分级判断结果进行决策融合来实现样本精确分级。同时,采取图像压缩和特征降维方法提高实时性。试验结果表明,基于图像特征决策融合的苹果分级准确率可达到95%,平均分级速率可达到4个/s。研究结果为水果的在线分级提供参考。     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

基于机器视觉的马铃薯晚疫病快速识别

晚疫病是马铃薯的一种严重病害,可造成减产甚至绝收。因此马铃薯晚疫病的识别与控制对提高其产量有非常重要的意义。该文基于机器视觉技术对马铃薯叶部晚疫病进行检测,根据马铃薯叶片上晚疫病斑的颜色、纹理和形状特征参数的不同,提取叶片表面的特征参数,并建立数学模型对病害程度做出评价。在RGB、HSV颜色空间中,根据马铃薯叶片在患病早期叶片颜色发生变化且与健康叶片不同,利用颜色特征,建立马铃薯晚疫病的无病和患病模型,该模型对马铃薯患病早期的识别率为67.5%。利用灰度共生矩阵,采用纹理统计参数进行病害等级评价,用熵值和能量值描述晚疫病的严重程度,纹理特征对患病程度的识别率比较稳定,对患病中期与后期的识别率分别为72.5%与80%。利用形状特征的相对特征,根据病斑面积比进行晚疫病诊断,该方法对马铃薯叶片晚疫病患病后期的诊断取得较好效果,识别率为90%,但由于叶片患病早期的病斑面积小且分散,识别难度大,识别率仅为50%。针对颜色、纹理及形状特征在识别马铃薯叶片晚疫病时的优势与局限性,提出颜色纹理形状特征结合的识别方法,对患病中期与后期的识别率分别为90%和92.5%。通常马铃薯晚疫病的理化值检测法耗时数天,但利用机器视觉识别马铃薯晚疫病患病情况非常快速,根据颜色特征进行病害识别的时间约为4 s,纹理特征识别的时间为7 s,形状特征特征识别的时间为3 s,综合颜色纹理形状特征的识别由于计算量较大,识别时间为9 s。该研究可为基于机器视觉的马铃薯晚疫病的快速检测提供理论依据。     

基于K-means算法的温室移动机器人导航路径识别

针对温室移动机器人机器视觉导航路径识别实时性差、受光照干扰影响严重等问题,首先,将HSI颜色空间3个分量进行分离,选取与光照信息无关且可以有效抑制噪声影响的色调分量H进行后续图像处理,以削弱光照对机器人视觉导航的不良影响;针对温室环境图像特有的颜色特征信息,引入K-means算法对图像进行聚类分割,将垄间道路信息与绿色作物信息各自聚类,再通过形态学腐蚀方法去除聚类后图像中存在的冗余、干扰信息,以获得完整的道路信息,与常用阈值分割方法相比,可降低因分割信息不明确而导致后续Hough变换进行直线拟合时需占据大量内存且计算量较大的问题,进而提高移动机器人路径识别的快速性,并适应温室作业机器人自主导航的高实时性要求。试验结果表明,该文方法在复杂背景与变光照条件下的温室作业环境中可大幅降低光照对机器人导航的影响,对于光照不均具有良好的鲁棒性,道路信息提取率可达95%。同时,其平均单幅图像处理时耗降低53.26%,可显著提高路径识别速度。该研究可为解决温室移动机器人机器视觉导航路径识别的鲁棒性及实时性问题提供参考。     

基于多特征融合和深度置信网络的稻田苗期杂草识别

杂草的准确识别是田间杂草精准防控管理的前提,机器视觉技术是实现杂草准确识别的有效手段。该文以水稻苗期杂草为研究对象,采集稻田自然背景下和不同光照条件下的6种杂草图像共928幅,包括空心莲子草、丁香蓼、鳢肠、野慈姑、稗草和千金子。采用1.1G-R颜色因子将杂草RGB图像进行灰度化,选择自动阈值自动分割得到杂草前景二值图像,通过腐蚀膨胀形态学操作进行叶片内部孔洞填充,应用面积滤波去除其他干扰目标,最后将杂草二值图像与RGB图像进行掩膜运算得到去除背景的杂草图像;提取杂草图像的颜色特征、形状特征和纹理特征共101维特征,并对其进行归一化处理。在双隐含层和单隐含层的深度置信网络(deep belief networks,DBN)结构基础上,对DBN隐含层节点数选择方法进行研究。针对双隐含层DBN节点数,选择恒值型、升值型和降值型3种节点组合方式进行优化研究,当网络结构为101-210-55-6时杂草识别率为83.55%;通过对单隐含层节点参数优化得到网络结构为101-200-6时杂草识别率达到91.13%。以同一测试样本的运行时间值作为模型的测试时间对3种不同模型进行耗时测试,SVM模型、BP模型和DBN模型测试结果分别为0.029 7、0.030 6和0.034 1 s,试验结果表明基于多特征融合的DBN模型的识别精度最高,且耗时较其他2种模型相差不大,可满足实时检测的速度要求,所以在实际应用中应优先选择基于多特征融合的DBN模型。该研究可为稻田杂草识别与药剂选择性喷施提供参考。     

温室绿熟番茄机器视觉检测方法

针对基于可见光图像对绿色番茄进行识别过程中,光线不均造成的阴影等会影响果实的识别、枝干和叶片对果实的遮挡以及果实之间的遮挡对果实识别的影响等难题,该文对基于机器视觉的绿色番茄检测方法进行研究。首先通过快速归一化互相关函数(FNCC,fast normalized cross correlation)方法对果实的潜在区域进行检测,再通过基于直方图信息的区域分类器对果实潜在区域进行分类,判别该区域是否属于绿色果实,并对非果实区域进行滤除,估计果实区域的个数。与此同时,基于颜色分析对输入图像进行分割,并通过霍夫变换圆检测绿色果实的位置。最终对基于FNCC和霍夫变换圆检测方法的检测结果进行融合,实现对绿色番茄果实的检测。当绿色果实和红色果实同时存在时,将绿色果实检测结果与基于局部极大值法和随机圆环变换检测圆算法的红色番茄果实检测结果进行合并。算法通过有机结合纹理信息、颜色信息及番茄的形状信息,对绿色番茄果实进行了检测,解决了绿色番茄与叶子、茎秆等背景颜色接近等难题。文中共使用了70幅番茄图像,其中35幅图像作为训练集图像,35幅作为验证集图像。所提出算法对训练集图像中的83个果实的检测正确率为89.2%,对验证集图像中105个果实的检测正确率为86.7%,为番茄采摘机器人采摘红色和绿色成熟番茄奠定了基础。