自然环境下葡萄采摘机器人采摘点的自动定位

针对葡萄果梗颜色复杂多变、轮廓不规则等影响因素使得采摘机器人难以准确对采摘点进行定位的问题,该文提出一种基于改进聚类图像分割和点线最小距离约束的采摘点定位新方法。首先通过分析葡萄图像的颜色空间,提取最能突显夏黑葡萄的HSI色彩空间分量H,运用改进的人工蜂群优化模糊聚类方法对葡萄果图像进行分割;然后对分割图像进行形态学去噪处理,提取最大连通区域,计算该区域质心、轮廓极值点、外接矩形;再根据质心坐标与葡萄簇边缘信息确定采摘点的感兴趣区域,在区域内进行累计概率霍夫直线检测,求解所有检测得出的直线到质心之间的距离,最后选取点线距离最小的直线作为采摘点所在线,并取线段中点坐标作为采摘点。以从晴天顺光、晴天遮阴、阴天光照下采集的300幅夏黑葡萄进行分类试验,结果表明,该方法的采摘点定位准确率达88.33%,平均定位时间为0.3467 s,可满足采摘机器人对采摘点的定位需求,为葡萄采摘机器人提供了一种新的采摘点求解方法。     

基于图像特征点粒子群聚类算法的麦田作物行检测

为了快速准确地提取麦田作物行中心线,提出了基于图像特征点粒子群聚类算法的麦田作物行检测。首先,对自然光照下获取的彩色图像运用"过绿颜色因子图像灰度化"、"Otsu图像二值化"、"左右边缘中间线检测提取作物行特征点算法"3步对图像进行预处理。然后,根据农田作物行中心线周围区域的特征点到该直线的距离均小于某一距离阈值的特征,运用粒子群优化算法对每一作物行的特征点分别进行聚类。最后,对每一类的特征点用最小二乘法进行直线拟合获取麦田作物行中心线。试验结果表明,该算法可以对作物断行、杂草、土块等复杂农田环境下的图像进行有效地作物行检测,识别率达95%,识别误差小于3°。与标准Hough算法相比,运行速率提升了一倍。该文可为实现农业机器人田间作业提供参考。     

弱光复杂背景下基于MSER和HCA的树上绿色柑橘检测

基于图像处理和机器视觉的树上绿色柑橘检测,能为果园管理者施肥、估产及采摘作业提供指导.该文提出一种基于水果表面光照分布的分层轮廓分析(hierarchical Contour Analysis,HCA)算法实现了树上绿色柑橘的检测.彩色数码相机拍摄弱光下由闪光灯补光的树上柑橘场景彩色图像,基于水果表面的光照分布应用最大稳定极值区域(maximally stable extremal region,MSER)算法提取图像中的感兴趣区域,然后建立感兴趣区域周围的分层轮廓图,并利用霍夫变换拟合每一级轮廓获得分层圆形目标,最后进行拟合圆嵌套分析得到绿色柑橘水果目标.所提算法在20张复杂的柑橘果园场景图像中进行了测试,最终的召回率达81.2%,查准率达到83.5%,单幅图像平均处理时间为3.70 s.该文所提出的基于光照分布的分层轮廓分析算法,不仅适用于绿色柑橘的检测,也可为其他树上绿色水果检测提供通用的框架和思路.     

番茄果实串采摘点位置信息获取与试验

针对番茄收获机器人在采摘过程中果实串采摘点位置难以确定的问题,提出了基于果梗骨架角点计算方法,并利用该算法对番茄果实串果梗采摘点进行位置信息获取:首先采用最大类间方差分割法进行目标果实串分割,通过形态学方法和阈值法去除干扰,提取出目标果实串分割图像;根据果实串的质心和果串的轮廓边界确定果梗的感兴趣区域,采用快速并行细化算法提取果梗的骨架,利用Harris算法检测得到果实串第一个果实分叉点与植株主干之间果梗骨架角点,通过计算获得采摘点位置信息。然后进行验证试验,利用双目视觉图像采集系统采集了60组果实串图像并获取果梗采摘点位置信息,结果表明,采摘点位置成功率为90%,为采摘机器人提供准确的采摘位置信息。     

基于K-means算法的温室移动机器人导航路径识别

针对温室移动机器人机器视觉导航路径识别实时性差、受光照干扰影响严重等问题,首先,将HSI颜色空间3个分量进行分离,选取与光照信息无关且可以有效抑制噪声影响的色调分量H进行后续图像处理,以削弱光照对机器人视觉导航的不良影响;针对温室环境图像特有的颜色特征信息,引入K-means算法对图像进行聚类分割,将垄间道路信息与绿色作物信息各自聚类,再通过形态学腐蚀方法去除聚类后图像中存在的冗余、干扰信息,以获得完整的道路信息,与常用阈值分割方法相比,可降低因分割信息不明确而导致后续Hough变换进行直线拟合时需占据大量内存且计算量较大的问题,进而提高移动机器人路径识别的快速性,并适应温室作业机器人自主导航的高实时性要求。试验结果表明,该文方法在复杂背景与变光照条件下的温室作业环境中可大幅降低光照对机器人导航的影响,对于光照不均具有良好的鲁棒性,道路信息提取率可达95%。同时,其平均单幅图像处理时耗降低53.26%,可显著提高路径识别速度。该研究可为解决温室移动机器人机器视觉导航路径识别的鲁棒性及实时性问题提供参考。     

改进类圆随机Hough变换及其在油茶果实遮挡识别中的应用

为将目标油茶果实从树枝、树叶等外界遮挡中分离出来,以利于油茶采摘机器视觉的图像形态学识别,该文提出了一种改进的类圆随机Hough变换算法,在算法中添加了边缘预检测、快速定位圆心点等模块以提高算法的识别率。仿真结果表明,改进算法对遮挡果实的识别率较其他Hough遮挡识别算法有所提高,最高达到90.70%,识别时间为1.3s。该研究为采摘机器人的后续采摘工作打下了基础。     

采摘机械手对扰动荔枝的视觉定位

为了解决采摘机器人在自然环境中对扰动状态荔枝的视觉精确定位问题,该文分析机械手采摘过程中荔枝产生扰动的因素,设计制造了模拟荔枝振动的试验平台,该试验平台通过改变方向、振频、振幅等振动条件来模拟采摘过程中的扰动环境;结合振动平台运动参数,提出了双目立体视觉系统采集扰动状态的荔枝图像方法,在HSI颜色空间中对预处理后荔枝图像利用模糊C均值聚类法(FCM,fuzzyC-means)分割荔枝果实和果梗,然后利用Hough变换算法进行直线拟合确定有效的果梗采摘区域和采摘点,对多帧图像中采摘点坐标取平均值,然后进行三维重建确定空间采摘点坐标。荔枝扰动状态的视觉定位试验结果表明,空间定位深度值误差小于6cm,荔枝采摘机械手能实现有效采摘,该研究为机械手实际作业提供指导。     

大视场下荔枝采摘机器人的视觉预定位方法

机器人采摘荔枝时需要获取多个目标荔枝串的空间位置信息,以指导机器人获得最佳运动轨迹,提高效率。该文研究了大视场下荔枝采摘机器人的视觉预定位方法。首先使用双目相机采集荔枝图像;然后改进原始的YOLOv3网络,设计YOLOv3-DenseNet34荔枝串检测网络;提出同行顺序一致性约束的荔枝串配对方法;最后基于双目立体视觉的三角测量原理计算荔枝串空间坐标。试验结果表明,YOLOv3-DenseNet34网络提高了荔枝串的检测精度与检测速度;平均精度均值(mean average precision,m AP)达到0.943,平均检测速度达到22.11帧/s。基于双目立体视觉的荔枝串预定位方法在3 m的检测距离下预定位的最大绝对误差为36.602 mm,平均绝对误差为23.007 mm,平均相对误差为0.836%,满足大视场下采摘机器人的视觉预定位要求,可为其他果蔬在大视场下采摘的视觉预定位提供参考。     

苹果采摘机器人视觉系统研究进展

视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

果园环境下移动采摘机器人导航路径优化

针对移动采摘机器人在果园作业时,果树较大冠层与行人等障碍物易影响机器人行驶的突出问题,该研究提出了一种基于改进人工势场法的机器人行间导航路径优化方法。首先,通过移动采摘机器人搭载的固态激光雷达实现果园行间三维点云信息获取,运用地面平面算法去除果园地面点云,提取了果园垄行与果树冠层点云。其次,采用最小二乘法(Least Squares Method, LSM)、霍夫(Hough)变换和随机采样一致性(Random Sample Consensus, RANSAC)3种方法对果园垄行点云数据进行了垄行线和初始路径的提取。最后,通过舍弃引力势场,建立了果树冠层轮廓点云势场,优化初始路径以躲避较大的果树冠层与行人障碍物。从实时性与抗噪能力两个方面,分别对利用LSM、Hough变换和RANSAC方法所提取的初始路径结果进行了分析,结果表明3种方法均可成功提取垄行线与初始路径,其中RANSAC实时性最优,平均运行时间约为0.147×10-3 s,标准差为0.014×10-3 s,且具有较好的抗噪能力。在RANSAC提取初始路径的基础上使用改进人工势场法对初始路径进行优化,避免了传统人工势场法易陷入震荡的问题。经改进人工势场法优化后的路径将障碍物点云距导航路径的最短距离由0.156 m提高至0.863 m,且平均耗时0.059 s,标准差为0.007 s,表明该优化方法具备实时优化路径以避开障碍物的能力。该研究提出的基于改进人工势场法的机器人行间导航路径优化方法基本满足安全性与实时性要求,为移动采摘机器人在果园环境下自主导航提供了技术参考。     

矮化密植枣园收获作业视觉导航路径提取

针对矮化密植枣园环境的复杂性,提出一种基于图像处理的枣园导航基准线生成算法。选用B分量图进行处理,提出"行阈值分割"方法分割树干与背景;根据拍摄场景及视角提出"行间区域"方法剔除行间噪声;通过统计树干与地面交点位置分布区域选取图像五分之二向下区域进行处理;依据树干纵向灰度分布规律,采用浮动窗口灰度垂直投影方法结合形态学开闭运算提取树干区域;基于枣园行间线性分布特征引入"趋势线",而后利用点到直线的距离与设定阈值作比较选取树干与地面的交点;利用交点的位置分布将其归类,并采用最小二乘法原理拟合左右两侧边缘,提取边缘线上各行的几何中心点生成枣园导航基准线。通过对阴天、晴天、顺光、逆光、噪声多元叠加5种条件进行试验,结果表明,该算法具有一定的抗噪性能,单一工况条件导航基准线生成准确率可达83.4%以上,多工况条件准确率为45%。针对5种工况条件的视频检测,结果表明,单一工况条件算法动态检测准确率可达81.3%以上,每帧图像处理平均耗时低于1.7 s,多工况条件检测准确率为42.3%,每帧图像平均耗时1.0 s。该研究可为矮化密植果园实现机器人自主导航作业提供参考。     

丘陵山区田间道路自主行驶转运车及其视觉导航系统研制

自然条件的限制使得丘陵山区农产品和物资的田间转运难以实现高安全性的机械化作业。为此,该文研制了一种在丘陵山区田间道路上自主行驶的转运车及其视觉导航系统。该系统采用RTK-GNSS(real-timekinematic-global navigationsatellitesystem,实时动态-全球卫星导航系统)进行路网信息采集、实时定位和路径规划,利用机器视觉进行田间道路识别并提取路径跟踪线;田间道路非路口区域由机器视觉系统进行导航,路口区域采用RTK-GNSS实时定位进行导航。全局路径规划中对A*算法估价函数进行改进,将路口节点处的道路曲率及道路起伏信息引入代价函数。图像处理中强化道路上的阴影处理和信息融合,实现道路与背景的准确分割;然后将道路区域分块求取形心点,拟合后生成道路的虚拟中线作为局部路径的导航线。路径规划仿真表明,改进的A*算法能融合丘陵山地道路起伏变化的特征,规划的路径更合理。转运车自主行驶测试表明,在直线路径、多曲率复杂路径以及地形起伏路径3种工况下,自主行驶轨迹与实际道路中线的平均偏差分别为0.031、0.069和0.092 m,最大偏差分别为0.133、0.195和0.212 m;转运车沿道路中线自主行驶的平均相对误差分别为5.16%、11.5%和15.3%,满足田间道路转运车自主行驶的安全要求。     

基于光照无关图的农业机器人视觉导航算法

完成沿作物行的行走作业是农业机器人视觉导航系统的一个基础功能,但是由于田间环境的复杂性,比如阴影的存在和天气的恶劣变化等外界因素的影响使导航参数的提取变得困难。该研究针对农业机器人视觉导航中存在的阴影干扰问题,采用基于光照无关图的方法去除导航图像中的阴影,然后采用增强的最大类间方差法进行图像分割和优化的Hough变换提取作物行中心线,最终通过坐标转换获得导航参数。最后,通过作物行跟踪试验表明,基于光照无关图的阴影去除方法不仅满足了导航实时性的要求,而且使农业机器人在光照变化的情况下导航参数提取的鲁棒性有了更大的提高。     

基于Mean-shift和提升小波变换的棉花叶片边缘的图像检测

该文提出了一种基于Mean-shift和提升小波变换的具有复杂背景的棉花叶片边缘检测算法。该方法首先用Mean-shift算法对彩色图像进行平滑,然后对平滑后的图像进行提升小波变换,以将平滑后的图像进行灰度增强。最后基于Canny算子对图像进行边缘检测。该算法能有效减少非边缘噪声,并且能够有效提取相互重叠叶片的边缘。与传统边缘检测方法边缘检测结果进行对比,该方法能够更加鲁棒地提取复杂背景下的重叠叶片边缘,其有效性和准确性是很明显的。     

基于改进YOLOv7的果园行间导航线检测

在复杂果园环境中，传统机器视觉算法难以处理光影变化、遮挡、杂草等因素的干扰，导致导航道路分割不准确。针对此问题，该研究提出了一种改进YOLOv7的果园内导航线检测方法。将注意力机制模块(convolutional block attention module，CBAM)引入到原始YOLOv7模型的检测头网络中，增强果树目标特征，削弱背景干扰；在ELAN-H(efficient layer aggregation networks-head，ELAN-H)模块和Repconv(re-parameterization convolution，Repconv)模块之间引入SPD-Conv(space-to-depth，non-strided convolution，SPD-Conv)模块，提高模型对低分辨率图像或小尺寸目标的检测能力。以树干根部中点作为导航定位基点，利用改进YOLOv7模型得到两侧果树行线的定位参照点，然后利用最小二乘法拟合两侧果树行线和导航线。试验结果表明，改进YOLOv7模型检测精度为95.21%，检测速度为42.07帧/s，相比于原始YOLOv7模型分别提升了2.31个百分点和4.85帧/s，能够较为准确地识别出树干，且对树干较密的枣园图像也能达到较好的检测效果；提取到的定位参照点与人工标记树干中点的平均误差为8.85 cm，拟合导航线与人工观测导航线的平均偏差为4.90 cm，处理1帧图像平均耗时为0.044 s，能够满足果园内导航需求。     

基于数据融合的玉米种子内部机械裂纹检测方法

为深入研究玉米种子脱粒和输送等环节中产生的内部裂纹机理和检测技术,该文在体视显微检测基础上提出了基于融合技术的边缘检测方法。该方法采用改进的数学形态学方法和传统Sobel边缘检测算子对损伤玉米种子图像进行边缘检测,建立相应的融合规则,将2种方法检测出来的图像边缘进行基于小波变换的融合处理,并从新图像中提取玉米种子内部机械损伤的特征信息。结果表明,该检测方法结合了2种边缘检测方法的优点,有效提高了边缘检测准确性,在准确提取玉米种子内部裂纹特征同时能有效降低噪声,较单一边缘检测算法有更好的效果。     

果园行间3D LiDAR导航方法

为克服二维激光扫描仪在果园导航中感知信息少、无法有效应对树冠茂密、树干被遮挡等复杂三维果园场景,该研究提出一种基于3D LiDAR的果园行间导航方法。以3D LiDAR为检测设备实时采集果园信息,使用挖空打断后的树墙体心等效树干位置,根据左右树行的最佳平行度对随机采样一致性算法与最小二乘法拟合的树行进行互补融合并求其中心线得到导航线;对纯跟踪算法进行改进,实现差速运动机器人对树行的跟踪。结果表明:系统在篱壁式仿真果园环境下以0.33 m/s的速度沿中心线行走时,绝对航向定位偏差在1.65°以内,绝对横向定位偏差在6.1 cm以内;以0.43 m/s的速度跟踪树行的绝对横向偏差在15 cm以内。在真实梨园下,系统分别以0.68与1.35 m/s的速度跟踪树行,绝对横向偏差分别不超过21.3与22.1 cm。本系统可广泛用于标准果园与复杂三维果园机械的自主导航,具有可靠的稳定性。     

基于区域生长顺序聚类-RANSAC的水稻苗带中心线检测

为提高水稻苗带中心线检测的适应性和实时性,满足巡田机器人导航的低成本、轻量级计算、高实时性需求,针对水稻苗带中心线检测结果容易受到光照变化和机器震动等原因产生图像噪声影响的问题,该研究以返青期和分蘖初期水稻秧苗为研究对象,提出基于区域生长顺序聚类-随机抽样一致性算法（random sample consensus,RANSAC）的水稻苗带中心线检测方法。首先,对采集的水稻秧苗图像运用归一化超绿特征法（excess green,ExG）和最大类间方差法（Otsu）分割水田背景和秧苗区域,应用先腐蚀后开运算的形态学方法去除秧苗图像噪声点;然后,采用基于水平带的秧苗轮廓质心检测方法提取秧苗特征点,利用区域生长顺序聚类方法将同一秧苗行的特征点聚成一类;最后,通过RANSAC算法拟合苗带中心线,从而得到巡田机器人视觉导航基准线。试验结果表明：该方法对返青期和分蘖初期水稻苗带中心线检测率均在97%以上,比已有YOLOv3算法提高6.12个百分点,比基于区域生长均值漂移聚类算法降低2.41个百分点;平均误差角度为2.34°,比已有YOLOv3算法高1.37°,比基于区域生长均值漂移聚类算法低0.12...     

室外农业机器人导航研究综述

农业机器人是现代农业技术的集中体现和未来发展趋势,当前研究中还存在着许多制约因素,其中导航是完成自动作业的关键,也是制约农业机器人发展的最大瓶颈。在长期的农业机器人自动导航研究中,经历路标、气味、机器视觉及星基导航等多种方式的研究和探索,其中视觉和星基导航逐渐成为当前导航研究的主要内容,星基导航以其成本低、系统结构简单、控制灵活等特点,必将在未来机器人导航领域占有越来越重要的地位。