苹果采摘机器人激光视觉系统的构建

为了避免或减少自然光线的干扰,该文设计了一种用于苹果采摘机器人的激光视觉系统。基于飞行时间原理的LMS211激光测距仪可对目标距离进行测量,具有精度高、响应速度快等优点;研制的直线运动单元可自由调整其滑台的移动速度和行程,用来协助测距仪完成对目标场景的三维扫描。试验结果表明：在一定测量范围内,扫描数据能较理想地反映果实的曲面特性,选择合适的水平分辨率可提高数据的成像效果,生成的距离图像易于解析果实、枝叶的空间几何特性及相互间的层次关系,且效果不受光线变化的影响。该系统为后期果实的识别研究提供参考。     

苹果采摘机器人视觉系统的暗通道先验去雾方法

针对雾霾严重气候条件下苹果采摘机器人视觉定位困难的问题,提出一种把暗通道先验（dark channel prior,DCP）原理应用于苹果图像去雾的调参和改进方法。给出了一种获取大气光系数 A 的方法,首先把计算得到的暗通道图结果存入矩阵,求暗通道图中的前1/1000个最大元素所在位置,并存储在与暗通道矩阵相同大小的新矩阵中;根据新矩阵中的位置信息获得 R 通道矩阵相应位置的值,最后求取这些值的平均值作为 A 的取值。根据工程需要,该研究取去雾强度ω恒为1。通过与多尺度 Retinex（multiscale retinex,MSR）方法、自适应直方图均衡化（adaptive histogram equalization, AHE）等常规方法以及其他文献的暗通道去雾使用方法进行对比试验,结论是该文的方法能获得更好的主观视觉效果。在结果图像的对比度方面,该研究使用的方法能得到平均对比度64.04,与计算速度较快的直方图均衡化方法的35.46相比,提升了81%;R 通道对比度为68.525,与直方图均衡化方法得到的 R 通道对比度36.425相比提升了88%;该方法得到的图像直方图整体上呈现中间高两边低的形状特点,表明相对其他去雾方法,该文的方法能得到较好的去雾图像质量。时间复杂度方面,改进后的 DCP 方法计算640×480的图像耗时在33～37 ms 之间,基本能满足实时要求。分割定位精确度方面,该文方法的综合定位精度为94.8%,高于其他方法。试验证明使用该文方法能在去雾的效率和性能方面得到较好的平衡,是一种可以用于实际采摘作业的可行方法。     

基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位

为提高苹果采摘机器人的工作效率和环境适应性,使其能全天候的在不同光线环境下对遮挡、粘连和套袋等多种情况下的果实进行识别定位,该文提出了基于YOLOv3(you only look once)深度卷积神经网络的苹果定位方法。该方法通过单个卷积神经网络(one-stage)遍历整个图像,回归目标的类别和位置,实现了直接端到端的目标检测,在保证效率与准确率兼顾的情况下实现了复杂环境下苹果的检测。经过训练的模型在验证集下的m AP(meanaverageprecision)为87.71%,准确率为97%,召回率为90%,IOU(intersection over union)为83.61%。通过比较YOLOv3与Faster RCNN算法在不同数目、不同拍摄时间、不同生长阶段、不同光线下对苹果的实际检测效果,并以F1为评估值对比分析了4种算法的差异,试验结果表明YOLOv3在密集苹果的F1高于YOLOv2算法4.45个百分点,在其他环境下高于Faster RCNN将近5个百分点,高于HOG+SVM(histogram of oriented gradient+support vector machine)将近10个百分点。并且在不同硬件环境验证了该算法的可行性,一幅图像在GPU下的检测时间为16.69 ms,在CPU下的检测时间为105.21 ms,实际检测视频的帧率达到了60帧/s和15帧/s。该研究可为机器人快速长时间高效率在复杂环境下识别苹果提供理论基础。     

苹果采摘机器人关键技术研究现状与发展趋势

目前国内苹果基本采用人工采摘方式,随着劳动力资源短缺以及机械自动化技术的迅速发展,利用机器人采摘替代人工作业成为必然趋势,开发苹果采摘机器人用于果园收获作业具有重要意义。由于苹果采摘作业环境复杂,严重制约了采摘自动化的发展。目标识别、定位与果实分离是苹果采摘机器人的关键技术,其性能决定了苹果采摘的效率及质量。该文概述了具有市场化前景的苹果采摘机器人发展和应用现状,综述了在复杂自然环境光照变化、枝叶遮挡、果实重叠、夜间环境下以及同色系苹果的识别方法,介绍了多种场景并存的复杂环境下基于深度学习的苹果识别算法、遮挡、重叠及振荡果实的定位方法,并对采用末端执行器实现果实与果树的分离方法进行了分析。针对现阶段苹果采摘机器人采摘速度低、成功率低、果实损伤、成本高等问题,指出今后苹果采摘机器人商业化发展亟需在农机农艺结合、优化识别算法、多传感器融合、多臂合作、人机协作、扩展设备通用性、融合5G与物联网技术等方面开拓创新。     

基于视觉伺服的草莓采摘机器人果实定位方法

为解决基于手眼系统的视觉伺服方法在草莓采摘机器人应用中存在的视觉信息反馈延迟大、频率低以及深度信息无法确定等带来的定位耗时长、精度低的问题,采用摄像机曝光信号触发控制卡进行高速位置锁存,结合位置传感器的反馈信息,来减少定位耗时;采用基于运动恢复结构的方法,提高果实采摘参数的精度。在垄坡和摄像机像平面的夹角为±10°范围内的情况下,针对包含1~3粒成熟草莓的果实域,采用直角坐标式机械臂草莓采摘机器人样机进行了定位试验。试验结果表明:定位时间在0.633~0.886 s之间;草莓深度信息的相对误差在-4.34%~0.95%范围内。     

苹果采摘机器人快速跟踪识别重叠果实

为解决采摘机器人在运动状态下对重叠果实的识别问题,减少采摘过程处理的时间,对重叠果实的快速跟踪识别进行了研究。首先,对采集到的第1幅图像进行分割并去噪,之后通过计算圆内的点到轮廓边缘最小距离的极大值确定圆心的位置,计算圆心到轮廓边缘距离的最小值确定半径,通过圆心与半径截取后续匹配的模板,经试验证明该算法能较准确地找到重叠果实的圆心与半径。然后,确定连续采集的10幅图像的圆心,根据每幅图像圆心的位置对机器人的运动路径进行拟合、预判、综合半径与预判路径确定下一次图像处理的范围。最后,采用快速归一化互相关匹配对重叠果实进行匹配识别。试验证明,经过改进后的算法匹配识别时间与原算法相比,在没有进行预判的情况下匹配识别的时间为0.185 s,经过预判之后,匹配时间为0.133 s,减少了28.1%,采摘机器人的实时性得到了提高,能够满足实际需求。该研究可为苹果等类球形重叠果实的动态识别提供参考。     

农业机器人视觉传感系统的实现与应用研究进展

论述了农业机器人视觉传感系统的主要实现技术和当前的应用现状，包括基于视觉传感原理的距离检测技术，基于视觉传感原理的工作对象特征识别技术和基于视觉传感原理的运动导航技术。基于双目立体视觉的测距方法可应用于葡萄和番茄采摘机器人，配备激光光源和红外光源的测距系统可在室外有效抵抗日光变化对检测结果的影响。几何形状、灰度级、颜色，尤其是农产品表面的反射光谱特性，可以用于农业机器人识别操作对象。人工路标方法是实现农业机器人视觉导航的简单方法，另外，直接基于田间作物在空间排列的特征也可实现农业机器人的视觉导航。最后讨论了农业机器人视觉传感系统的未来发展趋势。     

苹果采摘机器人无线数据传输系统

针对解决苹果采摘机器人众多传感器数据采用有线传输,数据线纷繁杂乱、检修不便等问题,以及其直动关节在伸缩过程中对末端执行器传感器数据线容易扯断纠结等具体情况,设计了传感器无线数据传输系统。首先对苹果采摘机器人无线数据传输进行了整体设计,对无线通信模块电路、USB通信电路进行了选型设计,同时设计了部分传感器的信号调理电路;其次为了无线数据实时、可靠的传输,在方法上采取了质效控制措施,并制定了数据传输协议,然后进行了无线数据传输的程序设计,最后通过测试结果验证了传输协议的健壮性,数据传输的高效性,并根据测试结果与系统开销之间进行协调,选取了最优设置参数。该研究为采摘机器人及其他农产品生产机器人数据传输提供了一种无线实现方式和新的实现方案。     

计算机视觉在蘑菇采摘机器人上的应用

介绍了蘑菇采摘机器人的工作过程,并重点讨论了它的计算机视觉系统的图象分析所采用的基本算法。主要内容为蘑菇和苗床图象信息的数字特征;提取蘑菇边界所用的算法;封闭曲线的周长、面积和闭曲线中心坐标的计算。对现场获取的图象信息进行分析,所得到的结果与实际情况吻合,表明所采用的算法是有效的。     

机器人采摘苹果果实的K-means和GA-RBF-LMS神经网络识别

为进一步提升苹果果实的识别精度和速度,从而提高苹果采摘机器人的采摘效率。提出一种基于K-means聚类分割和基于遗传算法(genetic algorithm,GA)、最小均方差算法(least mean square,LMS)优化的径向基(radial basis function,RBF)神经网络相结合的苹果识别方法。首先将采集到的苹果图像在Lab颜色空间下利用K-means聚类算法对其进行分割,分别提取分割图像的RGB、HSI颜色特征分量和圆方差、致密度、周长平方面积比、Hu不变矩形状特征分量。将提取的16个特征作为神经网络的输入,对RBF神经网络进行训练,以得到苹果果实的识别模型。针对RBF神经网络学习率低、过拟合等不足,引入遗传算法对RBF隐层神经元个数和连接权值进行优化,采取二者混合编码同时进化的优化方式,最后再利用LMS对连接权值进一步学习,建立新的神经网络优化模型(GA-RBF-LMS),以提高神经网络的运行效率和识别精度。为了获得更精确的网络模型,在训练过程中,苹果果实连同树枝、树叶一块训练;得到的模型在识别过程中,可一定程度上避免枝叶遮挡对果实识别的影响。为了更好地验证新方法,分别与传统的BP(back propagation)和RBF神经网络、GA-RBF优化模型比较,结果表明,该文算法对于遮挡、重叠果实的识别率达95.38%、96.17%,总体识别率达96.95%;从训练时间看,该文算法虽耗时较长,用150个样本进行训练平均耗时4.412 s,但训练成功率可达100%,且节省了人工尝试构造网络结构造成的时间浪费;从识别时间看,该文算法识别179个苹果的时间为1.75 s。可见GA-RBF-LMS网络模型在运行效率和识别精度较优。研究结果为苹果采摘机器人快速、精准识别果实提供参考。     

苹果采摘机器人夜间图像边缘保持的Retinex增强算法

为了提高采摘机器人的适用性和工作效率,保证成熟苹果果实的及时采摘,需要机器人具有夜间连续识别、采摘作业的能力。针对夜间苹果图像的特点,该文提出一种基于引导滤波的具有边缘保持特性的Retinex图像增强算法。利用颜色特征分量采用具有边缘保持功能的引导滤波来估计出照度分量;进而利用单尺度Retinex算法对图像进行对数变换获得仅包含物体本身特性的反射分量图像;分别对照度分量和反射分量图像增强后,再合成为新的夜间苹果的增强图像。文中选取30幅荧光灯辅助照明下采集到的夜间苹果图像进行试验的结果显示,该文增强算法处理后的30幅图像的平均灰度值,分别比原始图像、直方图均衡算法、同态滤波算法和双边滤波Retinex算法处理后的图像平均提高230.34%、251.16%、14.56%、7.75%,标准差平均提高36.90%、-23.95%、53.37%、28.00%,信息熵平均提高65.88%、99.68%、66.85%、17.53%,平均梯度提高161.70%、64.71%、139.89%、17.70%。且该文算法较双边滤波Retinex方法的运行时间平均减少74.56%。表明该文算法在夜间图像增强效果和运行时间效率上有明显的提高,为后续夜间图像的分割和目标识别提供了保障。     

苹果采摘机器人夜间图像降噪算法

苹果采摘机器人图像处理系统采集到的实时夜间图像含有大量的噪声,影响采摘效率。通过差影法对夜间图像进行噪声分析,判定其噪声类型为以高斯噪声为主,并伴有部分椒盐噪声的混合噪声。针对高斯噪声去除难题,将独立成分分析(independent component analysis,ICA)理论引入夜间图像降噪,并尝试采用粒子群优化算法(particle swarm optimization,PSO)对ICA进行优化,建立基于PSO优化的ICA降噪算法(PSO-ICA),以期最大限度地降低夜间图像的噪声污染。利用标准Lenna图像和自然光下的苹果图像,进行仿真试验,结果表明PSO-ICA方法降噪效果最为理想。然后对白炽灯、荧光灯、LED灯3种不同的人工光源下采集到10个样本点的夜间图像进行验证试验,结果表明,从视觉效果评价,在3种人工光源环境下,PSO-ICA降噪方法得到低噪图像均表现为噪点明显减少;从相对峰值信噪比(relative peak signal-to-noise ratio,RPSNR)看,在3种人工光源下的平均值,PSO-ICA得到的低噪图像,分别比原始图像、均值滤波降噪和ICA降噪得到的图像的相对峰值信噪比提高21.28%、12.41%、5.53%;从运行时间看,PSO-ICA方法较ICA方法的运行时间平均减少了49.60%。PSO-ICA方法用于夜间图像降噪有着独到的优势,为实现苹果采摘机器人的夜间作业打下坚实的基础。     

基于平滑轮廓对称轴法的苹果目标采摘点定位方法

果实采摘点的精确定位是采摘机器人必须解决的关键问题。鉴于苹果目标具有良好对称性的特点,利用转动惯量所具有的平移、旋转不变性及其在对称轴方向取得极值的特性,提出了一种基于轮廓对称轴法的苹果目标采摘点定位方法。为了解决分割后苹果目标边缘不够平滑而导致定位精度偏低的问题,提出了一种苹果目标轮廓平滑方法。为了验证算法的有效性,对随机选取的20幅无遮挡的单果苹果图像分别利用轮廓平滑和未进行轮廓平滑的算法进行试验,试验结果表明,未进行轮廓平滑算法的平均定位误差为20.678°,而轮廓平滑后算法平均定位误差为4.542°,比未进行轮廓平滑算法平均定位误差降低了78.035%,未进行轮廓平滑算法的平均运行时间为10.2ms,而轮廓平滑后算法的平均运行时间为7.5ms,比未进行轮廓平滑算法平均运行时间降低了25.839%,表明平滑轮廓算法可以提高定位精度和运算效率。利用平滑轮廓对称轴算法可以较好地找到苹果目标的对称轴并实现采摘点定位,表明将该方法应用于苹果目标的对称轴提取及采摘点定位是可行的。     

采摘机器人振荡果实匹配动态识别

为解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题,对采摘机器人在果实振荡状况下的匹配动态识别方法进行了研究。首先介绍了振荡果实的动态识别流程,确定出采摘目标果实作为后续匹配识别的模板;然后引入去均值归一化积相关匹配识别算法,采用FastInverseSquareRoot算法和快速哈特莱变换对其进行加速优化,同时借鉴以往旋转无关匹配识别算法进行抗旋转改进;试验结果表明,加速优化后的匹配识别算法能够进行采摘目标果实的匹配识别,单幅平均匹配识别时间为0.33s,经过抗旋转等改进的匹配识别算法在[-55°,60°]较大范围内旋转无关,可以准确识别振荡果实,加上模板适时更新,能够满足实际需求。该研究可为果蔬采摘的动态识别提供参考。     

基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别

疏果前期苹果背景复杂、光照条件变化、重叠及被遮挡,特别是果实与背景叶片颜色极为相近等因素,给其目标识别带来很大困难。为识别疏果前期的苹果目标,提出基于区域的全卷积网络(region-based fully convolutional network,R-FCN)的苹果目标识别方法。该方法在研究基于ResNet-50和ResNet-101的R-FCN结构及识别结果的基础上,改进设计了基于ResNet-44的R-FCN,以提高识别精度并简化网络。该网络主要由ResNet-44全卷积网络、区域生成网络(RegionProposal Network, RPN)及感兴趣区域(Region of Interest, RoI)子网构成。ResNet-44全卷积网络为基础网络,用以提取图像的特征,RPN根据提取的特征生成Ro I,然后Ro I子网根据ResNet-44提取的特征及RPN输出的Ro I进行苹果目标的识别与定位。对采集的图像扩容后,随机选取23 591幅图像作为训练集,4 739幅图像作为验证集,对网络进行训练及参数优化。该文提出的改进模型在332幅图像组成的测试集上的试验结果表明,该方法可有效地识别出重叠、被枝叶遮挡、模糊及表面有阴影的苹果目标,识别的召回率为85.7%,识别的准确率为95.1%,误识率为4.9%,平均速度为0.187 s/幅。通过与其他3种方法进行对比试验,该文方法比FasterR-CNN、基于ResNet-50和ResNet-101的R-FCN的F1值分别提高16.4、0.7和0.7个百分点,识别速度比基于ResNet-50和ResNet-101的R-FCN分别提高了0.010和0.041 s。该方法可实现传统方法难以实现的疏果前苹果目标的识别,也可广泛应用于其他与背景颜色相近的小目标识别中。     

大视场下荔枝采摘机器人的视觉预定位方法

机器人采摘荔枝时需要获取多个目标荔枝串的空间位置信息,以指导机器人获得最佳运动轨迹,提高效率。该文研究了大视场下荔枝采摘机器人的视觉预定位方法。首先使用双目相机采集荔枝图像;然后改进原始的YOLOv3网络,设计YOLOv3-DenseNet34荔枝串检测网络;提出同行顺序一致性约束的荔枝串配对方法;最后基于双目立体视觉的三角测量原理计算荔枝串空间坐标。试验结果表明,YOLOv3-DenseNet34网络提高了荔枝串的检测精度与检测速度;平均精度均值(mean average precision,m AP)达到0.943,平均检测速度达到22.11帧/s。基于双目立体视觉的荔枝串预定位方法在3 m的检测距离下预定位的最大绝对误差为36.602 mm,平均绝对误差为23.007 mm,平均相对误差为0.836%,满足大视场下采摘机器人的视觉预定位要求,可为其他果蔬在大视场下采摘的视觉预定位提供参考。