基于光照无关图理论的苹果表面阴影去除方法

阴影影响下苹果目标的快速准确识别是苹果采摘机器人视觉系统必须解决的关键技术之一。为了实现阴影影响下苹果目标的准确识别,该研究采用光照无关图理论实现了苹果表面阴影的去除。以自然场景下获取的受不同程度阴影影响的苹果目标图像为研究对象,首先利用光照无关图原理获取阴影苹果图像的光照无关图,达到突出苹果目标阴影区域的目的;其次提取原图像的红色分量信息并与关照无关图进行相加处理;最后将相加后的图像进行自适应阈值分割处理,达到去除阴影的目的。为了验证该算法的有效性与准确性,利用20幅受阴影影响的苹果目标图像进行了试验,并与Otsu算法、1.5*R-G色差算法进行了对比,试验结果表明：Otsu算法仅能识别出未受阴影影响的苹果区域;1.5*R-G 色差算法受光照影响较大,对于苹果图像的相对强光照区域和部分阴影区域不能有效识别;基于光照无关图的苹果表面阴影去除方法对阴影影响下的苹果目标图像分割效果较好,可以克服光照过强的问题,并准确识别出阴影影响下的苹果目标。文中算法的平均假阳性率为17.49%,比Otsu算法降低了52.84%,比1.5*R-G算法降低了26.18%;文中算法的平均重叠系数为86.59%,比Otsu算法提高了47.2%,比1.5*R-G算法提高了11.03%;表明利用光照无关图可以有效地去除苹果表面的阴影,将其应用于阴影影响下的苹果目标的识别是可行的。     

基于光照无关图的农业机器人视觉导航算法

完成沿作物行的行走作业是农业机器人视觉导航系统的一个基础功能,但是由于田间环境的复杂性,比如阴影的存在和天气的恶劣变化等外界因素的影响使导航参数的提取变得困难。该研究针对农业机器人视觉导航中存在的阴影干扰问题,采用基于光照无关图的方法去除导航图像中的阴影,然后采用增强的最大类间方差法进行图像分割和优化的Hough变换提取作物行中心线,最终通过坐标转换获得导航参数。最后,通过作物行跟踪试验表明,基于光照无关图的阴影去除方法不仅满足了导航实时性的要求,而且使农业机器人在光照变化的情况下导航参数提取的鲁棒性有了更大的提高。     

基于偏好人工免疫网络多特征融合的油茶果图像识别

为提高油茶果采摘机器人机器视觉的识别率,该文提出了基于偏好人工免疫网络识别的油茶果多特征融合识别方法。在对油茶果图像进行处理的基础上,提取待识别目标区域的颜色特征、形态特征、纹理特征进行聚类,并提取典型油茶果多特征作为偏好抗体,使多特征参数在偏好免疫算法中进行有效融合。仿真试验结果表明,多特征融合的识别方法对油茶果果实的识别率在晴天时达到了90.15%,阴天时达到了93.90%。而时间复杂度基本不变,取得了较好的识别效果,该研究可为下一步油茶果采摘机器人智能采摘提供参考。     

苹果采摘机器人对振荡果实的快速定位采摘方法

为解决由于果实振荡影响采摘机器人采摘效率的问题,该文研究了苹果采摘机器人在果实振荡状况下的快速采摘方法。首先对振荡果实进行动态连续采集,其次对所采集的图像进行振荡果实识别并提取其二维质心坐标,然后由FFT建模,求取果实的振荡周期,在测得振荡果实的深度距离后,计算出采摘机器人直动关节的行程速度,随即开始采摘,抓取时果实正处于平衡位置。最后通过试验可知,采摘成功率达到84%,对于果实静态状况下采摘速度较快的采摘机器人来说,采摘振荡果实,该研究方法明显优于以往采摘方法,能够显著提高采摘机器人果实采摘的整体速度。此外,该采摘方法简单、通用性好,可满足苹果等类球状果实采摘机器人的需要,对实现其实用化和商品化提供参考。     

自然光照条件下采摘机器人果实识别的表面阴影去除方法

有效的阴影检测和去除算法会大大提高自然环境下果实识别算法的性能,为农业智能化提供技术支持。该研究采用超像素分割的方法,将一张图像分割成多个小区域,在对图像进行超像素分割的基础上,对自然光照下的果园图像阴影区域与非阴影区域进行对比分析,探索8个自定义特征用于阴影检测。然后采用SVM的方法,结合8个自主探索的自定义特征,对图像中每个超像素分割的小区域进行检测,判断每个小区域是否处于阴影中,再使用交叉验证方法进行参数优化。根据Finlayson的二维积分算法策略,对检测的每一个阴影区域进行阴影去除,获得去除阴影后的自然光照图像。最后进行阴影检测的识别准确性试验,试验结果表明,本研究的阴影检测算法的平均识别准确率为83.16%,经过阴影去除后,图像的阴影区域亮度得到了提高,并且整幅图像的亮度更为均匀。该研究可为自然环境下机器人识别果实及其他工农业应用场景提供技术支持。     

机器人采摘苹果果实的K-means和GA-RBF-LMS神经网络识别

为进一步提升苹果果实的识别精度和速度,从而提高苹果采摘机器人的采摘效率。提出一种基于K-means聚类分割和基于遗传算法(genetic algorithm,GA)、最小均方差算法(least mean square,LMS)优化的径向基(radial basis function,RBF)神经网络相结合的苹果识别方法。首先将采集到的苹果图像在Lab颜色空间下利用K-means聚类算法对其进行分割,分别提取分割图像的RGB、HSI颜色特征分量和圆方差、致密度、周长平方面积比、Hu不变矩形状特征分量。将提取的16个特征作为神经网络的输入,对RBF神经网络进行训练,以得到苹果果实的识别模型。针对RBF神经网络学习率低、过拟合等不足,引入遗传算法对RBF隐层神经元个数和连接权值进行优化,采取二者混合编码同时进化的优化方式,最后再利用LMS对连接权值进一步学习,建立新的神经网络优化模型(GA-RBF-LMS),以提高神经网络的运行效率和识别精度。为了获得更精确的网络模型,在训练过程中,苹果果实连同树枝、树叶一块训练;得到的模型在识别过程中,可一定程度上避免枝叶遮挡对果实识别的影响。为了更好地验证新方法,分别与传统的BP(back propagation)和RBF神经网络、GA-RBF优化模型比较,结果表明,该文算法对于遮挡、重叠果实的识别率达95.38%、96.17%,总体识别率达96.95%;从训练时间看,该文算法虽耗时较长,用150个样本进行训练平均耗时4.412 s,但训练成功率可达100%,且节省了人工尝试构造网络结构造成的时间浪费;从识别时间看,该文算法识别179个苹果的时间为1.75 s。可见GA-RBF-LMS网络模型在运行效率和识别精度较优。研究结果为苹果采摘机器人快速、精准识别果实提供参考。     

基于自适应无迹卡尔曼滤波的采摘机械手视觉伺服控制方法

为解决未知统计特性下的系统噪声对图像雅克比矩阵估计精度的影响问题,提高视觉伺服定位精度,在卡尔曼滤波(lalman filter, KF)法以及无迹卡尔曼滤波(unscented kalman filter, UKF)法的基础上,引入自适应噪声统计估计器,提出自适应无迹卡尔曼滤波(adaptive unscented kalman Filter, AUKF)法估计图像雅克比矩阵,并构造了视觉伺服控制系统。仿真试验结果表明,基于自适应无迹卡尔曼滤波法估计图像雅克比矩阵的视觉伺服控制系统的图像特征最大误差值为10.2像素,机械手末端与目标点三维坐标最大误差值为4.19 mm,响应时间为1.2 s。搭建了七自由度采摘机械手视觉伺服试验平台进行采摘试验,试验结果表明,基于AUKF法估计图像雅克比矩阵的视觉伺服系统对静态目标的采摘成功率为90%,对动态目标的采摘成功率为83%,相比于KF法与UKF法,采摘静态目标试验成功率分别提高了17与10个百分点,动态采摘试验成功率分别提高了16%与10%。基于AUKF法估计图像雅克比矩阵的视觉伺服系统对静态与动态目标的采摘平均时间分别为18和22 s,相比于KF法与UKF法,静态采摘用时分别减少了10和6 s,动态采摘用时分别减少了12和8 s。AUKF法与KF法以及UKF法估计的图像雅克比矩阵相比,AUKF法估计的图像雅克比矩阵减小了采摘机械手视觉伺服控制系统过程噪声的干扰,使采摘机械手视觉伺服控制系统过程噪声适应视觉伺服系统的变化,采摘机械手视觉伺服控制系统定位精度更高。     

苹果采摘机器人快速跟踪识别重叠果实

为解决采摘机器人在运动状态下对重叠果实的识别问题,减少采摘过程处理的时间,对重叠果实的快速跟踪识别进行了研究。首先,对采集到的第1幅图像进行分割并去噪,之后通过计算圆内的点到轮廓边缘最小距离的极大值确定圆心的位置,计算圆心到轮廓边缘距离的最小值确定半径,通过圆心与半径截取后续匹配的模板,经试验证明该算法能较准确地找到重叠果实的圆心与半径。然后,确定连续采集的10幅图像的圆心,根据每幅图像圆心的位置对机器人的运动路径进行拟合、预判、综合半径与预判路径确定下一次图像处理的范围。最后,采用快速归一化互相关匹配对重叠果实进行匹配识别。试验证明,经过改进后的算法匹配识别时间与原算法相比,在没有进行预判的情况下匹配识别的时间为0.185 s,经过预判之后,匹配时间为0.133 s,减少了28.1%,采摘机器人的实时性得到了提高,能够满足实际需求。该研究可为苹果等类球形重叠果实的动态识别提供参考。     

苹果采摘机器人关键技术研究现状与发展趋势

目前国内苹果基本采用人工采摘方式,随着劳动力资源短缺以及机械自动化技术的迅速发展,利用机器人采摘替代人工作业成为必然趋势,开发苹果采摘机器人用于果园收获作业具有重要意义。由于苹果采摘作业环境复杂,严重制约了采摘自动化的发展。目标识别、定位与果实分离是苹果采摘机器人的关键技术,其性能决定了苹果采摘的效率及质量。该文概述了具有市场化前景的苹果采摘机器人发展和应用现状,综述了在复杂自然环境光照变化、枝叶遮挡、果实重叠、夜间环境下以及同色系苹果的识别方法,介绍了多种场景并存的复杂环境下基于深度学习的苹果识别算法、遮挡、重叠及振荡果实的定位方法,并对采用末端执行器实现果实与果树的分离方法进行了分析。针对现阶段苹果采摘机器人采摘速度低、成功率低、果实损伤、成本高等问题,指出今后苹果采摘机器人商业化发展亟需在农机农艺结合、优化识别算法、多传感器融合、多臂合作、人机协作、扩展设备通用性、融合5G与物联网技术等方面开拓创新。     

基于改进YOLOv3的果园复杂环境下苹果果实识别

为使采摘机器人能够全天候在不同光照、重叠遮挡、大视场等果园复杂环境下对不同成熟度的果实进行快速、准确识别,该研究提出了一种基于改进YOLOv3的果实识别方法。首先,将DarkNet53网络中的残差模块与CSPNet（Cross Stage Paritial Network）结合,在保持检测精度的同时降低网络的计算量;其次,在原始YOLOv3模型的检测网络中加入SPP（Spatial Pyramid Pooling）模块,将果实的全局和局部特征进行融合,提高对极小果实目标的召回率;同时,采用Soft NMS（Soft Non-Maximum Suppression）算法代替传统NMS（Non-Maximum Suppression）算法,增强对重叠遮挡果实的识别能力;最后,采用基于Focal Loss和CIoU Loss的联合损失函数对模型进行优化,提高识别精度。以苹果为例进行的试验结果表明：经过数据集训练之后的改进模型,在测试集下的MAP（Mean Average Precision）值达到96.3%,较原模型提高了3.8个百分点;F1值达到91.8%,较原模型提高了3.8个百分点;在GPU下的平均检测速度达到27.8帧/s,较原模型提高了5.6帧/s。与Faster RCNN、RetinaNet等几种目前先进的检测方法进行比较并在不同数目、不同光照情况下的对比试验结果表明,该方法具有优异的检测精度及良好的鲁棒性和实时性,对解决复杂环境下果实的精准识别问题具有重要参考价值。     

基于果萼图像的猕猴桃果实夜间识别方法

根据猕猴桃的棚架式栽培方式,提出了一种适用于猕猴桃采摘机器人夜间识别的方法。采用竖直向上获取果实图像的拍摄方式,以果萼为参考点,进行果实的识别,并测试该方法对光照的鲁棒性。试验结果表明:基于果萼能够有效的识别猕猴桃果实,成功率达94.3%;未识别和误识别的果实一般出现在5果及5果以上的簇中,原因是果实相互挤压导致的果萼部分不在果实图像的中心区域,以及果实之间的三角区形成暗色封闭区域;光照过小或过大会导致成像模糊或过曝,对正确率有细微影响;识别速度达到了0.5 s/个。因此,基于果萼的猕猴桃果实夜间识别方法在正确识别率和速度上都有很大提升,更接近实际应用。     

改进Niblack算法的光照不均匀QR码识别研究

QR码作为农产品可追溯体系的信息载体,一直是农业领域的科研热点。在实际应用中,溯源环境的复杂多变易使设备采集到光照不均匀的QR码图像而增加解码流程中二值化的难度,影响后续解码。该文针对原始Niblack算法自适应性不足的缺陷,提出一种自适应邻域窗口和修正系数的Niblack算法,该算法依据QR码图像的分辨率和灰度值,动态调整修正系数和邻域窗口,进行自适应二值化处理。分别用改进Niblack算法,原始Niblack算法和Otsu算法处理设备无法识别的不同光照环境下、不同程度的光照不均匀QR码图像,试验数据表明经改进算法处理后的识别成功率为74.2%,高出原始Niblack算法18.4%,高出Otsu算法71.7%,具有较高的鲁棒性。这一结果对农产品在各种光照不均匀环境中的溯源提供了参考。     

基于YOLOv4+HSV的成熟期番茄识别方法

为解决成熟番茄采摘识别中由于藤蔓、叶片、果实遮挡或光照影响而引起的误识别问题,该研究提出了一种基于YOLO v4与HSV（Hue, Saturation, Value）相结合的识别方法,以实现自然环境下成熟期番茄的准确识别。在YOLO v4网络的检测框内通过HSV方法对番茄的红色区域进行分割,并将分割部分面积在检测框中达到一定占比的番茄作为目标输出。通过对比不同占比下该算法对测试集的识别效果,将16%作为成熟期番茄识别算法的占比,该占比下YOLO v4+HSV算法的正确率为94.77%,在工作站中检测单幅图片的速度为25.86 ms。为验证算法的性能,对改进前后算法进行了比较,改进后的正确率比改进前提高了4.30个百分点,说明通过HSV处理能够提高原网络识别成熟期番茄的准确性。此外,为测试算法的实用性,统计了在不同类型设备上该算法从调用深度相机到检测到第一个目标番茄所用的时间,经计算,其在工作站上所用的平均时间为0.51 s,在微型工控机上为1.48 s,均可满足实际采摘需要。该研究直接面向果蔬实时采摘中的目标高效检测问题,其方法可为果蔬采摘的准确高效识别提供借鉴。     

基于两级分割与区域标记梯度Hough圆变换的苹果识别

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果,该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先,使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正,增强图像的细节信息。结合果实颜色特征,提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后,采用改进后的Otsu算法进行初次分割,得到苹果目标的二值图像,该算法通过引入形态学开-闭重建滤波去除大量背景噪声,通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割,分离粘连果实区域,提取目标苹果的外部轮廓。最后,在轮廓外设置最小外接矩形标记有效区域,在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试,并与传统梯度Hough圆变换方法进行对比,该文方法在顺、逆光下的识别准确率为90.75%和89.79%,比传统方法提高了15.03和16.41个百分点,平均识别时间为0.665和0.693 s,比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域,而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求,可为苹果等类球形果实的快速识别提供参考。     

基于改进YOLOv7的复杂环境下红花采摘识别

针对光照、遮挡、密集以及样本数量不均衡等复杂环境造成红花机械化采摘识别不准问题,提出一种基于YOLOv7的改进模型,制作红花样本数据集建立真实采摘的复杂环境数据,增加Swin Transformer注意力机制提高模型对各分类样本的检测精准率,改进Focal Loss损失函数提升多分类任务下不均衡样本的识别率。经试验,改进后的模型各类别样本的检测平均准确率（mAP）达到88.5%,与改进前相比提高了7个百分点,不均衡类别样本平均精度（AP）提高了15.9个百分点,与其他模型相比,检测平均准确率与检测速度均大幅提升。结果表明改进后的模型可以准确地实现对红花的检测,模型参数量小识别速度快,适合在红花采摘机械上进行迁移部署,可为机械化实时采摘研究提供技术支持。     

基于改进RetinaNet的果园复杂环境下苹果检测

为了快速准确地检测重叠、遮挡等果园复杂环境下的苹果果实目标,该研究提出一种基于改进RetinaNet的苹果检测网络。首先,该网络在传统RetinaNet的骨干网络ResNet50中嵌入Res2Net模块,提高网络对苹果基础特征的提取能力;其次,采用加权双向特征金字塔网络（Bi-directional Feature Pyramid Network,BiFPN）对不同尺度的特征进行加权融合,提升对小目标和遮挡目标的召回率;最后,采用基于焦损失（Focal Loss）和高效交并比损失（Efficient Intersection over Union Loss,EIoU Loss）的联合损失函数对网络进行优化,提高网络的检测准确率。试验结果表明,改进的网络在测试集上对叶片遮挡、枝干/电线遮挡、果实遮挡和无遮挡的苹果检测精度分别为94.02%、86.74%、89.42%和94.84%,平均精度均值（meanAveragePrecision,mAP）达到91.26%,较传统RetinaNet提升了5.02个百分点,检测一张苹果图像耗时42.72 ms。与Faster-RCNN和YOLOv4等主...