基于LBM的苹果采摘机器人视觉图像自动修复算法

为恢复被果树枝叶遮挡后丢失的信息,首先通过计算遮挡因子,确定果树枝叶对苹果的遮挡区域;然后,利用格子波尔兹曼方法求解各向异性扩散方程,估计丢失的信息,提出了基于格子波尔兹曼方法的图像修复算法.实验证明,该算法能够有效实现苹果图像中枝叶遮挡部分的修复.与基于曲率驱动扩散的图像修复算法相比,该算法具有较高的峰值信噪比.由于算法的高度并行性,可以将其用于构建并行图像处理系统,并且适合苹果采摘机器人视觉系统.     

基于激光扫描三维图像的树上苹果识别算法

为消除不同光线和复杂背景的影响,提出了一种自动识别树上苹果的算法.使用激光视觉系统获取果树局部的三维图像,参考设定的场景知识对图像背景进行简化;采用基于平滑频率曲线的自动阈值检测方法实现图像的二值化;通过轮廓跟踪技术记录目标边界的走向,据此计算链码和与链码差,并根据两者在果树各部分的变化规律确立相应的准则,以提取苹果的轮廓像素点;利用随机圆环法获得果实的形状特征完成对苹果的识别.实验结果表明,该算法具有较好的实时性,当枝叶遮挡面积小于40％时,果实的正确识别率高于93.75％,且识别效果不受光照条件与果实表面颜色的影响.     

基于图像处理的茶叶智能识别与检测技术研究进展分析

作为茶叶智能化生产的关键难题之一,基于图像处理的茶叶智能识别与检测技术受到广泛关注。通过综述图像处理技术在茶叶嫩芽识别定位、茶叶病虫害检测、茶叶品种识别与品质检测等方面的研究应用,分析比较各方法的优缺点,总结现有研究存在的主要问题有嫩芽分割受光照影响较大、难以分割含与嫩芽颜色相近背景的图像、枝叶遮挡情况识别效果不理想、缺乏真实背景下茶叶病斑识别算法等。指出基于图像处理的茶叶智能识别与检测技术未来的研究重点:增加不同地域茶叶及品种的样本数据以提高算法普适性;采取多信息融合的方法以求获得更全面的茶叶嫩芽信息;枝叶遮挡严重情况下的识别策略可考虑借助机械装置或风机拨开枝叶,从而避免因枝叶遮挡而导致识别率低的现象发生。     

融合K-means聚类分割算法与凸壳原理的遮挡苹果目标识别与定位方法

自然场景下苹果目标的精确识别与定位是智慧农业信息感知与获取领域的重要内容。为了解决自然场景下苹果目标识别与定位易受枝叶遮挡的问题,在K-means聚类分割算法的基础上,提出了基于凸壳原理的目标识别算法,并与基于去伪轮廓的目标识别算法和全轮廓拟合目标识别算法作了对比。基于凸壳原理的目标识别算法利用了苹果近似圆形的形状特性,结合K-means算法与最大类间方差算法将果实与背景分离,由凸壳原理得到果实目标的凸壳多边形,对凸壳多边形进行圆拟合,标定出果实位置。为验证算法有效性,对自然场景下的157幅苹果图像进行了测试,基于凸壳原理的目标识别算法、基于去伪轮廓的目标识别方法和全轮廓拟合目标识别方法的重叠率均值分别为83.7%、79.5%和70.3%,假阳性率均值分别为2.9%、1.7%和1.2%,假阴性率均值分别为16.3%、20.5%和29.7%。结果表明,与上面两种对比算法相比较,基于凸壳原理的目标识别算法识别效果更好且无识别错误的情况,该算法可为自然环境下的果实识别与分割问题提供借鉴与参考。     

基于图像处理与支持向量机的树上苹果早期估产研究

为了实现果树挂果期的精准管理,针对树上苹果早期估产问题,以"Gala"苹果为研究对象,开展了对定果后的果树进行产量估测的研究,提出了一种图像处理结合支持向量机的树上苹果早期估产方法。首先在苹果园内获取定果后的果树树冠图像,此时的树上苹果颜色为绿色(本文称此时期为果树青果期);采用分析图像各颜色分量值分布图法,确定在YCb Cr颜色空间中,以Cb≤100与Cr≥120作为分割树冠图像中苹果的条件;从果树树冠图像中提取果实个数、果实面积、果实树叶比、受遮挡果实个数比例及受遮挡果实面积比例;以上述5个特征参数作为输入,实际产量为输出,利用支持向量机方法建立树上苹果早期估产模型。本文利用训练集(含50个样本)训练模型,预测产量与实际产量的决定系数R2达到了0.724 2,均方根误差RMSE为1.71 kg,平均绝对百分比误差MAPE为9%,平均预测误差MFE为0.21。利用测试集(含15个样本)测试模型,得到RMSE为2.45 kg,MAPE为13%。结果表明该模型不仅具有较好的预测精度与无偏性,且具有较好的鲁棒性,所采用的树上苹果早期估产方法可行。     

基于RGB-D相机的果树三维重构与果实识别定位

为实现对果园果实机器人采摘提供科学可靠的技术指导,提出了一种基于RGB-D相机的苹果果树三维重构以及进行果实立体识别与定位的方法。使用RGB-D相机快速获取自然光照条件下果树的彩色图像和深度图像,通过融合果树图像彩色信息和深度信息实现了果树的三维重构;对果树的三维点云进行 R-G 的色差阈值分割和滤波去噪处理,获得果实区域的点云信息;基于随机采样一致性的点云分割方法对果实点云进行三维球体形状提取,得到每个果实质心的三维空间位置信息和果实半径。实验结果表明,提出的果树三维重构和果实立体识别与定位方法具有较强的实时性和鲁棒性,在0.8~2.0 m测量范围内,顺光和逆光环境中果实正确识别率分别达95.5%和88.5%;在果实拍摄面的点云区域被遮挡面积超过50%的情况下正确识别率达87.4%;果实平均深度定位偏差为8.1 mm;果实平均半径偏差为4.5 mm。     

基于改进YOLOv5m的采摘机器人苹果采摘方式实时识别

为准确识别果树上的不同苹果目标,并区分不同枝干遮挡情形下的果实,从而为机械手主动调整位姿以避开枝干对苹果的遮挡进行果实采摘提供视觉引导,提出了一种基于改进YOLOv5m面向采摘机器人的苹果采摘方式实时识别方法。首先,改进设计了BottleneckCSP-B特征提取模块并替换原YOLOv5m骨干网络中的BottleneckCSP模块,实现了原模块对图像深层特征提取能力的增强与骨干网络的轻量化改进;然后,将SE模块嵌入到所改进设计的骨干网络中,以更好地提取不同苹果目标的特征;进而改进了原YOLOv5m架构中输入中等尺寸目标检测层的特征图的跨接融合方式,提升了果实的识别精度;最后,改进了网络的初始锚框尺寸,避免了对图像里较远种植行苹果的识别。结果表明,所提出的改进模型可实现对图像中可直接采摘、迂回采摘（苹果上、下、左、右侧采摘）和不可采摘果实的识别,识别召回率、准确率、mAP和F1值分别为85.9%、81.0%、80.7%和83.4%。单幅图像的平均识别时间为0.025s。对比了所提出的改进算法与原YOLOv5m、YOLOv3和EfficientDet-D0算法在测试集上对6类苹果采摘方式的识别效果,结果表明,所提出的算法比其他3种算法识别的mAP分别高出了5.4、22、20.6个百分点。改进模型的体积为原始YOLOv5m模型体积的89.59%。该方法可为机器人的采摘手主动避开枝干对果实的遮挡,以不同位姿采摘苹果提供技术支撑,可降低苹果的采摘损失。     

基于残差网络和特征融合的小麦图像修复模型

针对基于生成对抗网络的多数图像修复算法所修复的图像纹理细节不清晰,不能充分融合神经网络提取的纹理细节信息和语义信息的问题,本文提出一种基于残差网络和特征融合的双阶段生成网络图像修复模型,通过修复训练集中被遮挡的图像,获取符合训练集整体分布的修复图像。首先,设计一种轻量型多尺度感受野残差模块,通过多个感受野不同的卷积核提取特征信息,提升粗化生成网络保留纹理信息的能力。其次构建一种双边精细修复网络结构,分别处理纹理细节信息和语义信息并进行聚合,实现图像的精细修复。最后基于GWHD数据集进行实验,验证本文算法的有效性。实验结果表明,本文模型较CE、GL、PEN-Net、CA算法,客观评价指标L1-loss降低0.56～3.79个百分点,PSNR和SSIM提升0.2～1.8 dB和0.02～0.08,并在人眼直观感受中实现了纹理结构清晰、语义特征合理的修复效果。相较于原GWHD数据集,在基于本文模型所扩充的小麦数据集中,运用YOLO v5s预测小麦麦穗的mAP提升1.41个百分点,准确率提升3.65个百分点,召回率提升0.36个百分点。     

基于树冠图像特征的苹果园神经网络估产模型

针对树上苹果产量的早期估测问题,提出了一种利用果树图像树冠树叶与果实的信息,通过BP(Back propagation)神经网络建立模型进行苹果估产的方法。首先在苹果园内分别获取果树在苹果半熟期、成熟期的数字图像,并在苹果收获时将每棵树上的苹果称量,得到实际产量;采用图像处理方法识别出树冠上的果实及树叶;提取果实区域及树叶区域与产量相关的信息为输入,以果树实际产量为输出,建立基于BP神经网络的半熟期与成熟期估产模型,拟合度R分别达到0.928 7、0.980 4。将模型用于待估产样本,得到半熟期样本估测产量与实际产量拟合度R为0.876 6,成熟期样本估测产量与实际产量拟合度R为0.960 6。结果表明该模型具有较好的预测精度与鲁棒性。     

变量喷雾中果树图像不同分割方法

变量喷雾是现代农药精确喷施技术之一.为了实现果树变量喷雾,需要检测果树的形态结构参数.图像处理技术是获取果树形态结构参数的重要方法.本文根据果树图像的特征,分别基于灰度模型、RGB模型和HSV模型对果树图像进行图像分割试验.试验结果表明,有效的果树图像分割方法是基于灰度模型的图像分割与基于RGB模型的(R+G+B)、2R、2G等分量的图像分割.其中,基于灰度模型的图像分割采用固定阈值128,基于RGB模型的图像分割采用Otsu算法.比较各种有效图像分割方法的准确率和耗时,结果表明采用基于RGB模型的2R分量、Otsu算法可以满足果树图像分割处理的要求,该方法分割准确率为79.67％.     

基于改进YOLOX-S的苹果成熟度检测方法

准确检测果园中未成熟与成熟的苹果对果园早期作物的负荷管理至关重要,提出一种能够实时检测苹果成熟度,并估算出整棵果树果实数量的方法。为提高YOLOX-S网络在复杂场景下的检测能力,在FPN(特征金字塔)的残差连接处增加了Coordinate Attention(位置注意力);为更好地检测图像中生长密集、存在遮挡、尺寸较小的苹果,将位置损失函数IoU＿Loss更换为CIoU＿Loss。试验结果表明,所提出的改进YOLOX-S检测算法相较于原算法,mAP值提高约1.97%,苹果低成熟度、中等成熟度和高等成熟度的AP值分别为90.85%、95.10%和80.50%。     

基于相机与激光雷达融合的温室机器人行间导航方法

针对温室颠簸不平、枝叶遮挡道路的复杂环境,开展基于相机与激光雷达数据融合的机器人行间导航方法研究。首先,利用改进的U-Net模型实现图像道路区域的准确快速分割;其次,通过融合图像分割结果进行地面点云预分割,减少地面起伏造成的点云倾斜;然后,采用改进的KMeans算法实现作物行点云快速聚类,并将聚类中心作为作物行主干区域点,降低枝叶遮挡对作物行中线提取的影响;最后,采用RANSAC算法拟合两侧作物行方程并计算出导航线。通过实验评估导航线精度,在测试集中94%以上数据帧可以准确实现提取导航线,平均角度误差不高于1.45°,满足温室机器人沿作物行自主导航行驶要求。     

基于随机森林算法的自然光照条件下绿色苹果识别

果实识别是自动化采摘系统中的重要环节,能否快速、准确地识别出果实直接影响采摘机器人的实时性和可靠性。为了实现自然光照条件下绿色苹果的识别,本文采集了果实生长期苹果树图像,并利用随机森林算法实现了绿色苹果果实的分类和识别。针对果树背景颜色和纹理特征的复杂性,尤其是绿色果实和叶片在很多特征上的相似性,论文基于RGB颜色空间进行了Otsu阈值分割和滤波处理,去除枝干等背景,得到仅剩果实和叶片的图像。然后,分别提取叶片和苹果的灰度及纹理特征构成训练集合,建立了绿色苹果随机森林识别模型,并使用像素模板验证数据集,对模型进行预测试验,正确率为90%。最后,选择10幅自然光照条件下不同的果树图像作为检测对象,使用该模型进行果实识别并使用霍夫变换绘制果实轮廓,平均识别正确率为88%。结果表明,该方法具有较高的鲁棒性、稳定性、准确性,能够用于自然光照条件下绿色果实的快速识别。     

自然场景下树上柑橘实时识别技术

采用G-B色差分量,通过Otsu自适应阈值分割算法分割成熟柑橘图像,采用基于距离变换的分水岭分割将遮挡、重叠柑橘逐个分开,利用凸包算法修复遮挡区域,设定圆度阈值去除误分割区域,然后提取柑橘轮廓,并运用基于Tukey权重函数的最小二乘圆拟合特征圆,提取了柑橘的中心坐标及半径.对87幅图像中592个柑橘进行了识别试验,总体识别率达87.2%,遮挡或重叠柑橘识别率均超过80%.     

基于计算机视觉的苹果自动分级系统硬件开发

介绍了一种基于计算机视觉的新型苹果实时分级试验系统的硬件组成,该系统主要由输送机构、视觉系统及均匀照明室３部分组成。输送机构可把苹果４个表面快速呈现给视觉检测系统;视觉系统可同时采集苹果在可见光和近红外光谱范围内的图像信息并送至计算机内存进行处理;照明系统为ＣＣＤ摄像机的视区提供均匀、恒定的光照。初步试验表明了该系统的可行性,其辅助机构的实时分级算法有待于进一步研究。     

自主导航农业车辆的全景视觉多运动目标识别跟踪

为提高自主导航农业车辆导航路径的准确性和行驶作业的安全性,提出自主导航农业车辆的全景视觉多运动目标识别跟踪方案。该方案采用全景视觉进行无盲区的多运动障碍目标的检测,并解决了多运动目标跟踪中遮挡重叠的问题。首先系统将多目相机采集的图像拼接成全景图像,采用分段图像的改进核函数算法对运动目标进行快速自动检测跟踪;其次采用基于路径预测的粒子滤波算法进行多运动目标跟踪并解决遮挡重叠的问题。通过试验表明:采用改进的核函数目标快速跟踪算法,与传统核函数跟踪算法相比,减少系统内存消耗66.8%,加快运算速度35.63%;采用基于路径预测的粒子滤波多目标跟踪算法,在多运动目标遮挡重叠的情况下,平均提高运动目标跟踪成功率39.5个百分点,算法平均耗时0.78s。     

基于改进AlexNet的广域复杂环境下遮挡猕猴桃目标识别

为了提高猕猴桃采摘机器人的工作效率和对猕猴桃复杂生长环境的适应性,识别广域复杂环境下相互遮挡的猕猴桃目标,采用Im-AlexNet为特征提取层的Faster R-CNN目标检测算法,通过迁移学习微调AlexNet网络,修改全连接层L6、L7的节点数为768和256,以解决晴天(白天逆光、侧逆光)、阴天及夜间补光条件下的广域复杂环境中猕猴桃因枝叶遮挡或部分果实重叠遮挡所导致的识别精度较低等问题。采集广域复杂环境中晴天逆光、晴天侧逆光、阴天和夜间补光条件下存在遮挡情况的4类样本图像共1 823幅,建立试验样本数据库进行训练并测试。试验结果表明:该方法对晴天逆光、晴天侧逆光、阴天和夜间补光条件下存在遮挡情况的图像识别精度为96. 00%,单幅图像识别时间约为1 s。在相同数据集下,Im-AlexNet网络识别精度比LeNet、AlexNet和VGG16 3种网络识别精度的平均值高出5. 74个百分点。说明该算法能够降低猕猴桃果实漏识别率和误识别率,提高了识别精度。该算法能够应用于猕猴桃采摘机器人对广域复杂环境下枝叶遮挡或部分果实重叠遮挡的准确识别。     

多弛豫时间格子波尔兹曼方法的分块算法

为了进一步提高格子波尔兹曼方法计算效率,对"多弛豫时间"格子波尔兹曼方法的分块算法进行了研究,通过适当的处理来耦合各分块区域之间的计算,以满足界面处质量、动量及应力的连续,并保证物理时间上的同步.采用该算法对雷诺数为100时两平板间二维偏置圆柱绕流非定常流动进行了数值模拟.计算中分为2个区,将圆柱附近区域网格加密,就粗细网格间距比值为1,2,4,8共4种情况分别进行了计算,得到了圆柱附近涡量分布图与圆柱阻力和升力系数.计算结果表明:随着圆柱附近局部网格密度的增加,流场中存在于圆柱前驻点附近的非物理振荡现象得到了显著的消除;当网格密度达到一定程度后,计算所得圆柱阻力和升力系数与基准解的吻合程度令人满意,从而验证了该算法的有效性.     

Criminisi算法中修复顺序优化的研究

Criminisi算法是一种较为经典的基于样本块的图像修复方法。本文首先通过对Criminisi算法进行分析,明确了该算法对图像损坏区域进行修复顺序的机制;其次对该机制中修复顺序存在的不足进行了优化;最后通过实验对本文所优化的Criminisi算法的修复效果进行了验证。实验结果显示,本文优化后的Criminisi算法较原Criminisi算法具有更好的修复效果。     

基于边缘曲率分析的重叠番茄识别

为提高重叠番茄的识别正确率,提出了一种基于边缘曲率分析的重叠番茄识别方法。该方法从二值图像中提取番茄区域的边缘,并且为进一步计算出边缘点曲率,对边缘点按逆时针方向进行排序。计算出边缘点曲率后,剔除掉曲率异常的边缘点。最后通过对各剩余边缘分别进行圆回归,实现重叠番茄的识别。为减小作业环境光照变化及枝叶遮挡等因素给识别带来的影响,采用了基于归一化色差的固定阈值分割方法,6条边缘识别准则及3条圆回归准则。119幅图像的试验结果表明,存在轻微遮挡的重叠番茄识别正确率为90.9%;遮挡率大于25%且小于50%时,识别正确率为76.9%;遮挡率大于50%时,识别正确率为23%。