基于Faster R-CNN网络的茶叶嫩芽检测

为有效识别茶叶嫩芽提高机械采摘精度、规划采摘路线以避免伤害茶树,针对传统目标检测算法在复杂背景下检测精度低、鲁棒性差、速度慢等问题,探索了基于Faster R-CNN目标检测算法在复杂背景下茶叶嫩芽检测方面的应用。首先对采集图像分别进行等分裁切、标签制作、数据增强等处理,制作VOC2007数据集;其次在计算机上搭建深度学习环境,调整参数进行网络模型训练;最后对已训练模型进行测试,评价已训练模型的性能,并同时考虑了Faster R-CNN模型对于嫩芽类型(单芽和一芽一叶/二叶)的检测精度。结果表明,当不区分茶叶嫩芽类型时,平均准确度(AP)为54%,均方根误差(RMSE)为3.32;当区分茶叶嫩芽类型时,单芽和一芽一叶/二叶的AP为22%和75%,RMSE为2.84;另外剔除单芽后,一芽一叶/二叶的AP为76%,RMSE为2.19。通过对比基于颜色特征和阈值分割的茶叶嫩芽识别算法(传统目标检测算法),表明深度学习目标检测算法在检测精度和速度上明显优于传统目标检测算法(RMSE为5.47),可以较好地识别复杂背景下的茶叶嫩芽。     

基于Faster-RCNN深度学习的茶叶嫩芽多维度识别及其性能分析

茶叶嫩芽自动识别分类是实现采茶机器人精采名优茶的关键技术。由于茶叶嫩芽与背景中茶叶差别很小,且茶叶嫩芽形状多样,有一芽一叶和一芽二叶等多种形式,给自动识别带来很大难度。基于Faster-RCNN深度学习神经网络模型多维度进行茶叶嫩芽识别。首先对网络性能进行分析,选取较优的网络模型;在此基础上,研究一幅图像中包含嫩芽的不同数量、形态、拍摄角度、光照条件多维度对识别性能的影响。结果发现,光照条件和拍摄角度对嫩芽识别影响较大。所采用的Faster-RCNN深度学习模型对45°角度拍摄、晴天环境下单株集中一芽两叶的茶叶嫩芽识别效果最佳,同时阴天和90°拍摄时识别效果较差。研究为后续实现机器人现代化智能化的名优茶精采提供了技术支持。     

基于改进DeepLabv3+的番茄图像多类别分割方法

番茄图像中多类别目标的准确识别是实现自动化采摘的技术前提,针对现有网络分割精度低、模型参数多的问题,提出一种基于改进DeepLabv3+的番茄图像多类别分割方法。该方法使用幻象网络(GhostNet)和坐标注意力模块(Coordinate attention, CA)构建CA-GhostNet作为DeepLabv3+的主干特征提取网络,减少网络的参数量并提高模型的分割精度,并设计了一种多分支解码结构,用于提高模型对小目标类别的分割能力。在此基础上,基于单、双目小样本数据集使用合成数据集的权值参数进行迁移训练,对果实、主干、侧枝、吊线等8个语义类别进行分割。结果表明,改进的DeepLabv3+模型在单目数据集上的平均交并比(MIoU)和平均像素准确率(MPA)分别为68.64%、78.59%,在双目数据集上的MIoU和MPA分别达到73.00%、80.59%。此外,所提模型内存占用量仅为18.5 MB,单幅图像推理时间为55 ms,与基线模型相比,在单、双目数据集上的MIoU分别提升6.40、6.98个百分点,与HRNet、UNet、PSPNet相比,内存占用量压缩82%、79%、88%...     

基于Compact-YOLO v4的茶叶嫩芽移动端识别方法

茶叶嫩芽精准识别是实现嫩芽智能化采摘的前提与基础,采用视觉和深度学习的嫩芽识别方法逐渐成熟,但该方法过度依赖于高性能硬件,不利于采茶机器人移动端的部署,针对这一问题,本文提出一种基于Compact-YOLO v4算法的茶叶嫩芽移动端识别方法。首先对YOLO v4算法的Backbone网络和Neck网络进行改进,将Backbone网络替换为GhostNet,将Neck网络中传统卷积替换为Ghost卷积,改进后的模型内存占用量仅为原来的1/5。接着运用迁移学习的训练方法提升模型精度,试验表明,Compact-YOLO v4算法模型的精度、召回率、平均精度均值、F1值分别为51.07%、78.67%、72.93%和61.45%。最后将本文算法模型移植到PRO-RK3568-B移动端开发板,通过转换模型、量化处理、改进部署环境3种方式,降低模型推理计算对硬件性能的需求,最终在保证嫩芽识别准确率的前提下,实现了优化模型推理过程、减轻移动端边缘计算压力的目的,为茶叶嫩芽采摘机器人的实际应用提供了技术支撑。     

基于Mask R-CNN模型的葡萄藤关键结构分割方法

剪枝点的精确识别与定位是实现葡萄藤冬季剪枝智能化的基础,葡萄藤关键结构的分割是用于推理精确剪枝点的重要前提。针对现有分割方法受背景影响较大致使葡萄藤各关键结构损失和剪枝点识别与定位不准确的问题,提出一种基于Mask R-CNN的葡萄藤关键结构分割方法,建立葡萄藤修剪模型以及各关键结构数据集。通过主干特征提取网络和分割性能的对比试验,得出最优的Mask R-CNN模型结构并验证其拟合与泛化能力以及在不同自然背景下的分割性能。结果表明,以ResNet 101+FPN为主干特征提取网络的Mask R-CNN模型具有较好的拟合与泛化能力,相较于对照组模型准确率分别提升7.33%和8.89%,召回率分别提升9.32%和9.26%,平均精度均值分别提升12.69%和12.63%,其能够克服各类自然种植背景因素,分割目标边缘完整,葡萄藤各关键结构之间连接关系正确。     

基于机器视觉的乘用式智能采茶机设计与试验

针对目前乘用式采茶机作业时对采摘面的茶芽不能识别大小、老嫩茶叶一刀切下的弊端,设计了一种基于机器视觉的乘用式采茶机,提出了嫩茶自动识别与采茶机割刀的自动调平调高控制方法。通过对采茶机割台的位置伺服和水平度伺服控制,使得割刀面与茶陇蓬面有一个较好吻合,并能将割台与大地水平面保持一致;为了实现更为精准地切割,在采摘面的茶芽识别时采用2次最大类间差分法。首先获取采摘面的图像,利用B分量的阈值分割出茶叶区域;然后选取G和G-B分量的阈值,从茶叶区域中再分割出嫩茶区域;最后计算采摘面上嫩茶部分所占面积比例,以70%作为视觉伺服的控制基准。试验研究表明,提出的基于机器视觉的乘用式采茶机的嫩茶自动识别与采茶机割刀的自动调平调高控制方法能有效解决目前机采茶叶老嫩一刀切下的弊端,为今后全自动化茶叶采摘奠定了基础。     

基于颜色和形状特征的茶叶嫩芽识别方

与人工采摘茶叶相比,现有采茶机械虽能提高采摘速度,但采摘时老叶、嫩叶一起采,缺乏选择性,并有部分叶片遭破损,降低了原料品质.为此,需要研究具有选择性、低损伤率的自动采摘方法.本文采用基于颜色和形状特征的图像处理方法,实现茶叶嫩芽的计算机识别和检测.针对清明期陕西名茶"午子仙豪"茶叶,首先在RGB颜色空间中提取茶叶图像的G分量,并采用双阈值方法对图像进行分割;然后根据茶叶嫩芽的形状特征,检测茶叶嫩芽的边缘.实验结果表明:基于颜色和形状特征的识别方法能有效分辨出茶叶嫩芽,识别准确率为94%,为实现茶叶嫩芽的自动采摘提供了一种有效方法.     

基于实例分割的番茄串视觉定位与采摘姿态估算方法

准确识别定位采摘点，根据果梗方向，确定合适的采摘姿态，是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂，果实颜色、形状各异，果梗姿态多样，叶子藤枝干扰等因素，降低了采摘点识别准确率和采摘成功率。针对这个问题，考虑番茄串生长特性，提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制，保证番茄串和果梗感兴趣区域(Region of interest, ROI)、掩膜质量和可靠性，实现果梗粗分割；通过果梗掩膜信息和ROI位置关系匹配可采摘果梗，基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割；再通过果梗深度信息填补法与深度信息融合，精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态，并根据果梗姿态确定适合采摘的末端执行器姿态，引导机械臂完成采摘。研究和大量现场试验结果表明，提出的方法在复杂采摘环境中具有较高的定位精度和稳定性，对4个品种的番茄串采摘点平均识别成功率为98.07%,图像分辨率为1 280像素×720像素时算法处理速率达到21 f/s,采摘点图像坐标最大定位误差为3像素...     

基于VUE的智能采摘机器人前端开发框架研究

以智能采摘自动识别定位方式为研究对象,对葡萄自动采摘前端的图像采集和分析处理过程进行分析,利用VUE自底向上逐层构建的方式,设计一种能够对目标进行自动识别定位的智能采摘机器人识别定位算法。采用高清相机对采摘目标图像进行采集,将原始图像进行二值化处理,获取图像灰度等级,并采用葡萄图像分割的方式获取葡萄采摘点,最后通过最小角度拟合的方式确定葡萄果梗采摘点。试验结果表明:智能采摘机器人前端识别定位方法平均运行成功率高于90%,平均运行时间0.65s,能够快速准确地进行采摘对象识别定位,可为智能采摘机器人技术的推广提供理论基础。     

排球运动规划在采摘机器人识别定位中的应用

为对采摘机器人的识别与定位功能进行优化,将排球机器人的运动规划原理与采摘机器人的控制要求相结合进行应用探讨。通过搭建采摘机器人对果实的识别定位理论模型,运用核心图像识别与处理算法,硬件配置动作执行协调及软件系统后台指令控制,实现多功能性传感装置信息数据的合理性采集与传输,达到实时定位目标。进行了采摘机器人的识别与定位试验,结果表明:在排球机器人运动规划与控制机理下,通过目标与定位图像的有效抓取,采摘定位时间可控制在0.6s左右,综合定位准确率保持在93.8%以上,最高定位准确率可达95.7%,满足采摘机器人作业需求,验证了设计理念的可行性,可为类似农业设备定位开发提供思路。     

一种鲜食葡萄采摘点的快速高效识别方法

标准化栽培技术下葡萄生长环境的复杂性及果实颜色多样性使葡萄采摘机器人难以准确、快速地识别葡萄位置和采摘点。为此,创新性地运用逆向识别算法,结合模板匹配算法和测距仪实现了鲜食葡萄采摘点的精确定位。首先,建立一个拥有青、红、紫、黑等不同葡萄颜色的样本数据库;然后,利用机器视觉结合模板匹配方法进行二维坐标的定位;最后,配合测距仪实现三维采摘点的定位。仿真实验结果表明:在自然光和日光灯照射条件下,葡萄采摘机器人能够适应不同葡萄品种的采摘条件,采摘识别成功率达到90%。     

基于激光视觉的智能识别苹果采摘机器人设计

为了提高苹果采摘视觉识别系统的精度,增强视觉系统的抗干扰能力和自适应能力,设计了一种新的苹果采摘机器人激光视觉识别系统,可以直接获得层次关系的深度图像,实现了果园非结构化环境中果实的识别与定位。为了测试激光识别系统苹果采摘机器人的采摘效果,在果园中对其采摘性能进行了测试:首先采用高清相机完成了对果实图像的采集,通过图像处理准确地实现了苹果的识别,在遮挡率低于50%时其识别率达到了90%以上;然后利用激光测距方法对苹果进行距离测量,成功定位了果实位置,其响应时间仅为3.58s,动作效率快,实现了苹果的高效率、高精度采摘功能。     

温室高架栽培草莓空间姿态识别与采摘点定位方法

采摘目标空间位姿信息缺失和目标定位精度低是影响草莓采摘机器人采摘效果的关键因素之一。为此，本文首先设计了基于颜色信息和卷积神经网络的草莓图像目标定位与分割以及目标点云分割模型；其次，实现了基于图像的草莓可采摘性和遮挡程度识别模型；最后，设计了草莓空间定位和姿态估计模型并实现草莓采摘点定位方法。基于本文方法对完整草莓位姿估计平均误差为4.03%，对遮挡草莓位姿估计平均误差为9.06%，采摘定位综合误差为2.3mm。在实际采摘实验中，采摘成功率为92.6%，平均每个草莓的计算耗时约为92ms，单个草莓采摘动作的执行平均耗时约为5.7s。实验结果表明：本文提出的方法可在温室条件下较准确地估计草莓空间位姿和采摘点，为草莓采摘机器人提供有效的目标定位信息，有效满足实际采摘场景下的需求。     

基于改进YOLO v4和ICNet的番茄串检测模型

针对深层神经网络模型部署到番茄串采摘机器人,存在运行速度慢,对目标识别率低,定位不准确等问题,本文提出并验证了一种高效的番茄串检测模型。模型由目标检测与语义分割两部分组成。目标检测负责提取番茄串所在的矩形区域,利用语义分割算法在感兴趣区域内获取番茄茎位置。在番茄检测模块,设计了一种基于深度卷积结构的主干网络,在实现模型参数稀疏性的同时提高目标的识别精度,采用K-means++聚类算法获得先验框,并改进了DIoU距离计算公式,进而获得更为紧凑的轻量级检测模型(DC-YOLO v4)。在番茄茎语义分割模块（ICNet）中以MobileNetv2为主干网络,减少参数计算量,提高模型运算速度。将采摘模型部署在番茄串采摘机器人上进行验证。采用自制番茄数据集进行测试,结果表明,DC-YOLO v4对番茄及番茄串的平均检测精度为99.31%,比YOLO v4提高2.04个百分点。语义分割模块的mIoU为81.63%,mPA为91.87%,比传统ICNet的mIoU提高2.19个百分点,mPA提高1.47个百分点。对番茄串的准确采摘率为84.8%,完成一次采摘作业耗时约6s。     

基于K-means聚类法的茶叶嫩芽识别研究

以数码相机采集的茶叶图像为对象,研究茶叶嫩芽的识别方法。采用基于Lab颜色模型中a分量、b分量信息的K-means聚类法识别彩色图像中的茶叶嫩芽。对不同距离采集的茶叶图像,对比分析Ostu法(最大方差自动取阈法)和3个聚类中心的K-means聚类法的目标识别效果和识别效率。结果表明,Ostu法虽然可以完成嫩芽的识别,平均识别率在89%左右,但不能较好的保证分割后嫩芽的完整度。基Lab颜色模型和K-means聚类法的识别算法能较好的区分嫩芽和背景,平均识别率达到94%左右,且能较好的保证分割后嫩芽的完整度,为智能采摘技术研究提供技术支持和理论基础。     

基于Mask-RCNN的自然场景下油茶果目标识别与检测

针对我国油茶果采摘过程中存在的自动化水平落后、采摘效率低、适采周期短的现状,应用于机器人收获技术的机器视觉技术受限于真实场景中复杂背景干扰从而导致识别精度较低的问题。以自然场景下的油茶果为研究对象,提出一种基于Mask-RCNN的自然场景下油茶果目标识别与检测算法,首先获取油茶果图像并建立数据集,利用ResNet卷积神经网络提取油茶果果实图片的特征,获得果实目标分割结果,再采用RPN对所得到的特征图进行操作,并增加全连接层,提取每个样本mask像素面积,并对目标类别进行预测。利用测试集分别测试油茶果的分割网络模型及目标识别算法,结果表明,网络模型的分割准确率为89.85%,油茶果目标识别的平均检测精度为89.42%,召回率为92.86%。本算法能够自动检测油茶果目标,并有效降低不同光照情况下叶片与花苞遮挡、果实重叠、果实色泽等因素干扰,为自然场景中果实自动化采摘提供可靠的视觉支持。     

基于YOLO v5-TL的褐菇采摘视觉识别-测量-定位技术

为实现褐菇高效、精准、快速的自动化采摘,针对工厂化褐菇的种植特点,提出一种基于YOLO v5迁移学习(YOLO v5-TL)结合褐菇三维边缘信息直径动态估测法的褐菇原位识别-测量-定位一体化方法。首先,基于YOLO v5-TL算法实现复杂菌丝背景下的褐菇快速识别;再针对锚框区域褐菇图像进行图像增强、去噪、自适应二值化、形态学处理、轮廓拟合进行褐菇边缘定位,并提取边缘点和褐菇中心点的像素坐标;最后基于褐菇三维边缘信息的直径动态估测法实现褐菇尺寸的精确测量和中心点定位。试验结果表明单帧图像平均处理时间为50ms,光照强度低、中、高情况下采摘对象识别平均成功率为91.67%,其中高光强时识别率达100%,菇盖的尺寸测量平均精度为97.28%。研究表明,本文提出的YOLO v5-TL结合褐菇三维边缘信息直径动态估测法可实现工厂化种植环境下褐菇识别、测量、定位一体化,满足机器人褐菇自动化采摘需求。     

基于近红外图像的温室小型西瓜采摘信息获取技术

为实现温室立体栽培模式下小型西瓜的识别与空间定位,研究了基于近红外图像的西瓜采摘信息获取方法。测定、比较西瓜果实与茎、叶的光谱反射率,确定波长850 nm附近波段为区分西瓜与背景的最佳波段,在光强差异较大的两时段内采集了最佳波段下的西瓜近红外图像;通过Otsu算法滤除背景信息,利用"米"字型模板检测得到"浓缩西瓜"区域,实现西瓜果实识别;使用形心坐标计算公式获得采摘点坐标;根据西瓜果梗生长特性,利用分块定位算法获得切割点坐标信息。在温室环境下随机选择拍摄50幅有西瓜图像和20幅无西瓜图像进行识别算法验证,并对识别成功的有西瓜图像进行采摘点与切割点提取算法验证。结果表明,有西瓜图像识别成功率为86%,无西瓜图像为95%;采摘点、切割点定位准确度分别为93.0%、88.4%。     

基于RGB-D相机的果树三维重构与果实识别定位

为实现对果园果实机器人采摘提供科学可靠的技术指导,提出了一种基于RGB-D相机的苹果果树三维重构以及进行果实立体识别与定位的方法。使用RGB-D相机快速获取自然光照条件下果树的彩色图像和深度图像,通过融合果树图像彩色信息和深度信息实现了果树的三维重构;对果树的三维点云进行 R-G 的色差阈值分割和滤波去噪处理,获得果实区域的点云信息;基于随机采样一致性的点云分割方法对果实点云进行三维球体形状提取,得到每个果实质心的三维空间位置信息和果实半径。实验结果表明,提出的果树三维重构和果实立体识别与定位方法具有较强的实时性和鲁棒性,在0.8~2.0 m测量范围内,顺光和逆光环境中果实正确识别率分别达95.5%和88.5%;在果实拍摄面的点云区域被遮挡面积超过50%的情况下正确识别率达87.4%;果实平均深度定位偏差为8.1 mm;果实平均半径偏差为4.5 mm。     

基于HSV模型与改进的OTSU算法花椒图像分割

为实现农业智能机器人对作业现场花椒的识别,提出了一种基于HSV模型与改进的Otsu算法相结合的图像分割方法:以现场图像的H分量图像作为处理样本,先采用中值滤波滤除噪声,再利用改进的Otsu算法进行阈值分割,达到对花椒目标辨识的目的。通过对采摘现场成熟的大红袍花椒在顺光、背光、遮阴3种情况下采集的图像进行分割,结果表明:在顺光、背光、遮阴条件下,分割识别率分别为93.3%、90%、88.3%,且与传统的Otsu算法相比,图像分割时间缩短20%以上,为现场机器人花椒采摘识别提供了一种方法。