基于Mask-RCNN的自然场景下油茶果目标识别与检测

针对我国油茶果采摘过程中存在的自动化水平落后、采摘效率低、适采周期短的现状,应用于机器人收获技术的机器视觉技术受限于真实场景中复杂背景干扰从而导致识别精度较低的问题。以自然场景下的油茶果为研究对象,提出一种基于Mask-RCNN的自然场景下油茶果目标识别与检测算法,首先获取油茶果图像并建立数据集,利用ResNet卷积神经网络提取油茶果果实图片的特征,获得果实目标分割结果,再采用RPN对所得到的特征图进行操作,并增加全连接层,提取每个样本mask像素面积,并对目标类别进行预测。利用测试集分别测试油茶果的分割网络模型及目标识别算法,结果表明,网络模型的分割准确率为89.85%,油茶果目标识别的平均检测精度为89.42%,召回率为92.86%。本算法能够自动检测油茶果目标,并有效降低不同光照情况下叶片与花苞遮挡、果实重叠、果实色泽等因素干扰,为自然场景中果实自动化采摘提供可靠的视觉支持。     

基于实例分割的番茄串视觉定位与采摘姿态估算方法

准确识别定位采摘点，根据果梗方向，确定合适的采摘姿态，是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂，果实颜色、形状各异，果梗姿态多样，叶子藤枝干扰等因素，降低了采摘点识别准确率和采摘成功率。针对这个问题，考虑番茄串生长特性，提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制，保证番茄串和果梗感兴趣区域(Region of interest, ROI)、掩膜质量和可靠性，实现果梗粗分割；通过果梗掩膜信息和ROI位置关系匹配可采摘果梗，基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割；再通过果梗深度信息填补法与深度信息融合，精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态，并根据果梗姿态确定适合采摘的末端执行器姿态，引导机械臂完成采摘。研究和大量现场试验结果表明，提出的方法在复杂采摘环境中具有较高的定位精度和稳定性，对4个品种的番茄串采摘点平均识别成功率为98.07%,图像分辨率为1 280像素×720像素时算法处理速率达到21 f/s,采摘点图像坐标最大定位误差为3像素...     

采摘机器人识别抓取重叠番茄果实的方法研究

为适应农业果实采摘机器人自主采摘的需求,针对重叠番茄果实,设计了一种在不同光照条件下改进色差算子的组合处理识别并抓取重叠果实的方法。首先,利用中值滤波滤除噪声;然后,采用改进算子的OTSU分割算法和形态学处理对番茄图像进行背景分割,通过异或运算、腐蚀操作,使未覆盖果实与被覆盖果实的分离更加明显,进而将凸包算法、泛洪填充算法和霍夫直线检测相结合,提取出番茄的真实轮廓,并利用最小二乘法对其进行椭圆拟合,计算出果实质心进行立体匹配;最后,设计了适用于番茄果实采摘的原型机器人,主要由三自由度的机械臂构成,用于抓取果实。分别从不同角度对不同光照条件下重叠的番茄果实图像进行了实验,并进行了水果立体匹配实验,结果表明:该方法是有效、可行且高效的。     

基于改进Mask RCNN的复杂环境下苹果检测研究

苹果检测是苹果采摘系统中的关键环节,为实现复杂环境下苹果采摘机器人视觉系统对苹果的识别和定位,提出一种基于深度学习的方法,通过改进的Mask RCNN网络对苹果进行检测研究。该方法在原始Mask RCNN网络的基础上,增加边界加权损失函数,能够使边界检测结果更为精确。训练后的模型在验证集下的AP值为92.62%。通过比较Mask RCNN与Faster RCNN、YOLO v3和传统分割算法K-means算法在不同数目,不同光照和绿色苹果情况下的检测效果,试验结果表明:Mask-RCNN的F1值和分割效果均高于其他算法,证明本文方法对复杂环境下的苹果有很好的检测效果,可为苹果产业中采摘机器人的视觉系统提供技术支持。     

基于深度学习和高斯过程回归的玉米冠下视觉导航路径提取方法

面对田间作业过程中大型机器机动性差及复杂场景下导航路径拟合精度差的问题,提出一种基于深度学习和高斯过程回归的玉米冠层下导航路径提取方法。首先,基于四足机器人采集玉米冠下作物行图像,对Mask R-CNN实例分割方法进行改进,在特征融合网络引入简化路径增强特征金字塔网络(Simple path aggregation network, Simple-PAN),通过增加自底向上的路径增强模块和特征融合操作模块,提高图像上下文特征的融合能力。其次,以模型识别的冠下作物行目标为基础构建两侧区域分界线,计算可通行区域两侧下垂叶片的分布情况,优化基于加权平均的导航路径算法。对高斯过程回归(Gaussian process regression, GPR)算法进行改进,添加DotProduct线性核对曲线拟合进行优化,优化GPR方法的直线拟合效果。最后,在验证集上进行导航路径识别,计算不同方法拟合导航路径的平均偏差。试验结果表明,该算法能够适应玉米田中叶片遮挡根茎的情况,优化的Mask R-CNN模型具备更高的冠下目标分割精度,基于改进GPR算法拟合的导航线平均偏差为0.7像素,处理一帧分辨率为1280像素×720像素的图像平均耗时为227ms,该算法能提供在玉米冠层下具备一定避障能力的导航路径,满足导航实时性和准确性的要求。结果可为田间智能农业装备的导航算法研究提供技术与理论支撑。     

自然场景下花椒果实的识别

提出一种自然场景下应用于花椒采摘机器人视觉系统的果实识别算法。该方法采用红色和绿色图像差异(R—G)来进行图像分割,使用优化腐蚀滤除噪点和隔离带法除去非目标花椒串果实,再求取花椒果实串的形心和半径。试验结果表明,该算法能有效的识别花椒果实,确定果实串的中心位置误差为10mm,识别半径误差与花椒果实串最小半径比0.05。     

基于机器视觉的番茄果实图像分割方法研究

为了改善番茄采摘机器视觉系统中番茄果实图像的分割效果,对基于二维直方图的阈值分割方法的理论进行了分析,针对番茄果实图像的特点将阈值点附近的区域信息引入分割算法中,提出了一种改进的基于二维直方图的Otsu阈值分割方法,改善了图像的分割效果。     

基于改进Mask R-CNN的苹果园害虫识别方法

针对基础卷积神经网络识别苹果园害虫易受背景干扰及重要特征表达能力不强问题，提出一种基于改进Mask R-CNN的苹果园害虫识别方法。首先，基于Haar特征方法对多点采集得到的苹果园害虫图像进行迭代初分割，提取害虫单体图像样本，并对该样本进行多途径扩增，得到用于深度学习的扩增样本数据集。其次，对Mask R-CNN中的特征提取网络进行优化，采用嵌入注意力机制模块CBAM的ResNeXt网络作为改进模型的Backbone,增加模型对害虫空间及语义信息的提取，有效避免背景对模型性能的影响；同时引入Boundary损失函数，避免害虫掩膜边缘缺失及定位不准确问题。最后，以原始Mask R-CNN模型作为对照模型，平均精度均值作为评价指标进行试验。结果表明，改进Mask R-CNN模型平均精度均值达到96.52%,相比于原始Mask R-CNN模型，提高4.21个百分点，改进Mask R-CNN可精准有效识别苹果园害虫，为苹果园病虫害绿色防控提供技术支持。     

番茄采摘机器人系统设计与试验

为了提高鲜食番茄采收的自动化水平,减轻人工采摘劳动强度,设计了一种番茄智能采摘机器人。该采摘机器人包括视觉定位单元、采摘手爪、控制系统及承载平台,并基于各部件工作原理制定了采摘机器人的工作流程。基于HIS色彩模型进行图像分割,提高了果实识别的准确度;通过气囊夹持方式确保果实采摘过程中对果实的柔性夹持。试验结果表明:视觉定位、采摘手爪等模块运转良好,采摘单果番茄耗时约24s,成功率可达8 3.9%以上。     

基于随机森林算法的自然光照条件下绿色苹果识别

果实识别是自动化采摘系统中的重要环节,能否快速、准确地识别出果实直接影响采摘机器人的实时性和可靠性。为了实现自然光照条件下绿色苹果的识别,本文采集了果实生长期苹果树图像,并利用随机森林算法实现了绿色苹果果实的分类和识别。针对果树背景颜色和纹理特征的复杂性,尤其是绿色果实和叶片在很多特征上的相似性,论文基于RGB颜色空间进行了Otsu阈值分割和滤波处理,去除枝干等背景,得到仅剩果实和叶片的图像。然后,分别提取叶片和苹果的灰度及纹理特征构成训练集合,建立了绿色苹果随机森林识别模型,并使用像素模板验证数据集,对模型进行预测试验,正确率为90%。最后,选择10幅自然光照条件下不同的果树图像作为检测对象,使用该模型进行果实识别并使用霍夫变换绘制果实轮廓,平均识别正确率为88%。结果表明,该方法具有较高的鲁棒性、稳定性、准确性,能够用于自然光照条件下绿色果实的快速识别。     

基于迁移学习的温室番茄叶片水分胁迫诊断方法

为实时诊断番茄叶片水分胁迫程度,提出一种叶片水分胁迫程度的诊断方法,该诊断方法包括2部分：叶片分割和水分胁迫程度分类。采用以ResNet101为特征提取卷积网络的Mask R-CNN网络对背景遮挡的番茄叶片进行实例分割,通过迁移学习将Mask R-CNN在COCO数据集上预训练得到的权重用于番茄叶片的实例分割,保留原卷积网络的训练参数,只调整全连接层。利用卷积网络提取的特征,可将番茄叶片分割视为区分叶片与背景的一个二分类问题,以此来分割受到不同水分胁迫的番茄叶片图像。利用微调后的DenseNet169图像分类模型进行叶片水分胁迫程度分类,通过迁移学习将DenseNet169在ImageNet数据集上预训练得到的权重用于番茄叶片水分胁迫程度的分类,保持DenseNet169卷积层的参数不变,只训练全连接层,并对原DenseNet169全连接层进行了修改,将分类数量从1.000修改为3。试验共采集特征明显的无水分胁迫、中度胁迫和重度胁迫3类温室番茄叶片图像,共2000幅图像,建立数据集,并进行模型训练与测试。试验结果表明,训练后的Mask R-CNN叶片实例分割模型在测试集上对于单叶片和多叶片的马修斯相关系数平均为0.798,分割准确度平均可达到94.37%。经过DenseNet169网络训练的叶片水分胁迫程度分类模型在测试集上的分类准确率为94.68%,与 VGG-19、AlexNet这2种常用的深度学习分类模型进行对比,分类准确率分别提高了5.59、14.68个百分点,表明本文方法对温室番茄叶片水分胁迫程度实时诊断有较好的效果,可为构建智能化的水胁迫分析技术提供参考。     

基于Mask R-CNN的单株柑橘树冠识别与分割

针对在复杂果园背景中难以识别分割单株果树树冠的问题,研究了基于Mask R-CNN 神经网络模型实现单株柑橘树冠识别与分割的方法。通过相机获取柑橘园图像数据,利用Mask R-CNN神经网络实现单株柑橘树冠的识别与分割,根据测试集的预测结果评估模型的性能和可适应性,并分析模型的影响因素。结果表明：参与建模的果园单株树冠识别分割准确率为97%,识别时间为0.26s,基本上可满足果园精准作业过程中的树冠识别要求;未参与建模果园的单株树冠识别分割准确率为89%,说明模型对不同品种、不同环境的果园具有一定的适应性;与SegNet模型相比,本文模型准确率、精确率和召回率均约高5个百分点,说明在非目标树冠较多的复杂果园图像中具有较好的识别分割效果。本研究可为对靶喷药、病虫害防护、长势识别与预估等果园精准作业提供重要依据。     

自然环境下桃子图像分割算法

成熟果实的识别是果蔬采摘机器人视觉系统的关键问题,要解决该问题,首先需要进行有效的图像分割.从复杂背景中分离果实一直是该领域的一个难题.为此,针对自然环境下的桃子图像进行了图像分割方法的研究.利用2R-G-B和L*a*b*的a*分量以及HSI的H分量分别对彩色图像进行了3种方法的灰度化处理,然后采用大津法对灰度图像进行了二值化处理,对二值化图像采用匹配去噪与匹配膨胀相结合的方法,去除了复杂背景噪声.试验表明,所提出的桃子分割方法具有很好的分割效果.     

基于迁移学习和Mask R-CNN的稻飞虱图像分类方法

针对当前稻飞虱图像识别研究中自动化程度较低、识别精度不高的问题,提出了一种基于迁移学习和Mask R-CNN的稻飞虱图像分类方法。首先,根据稻飞虱的生物特性,采用本团队自主研发的野外昆虫图像采集装置,自动获取稻田稻飞虱及其他昆虫图像;采用VIA为数据集制作标签,将数据集分为稻飞虱和非稻飞虱两类,并通过迁移学习在Res Net50框架上训练数据;最后,基于Mask R-CNN分别对稻飞虱、非稻飞虱、存在干扰以及存在黏连和重合的昆虫图像进行分类实验,并与传统图像分类算法(SVM、BP神经网络)和Faster R-CNN算法进行对比。实验结果表明,在相同样本条件下,基于迁移学习和Mask R-CNN的稻飞虱图像分类算法能够快速、有效识别稻飞虱与非稻飞虱,平均识别精度达到0. 923,本研究可为稻飞虱的防治预警提供信息支持。     

基于Mask R-CNN的柑橘主叶脉显微图像实例分割模型

针对目前植物解剖表型的测量与分析过程自动化低，难以应对复杂解剖表型的提取和识别的问题，以柑橘主叶脉为研究对象，提出了一种基于掩膜区域卷积神经网络(Mask region convolutional neural network, Mask R-CNN)的主叶脉显微图像实例分割模型，以残差网络ResNet50和特征金字塔(Feature pyramid network, FPN)为主干特征提取网络，在掩膜(Mask)分支上添加一个新的感兴趣区域对齐层(Region of interest Align, RoI-Align),提升Mask分支的分割精度。结果表明，该网络架构能够精准地对柑橘主叶脉横切面中的髓部、木质部、韧皮部和皮层细胞进行识别分割。Mask R-CNN模型对髓部、木质部、韧皮部和皮层细胞的分割平均精确率(交并比(IoU)为0.50)分别为98.9%、89.8%、95.7%和97.2%,对4个组织区域的分割平均精确率均值(IoU为0.50)为95.4%。与未在Mask分支添加RoI-Align的Mask R-CNN相比，精度提升1.6个百分点。研究结果表明，Mask R-CN...     

基于SOM-K-means算法的番茄果实识别与定位方法

为解决多个番茄重叠黏连时难以识别与定位的问题,提出一种基于RGB-D图像和K-means优化的自组织映射(Self-organizing map,SOM)神经网络相结合的番茄果实识别与定位方法.首先,利用RGB-D相机拍摄番茄图像,对图像进行预处理,获取果实的轮廓信息;其次,提取果实轮廓点的平面和深度信息,筛选后进行处...     

自然背景下计算机视觉技术在西红柿采摘中的应用

针对西红柿种植过程中,采摘费时费力的问题,将计算机视觉技术与图像处理和模式识别技术相结合,开发了在自然背景条件下的西红柿自动识别系统。运用双目立体视觉系统来识别红色西红柿,去除原始图像的噪声、转换图像的灰度、对新图像进行分割和目标特征提取,从背景中把西红柿分离出来;同时,针对果实间存在的重叠问题,采用圆形Hough变换算法,提取西红柿的圆心坐标和半径特征,通过获取T=Sqrt(s×l)图像,恢复被遮挡西红柿。利用该技术,采集了不同条件下的100张西红柿照片,其中99张照片被准确识别,识别率达到9 9%以上,能够较好地满足西红柿采摘工作的要求。     

苹果采摘机器人夜间识别方法

提出了一种适用于苹果采摘机器人夜间识别的方法。在图像采集阶段,通过对比不同光源的照明效果,选用白炽灯作为照明光源并采用2盏白炽灯从不同角度照明的方式削弱图像中的阴影。在图像分割阶段,对比白天图像的分割方法,提出改进R-G色差分割法。此外针对夜间图像中的高亮反光区,采用二次分割的方法提取出水果表面的高亮反光区以此对分割后的图像进行修补,以得到完整的分割结果。经统计不考虑果实的遮挡和粘连,夜间苹果正确识别率达到83.7%。