枝条遮挡下单个苹果目标识别与重建的研究

【目的】研究枝条遮挡情况下单个苹果目标的识别,为复杂生长环境下苹果目标的准确识别与定位及实现自动采摘提供支持。【方法】针对果实目标受枝条遮挡影响被分割成几个部分,从而严重影响果实目标准确识别的现状,以枝条遮挡下的苹果目标为研究对象,选用基于Lab颜色空间的Kmeans聚类算法对苹果目标进行分割,再通过数学形态学方法对目标苹果轮廓进行提取,然后根据最小外接矩形法去除目标苹果的伪轮廓,最后利用轮廓的曲率特征对目标苹果进行重建,并对分割与重建结果进行了方法验证。【结果】利用基于Lab颜色空间下的Kmeans聚类算法和最小外接矩形法可有效提取出苹果目标的真实轮廓,能够与苹果目标边缘线达到高度重合,同时可获得较准确的重建结果。对10幅枝条遮挡果实目标的识别、定位与重建的验证结果表明,该方法对目标苹果进行分割与重建的平均分割误差为13.83%,平均重叠系数为88.08%,假阳性率和假阴性率分别为1.22%和11.92%,目标苹果重建准确率均在84.00%以上,平均重建时间为24.40 s。【结论】应用本研究中的方法可对枝条遮挡下的苹果目标进行准确识别、定位与重建,有效缩短重建时间。     

基于双目立体视觉的重叠柑橘空间定位

果实的精准识别和定位是智能采摘面临的难题之一。基于双目立体视觉,提出了一种针对户外重叠柑橘的三维空间定位方法。首先,从双目左右图像中提取重叠柑橘果实轮廓并进行高斯平滑,通过曲率分析,找出异常的轮廓像素点;其次,依次连接相邻两个异常像素点,分析该线段上的像素点到柑橘轮廓的距离,在相邻两正常线段的交点处完成重叠柑橘轮廓分割,并通过寻找异常线段剔除对应的非柑橘轮廓像素点;再者,采用最小二乘椭圆拟合方法重建柑橘目标轮廓,并获取柑橘的中心;最后,根据双目极线约束和图像相似度,对重叠柑橘中心点进行匹配,并基于视差原理计算柑橘中心的深度值及三维空间坐标,确定重叠柑橘的遮挡关系。户外实验结果表明,所提出的方法定位误差为6.38 mm,满足柑橘采摘机器人户外采摘作业的定位精度要求。     

基于双目立体视觉的重叠柑橘空间定位

果实的精准识别和定位是智能采摘面临的难题之一。基于双目立体视觉,提出了一种针对户外重叠柑橘的三维空间定位方法。首先,从双目左右图像中提取重叠柑橘果实轮廓并进行高斯平滑,通过曲率分析,找出异常的轮廓像素点;其次,依次连接相邻两个异常像素点,分析该线段上的像素点到柑橘轮廓的距离,在相邻两正常线段的交点处完成重叠柑橘轮廓分割,并通过寻找异常线段剔除对应的非柑橘轮廓像素点;再者,采用最小二乘椭圆拟合方法重建柑橘目标轮廓,并获取柑橘的中心;最后,根据双目极线约束和图像相似度,对重叠柑橘中心点进行匹配,并基于视差原理计算柑橘中心的深度值及三维空间坐标,确定重叠柑橘的遮挡关系。户外实验结果表明,所提出的方法定位误差为6.38 mm,满足柑橘采摘机器人户外采摘作业的定位精度要求。     

果园环境下苹果侦测与定位方法研究现状与展望

随着信息技术的快速发展,果园管理逐步走向数字化、机械化和智能化。果园环境下苹果的精确侦测与定位成为实现果实作业自动化的关键。总结了苹果侦测中的视觉数据获取方法、图像预处理方法和果实图像分割方法,分析了苹果侦测中遮挡和重叠问题的处理方法,归纳了目标果实定位的主要方法和原理,探讨了苹果侦测与定位研究中存在的挑战,并对未来发展趋势进行了展望,以期为进一步开展果园信息化研究提供参考。     

基于卷积神经网络的黄瓜白粉病智能识别算法研究

采用AlexNet、VGG16、GoogLeNet和ResNet50等4种CNN模型对黄瓜4个病害级别的白粉病叶片图像进行反复迭代训练,探究迭代次数、BATCH＿SIZE参数对4种模型识别分类效果的影响,分析不同CNN模型的性能,以选择出应用于黄瓜白粉病识别的最优模型。结果表明:从训练集损失函数的损失率、识别准确率及训练时间综合考量,在当前试验样本条件下,迭代次数为40次,BATCH＿SIZE值等于90时,ResNet50模型结果最优,其训练用时为24 min,模型识别准确率为91.30%,对黄瓜白粉病不同病害级别智能识别具有较好的分类性能。     

基于实例分割的柚子姿态识别与定位研究

采用Mask R-CNN和YOLOv3算法对复杂背景场景下的柚子进行目标识别和分割,通过微调方法训练了2个实例分割模型,并应用于柚子相关目标的识别和分割.结果表明,YOLOv3模型的帧速率为18～20 FPS,Mask R-CNN模型的帧速率为0.5～2 FPS,YOLOv3模型的目标检出率比Mask R-CNN模型少...     

基于线结构光视觉的番茄重叠果实识别定位方法研究

为实现番茄自动化采收,针对温室光照条件多变、背景复杂及果实簇生遮挡的特征,构建了基于线结构光视觉的番茄果实识别定位视觉系统,并提出了一种针对簇生重叠果实的区域分割方法。在(2R-G-B)色差模型下利用动态阈值分割,提取成熟果实区域;计算亮度渐变梯度向量,采用灰度重心法提取结构光条纹中心线;基于线结构光立体测量原理,在光条纹扫描视场过程中实时获取成熟果实表面三维信息,并映射形成果实表面与相机光心距离深度图像,实现簇生重叠果实区域的立体分割;基于果实表面激光条纹点空间坐标拟合果实外接球体,获取果实形态和空间坐标信息;试验结果表明,视觉系统单次识别测量耗时2.8s,果实直径测量误差小于6mm,果实与摄像机中心距测量误差小于8mm。     

三产融合背景下阿克苏地区苹果产业发展研究

位于新疆南疆的阿克苏地区以得天独厚的资源优势和自然条件,已拥有千年以上的苹果种植历史和广泛的苹果种植面积,苹果产业也是阿克苏地区农业经济发展的重要组成部分.基于三产融合的角度,通过分析阿克苏地区苹果产业的现状,探讨影响苹果三产融合过程中的突出问题和关键环节,提出在培育新型经营主体、转变传统经营模式、提升市场竞争力、加强品牌建设、推动苹果产业多元化发展等方面的意见和建议,为今后阿克苏地区苹果三产融合发展,实现产业结构调整,助力乡村振兴和实现农民增收致富,提供科学依据.     

自然光照条件下苹果识别方法对比研究

针对自然光照条件下果园苹果识别效果不佳的问题,从苹果的颜色分割和形状提取2方面进行对比研究,提出一种自然光照条件下的苹果识别方法。利用错检率、漏检率和处理速度3个量化指标综合对比分析颜色阈值、SVM和BPNN 3种苹果颜色分割方法的处理效果。比较6种边缘检测算法对苹果区域图像的边缘检测效果,并使用Hough圆检测算法对苹果形状进行提取,以获得苹果的圆心和半径。试验结果表明:由BPNN的苹果颜色分割方法以及结合Log和Hough的苹果形状提取方法所构建的果实识别算法具有较高的鲁棒性和准确性,能有效克服果实遮挡、重叠和颜色变异等问题,果实平均识别率可达91.6%。     

基于Mask-RCNN的复杂背景下多目标叶片的分割和识别

在基于叶片图像进行植物识别和生长状态监控时,植物目标叶片的准确分割和识别是前提和基础,但复杂背景给叶片的分割和识别带来了极大的挑战。本研究提出基于Mask-RCNN深度学习网络分割和识别复杂背景下多目标叶片的算法,共拍摄自然生长状态下常见的植物叶片图像7 357张,标注3 000张作为训练数据库,这3 000张图像共包含4种植物,分别为孔雀竹芋(Calathea makoyana)、珊瑚树(Viburnum odoratissinum)、洋常春藤(Hedera helix L.)和黄花羊蹄甲(Bauhinia tomentosa)。选择这4种植物的80个测试样本图像进行分割、识别与错分率分析。结果表明:Mask-RCNN深度学习网络对这4种植物的识别效果良好,未出现误识别的情况;分割的平均图像错分率为0.93%,最大值不超过2.49%,即分割准确率达97.51%;同时该算法具有强大的迁移能力。     

Estimation of tea leaf blight severity in natural scene images

Tea leaf blight (TLB) is a common tea disease seriously affecting the quality and yield of tea. An accurate estimation of TLB severity can be used to guide tea farmers to reasonably spray pesticides. This study proposes an estimation method for TLB severity in natural scene images and consists of four main steps: segmentation of the diseased leaves, area fitting of the diseased leaves, segmentation of the disease spots, and estimation of disease severity. Target leaves with TLB in the tea images are segmented by combining the U-Net network and fully connected conditional random field to reduce the influence of complex background. An ellipse restoration method is proposed to generate an elliptic mask to fit the full size of the occluded or damaged TLB leaves. The disease spot regions are segmented from the TLB leaves by a support vector machine classifier to calculate the Initial Disease Severity (IDS) index. The IDS index, color features, and texture features of the TLB leaves are inputted into the metric learning model to finally estimated disease severity. Experimental results show that the proposed method has higher estimation accuracy and stronger robustness against occluded and damaged TLB leaves compared with conventional convolution neural network methods and classical machine learning techniques.

     

复杂环境下香蕉多目标特征快速识别研究

【目的】针对野外环境下断蕾机器人对多特征的变量目标快速识别难题,以及目标受到树叶、遮挡及光照影响精度的问题,提出多特征目标的快速识别方法。【方法】提出对香蕉果实、果轴和花蕾这3个目标进行多尺度特征提取及模型分类,融合聚类算法设计新的目标候选框参数,提出改进YOLOv3模型及网络结构参数的YOLO-Banana模型;为了平衡速度和准确度,用YOLO-Banana和Faster R-CNN分别对变化尺寸的香蕉多目标进行试验,研究算法对识别精度与速度的影响。【结果】YOLO-Banana和Faster R-CNN这2种算法识别香蕉、花蕾和果轴的总平均精度分别为91.03%和95.16%,平均每张图像识别所需时间分别为0.237和0.434 s。2种算法精度均高于90%,YOLO-Banana的速度相对快1.83倍,更符合实时作业的需求。【结论】野外蕉园环境下,采用YOLO-Banana模型进行香蕉多目标识别,可满足断蕾机器人视觉识别的速度及精度要求。     

The recognition of apple fruits in plastic bags based on block classification

The recognition of apple fruits in plastic bags is easy to be affected by reflected and refracted light. In order to weaken the influence of light, a method based on block classification is proposed. The method adopts watershed algorithm to segment original images into irregular blocks based on edge detection results of R–G grayscale images firstly. Compared with the watershed algorithm based on gradient images, the segmentation method can preserve fruits edge and reduce the number of blocks by 20.31%, because graying image method, R–G, filters most of leaves and edge detection operator insures that the edge of fruits are detected accurately. Next, these blocks are classified into fruit blocks and non-fruit blocks by support vector machine on the basis of the color and texture features extracted from blocks. Compared with the image recognition method based on pixel classification, the proposed method can restrain the interference of light caused by plastic bags effectively. The false negative rate (FNR) and false positive rate (FPR) of the method based on pixel classification are 21.71 and 14.53% respectively. The FNR and FPR of the proposed method are 4.65 and 3.50% respectively.     

一种字符识别算法在自动识别系统中的应用

光学字符识别是模式识别领域中最经典也是得到最广泛应用的方向之一,而车牌识别系统是应用光学字符识别技术的典型系统。文章基于车牌识别系统的开发,提出一种基于二值图像的字符识别算法。在该算法中,提取字符的点阵特征、特征线和网格特征,分类器采用神经网络。为充分利用各组特征向量的互补作用,采取层次结构来获得系统的最佳性能。在车牌号图片库中测试其算法。实验表明,算法非常有效。     

结合深度学习和引导滤波的苹果叶片图像分割

针对传统方法对苹果叶片进行图像分割和测量几何形状参数精确度较低的问题,结合基于深度学习和引导滤波技术提出一种新的苹果叶片图像自动分割算法。首先采用深度学习方法,使用BiseNet卷积神经网络对苹果叶片图像进行自动分割,得到苹果叶片主体轮廓;然后使用彩色苹果叶片图像作为引导图像对主体轮廓进行引导滤波处理,以增强边缘锯齿等细节特征信息;最后将主体轮廓与细节特征信息进行联合分割,得到完整、准确的苹果叶片信息。对包含174种8 184张苹果叶片图像数据集进行试验,结果表明苹果叶片分割的精确率达到98.99%,交并比98.82%。利用本研究算法能够真正实现准确、快速测量苹果叶片的面积、周长等参数值,为苹果叶片几何参数的测定提供了一种新的测量方法。     

A shadow detection and removal method for fruit recognition in natural environments

Precision Agriculture - Effective shadow detection and shadow removal can improve the performance of fruit recognition in natural environments and provide technical support for agricultural...     

不同人工干预方式下苹果园蚜虫-天敌群落结构及发生动态

为探究不同人工干预方式下苹果园蚜虫-天敌群落发生规律,提高苹果园蚜虫生态防治能力和苹果园经济效益,本研究选取伊犁河谷中部有机化生产干预(OI)、化学干预(CI)和无人工干预(NI)3种不同人工干预方式下的苹果园,研究在不同人工干预方式下蚜虫和天敌昆虫的群落结构、发生动态及益害比等情况.结果表明,河谷中部地区苹果园蚜虫种类主要有甘蓝蚜、萝卜蚜和苹果黄蚜,调查中共发现天敌2纲8目19科25种.人工干预对苹果园中蚜虫-天敌群落特征和发生动态有较大影响,使得苹果园蚜虫-天敌种群数量及群落多样性降低,而蚜虫-天敌群落结构稳定性和益害比提高.河谷中部苹果园蚜虫及其天敌的发生随季节的变化呈现一定的规律性,天敌的消长变化在时间上迟滞于蚜虫种群数量的变动,表现出跟随效应,其中OI苹果园天敌跟随效应最明显.冗余分析(RDA)结果表明,人工干预(CI和OI)对蚜虫种群有抑制作用;牧草盲蝽、大突肩瓢虫、玉米螟厉寄蝇和叶色草蛉等天敌与蚜虫种群的相关性较高,其对蚜虫种群的消长影响最大.综上,有机化生产干预方式可以有效控制蚜虫种群数量,对蚜虫生态调控性最好,在苹果园生产实践中可以推广应用.     

基于计算机视觉的自然光照条件下成熟石榴的识别

研究自然光照条件下成熟石榴识别;利用同态滤波进行图像增强,将图像从RGB空间转换到HSI空间,并将色调和饱和度融合,有效去除暗背景和灰背景,利用区域面积并结合形态学特征去噪实现区域分割,最后利用优化后的Hough变换提取形心和半径,恢复遮挡果形;基于VC++6.0开发图像处理程序,能够实现对成熟石榴的识别;识别率为85%以上,为下一步对目标正确定位,实现水果采摘自动化收获打下基础.