草莓采摘机器入的研究：Ⅰ.基于BP神经网络的草莓图像分割

草莓成熟度和空间位置的识别是草莓采摘机器人研究的重要环节 ,解决此问题必须首先对采集的草莓图像进行分割。采用三层BP神经网络 ,通过分析选取 3× 3邻域像素的H通道值作为草莓图像的特征 ;选取HSV模型中与亮度无关的通道以排除图像的明暗对分割效果的影响 ;采用单通道以缩短图像处理时间。选取 2 0幅图像作为训练样本 ,以人工借助Photoshop软件分割后的图像作为教师信号 ,采用BP算法对神经网络的权值进行训练。经过 10 0次循环后 (误差为 0 0 0 1) ,获得了有效的网络权值。试验结果表明 ,利用BP神经网络能较好地实现成熟草莓果实与背景的分离 ,经过提取大区域和腐蚀、膨胀等算法的进一步处理后 ,效果更好 ;而且 ,只要改变训练时的教师信号 ,即可实现对草莓果梗、萼片等图像的分割     

草莓采摘机器人的研究:Ⅰ.基于BP神经网络的草莓图像分割

草莓成熟度和空间位置的识别是草莓采摘机器人研究的重要环节,解决此问题必须首先对采集的草莓图像进行分割.采用三层BP神经网络,通过分析选取3×3邻域像素的H通道值作为草莓图像的特征;选取HSV模型中与亮度无关的通道以排除图像的明暗对分割效果的影响;采用单通道以缩短图像处理时间.选取20幅图像作为训练样本,以人工借助Photoshop软件分割后的图像作为教师信号,采用BP算法对神经网络的权值进行训练.经过100次循环后(误差为0.001),获得了有效的网络权值.试验结果表明,利用BP神经网络能较好地实现成熟草莓果实与背景的分离,经过提取大区域和腐蚀、膨胀等算法的进一步处理后,效果更好;而且,只要改变训练时的教师信号,即可实现对草莓果梗、萼片等图像的分割.     

葡萄采摘机器人采摘点的视觉定位

针对葡萄采摘机器人在自然环境下采摘点定位困难的问题,本研究提出了一种基于分水岭果梗图像分割和最小角度约束的采摘点定位方法。第一,将采集的葡萄果实图像变换到YUV颜色模型,对U通道灰度图进行均衡化处理,然后进行双阈值分割和形态学开操作去掉干扰区域,再对二值图像进行填充;第二,以检测到的葡萄果实位置为参考,确定葡萄串果梗感兴趣区域,对该感兴趣区域进行分水岭操作;第三,对果梗二值图像进行角点检测,然后分别对每个果梗检测到的角点数据进行线性回归,将拟合到的直线分别与垂直于地面直线进行角度计算,将夹角角度最小的拟合直线所在的果梗确定为葡萄串所连的果梗;第四,对该果梗检测到的角点数据进行K均值聚类分析,聚类中心为最佳采摘点。对采集于晴天顺光、晴天逆光和晴天遮阳这3种条件下各40幅夏黑葡萄图像进行验证,采摘点定位成功率为89.2%,单张葡萄图像的采摘点平均定位时间为0.65 s。说明该方法可以为葡萄采摘机器人提供准确的采摘点坐标信息。     

基于改进的快速最大熵多阈值的成熟草莓图像分割

成熟草莓图像分割是草莓机械化采摘中首要解决的难题之一,最大熵多阈值算法是图像分割中效果较稳定的方法之一,但存在计算复杂度高、分割速度慢等缺点。为降低算法的计算复杂度、加快搜索速度,提出了一种改进的快速最大熵多阈值图像分割算法(IFMEMT)。首先提取RGB彩色图像的R分量灰度图像及灰度图像信息,然后应用IFMEMT算法求得最大熵及对应的阈值,最后进行图像分割。实验结果表明,在复杂环境下IFMEMT相对OTSU等图像分割算法不仅能达到相同甚至更好的分割效果,而且有更好的分割效率,能满足成熟草莓机械化采摘的实时性要求。     

基于RGB彩色模型的草莓图像色调分割算法

针对目前草莓采摘机器人草莓图像分割运算量大、耗时多等问题,根据CIE-XYZ颜色模型及其色度图,提出了一种在RGB彩模型中进行草莓图像色调分割的方法。该方法无需彩色模型转换,时间复杂性能较Lab彩色模型下a通道阈值分割算法与BP神经网络分割算法优越。对该算法进一步改进后,只需加减运算,无需乘除运算。试验结果表明:该算法能很好地实现成熟草莓果实与图像背景的分离,并较好的保存草莓轮廓信息,分割效率>85%;进一步对分割后的图像进行形态学处理,如膨胀、腐蚀等,有效消除了孔洞现象。     

基于RGB颜色相似度的成熟草莓图像分割

针对复杂背景下的成熟草莓图像,提出了一种基于RGB颜色相似度的成熟草莓图像分割算法（CS\|BASED RSIS）。首先提取成熟草莓区域,确定成熟草莓的主颜色,然后遍历待分割的图像,求出每个像素点相对于主颜色的颜色比和相似度,进行颜色相似度的阈值分类,最后经多次膨胀和去除小面积对象的数学形态学处理,输出分割结果。试验结果表明,在无粘连无遮挡、无粘连有遮挡、有粘连有遮挡3种复杂环境下,与OTSU等图像分割算法相比,CS\|BASED RSIS算法不仅能达到更好的分割效果,而且平均分割时间仅为0965 s,能满足成熟草莓机械化采摘的实时性要求。     

水果采摘机器人视觉系统的目标提取

在田间对作物的果实图像进行实时、准确地目标识别提取，是采摘机器人视觉系统的关键技术，而目标提取的实质是图像分割。大部分水(蔬)果处于采摘期时，表面颜色与背景颜色存在较大差异。而同一品种果实表面颜色相近，体现为在色彩空间果实表面颜色和背景颜色存在着不同的分布特性。根据这一特性，提出了一种基于色彩空间参照表的适用于水果采摘机器人视觉系统果实目标提取的图像分割算法。该算法先由果实样本图像建立色彩空间参照表，再根据色彩空间参照表采用一种类似于“卷积”的方法进行图像分割。与现有其他方法比较，本方法基于彩色的信息处理，可将背景除去得更干净；对背景不做分割处理、无复杂运算，有利于机器人实时图像处理。采用该算法分别对草莓、橙子、西红柿的图像在L^*n^*6^*，Hsv，YCbCr色彩模型下进行了实验，结果显示该算法在这些色彩模型下均可取得理想的图像分割效果。     

自然环境下山核桃果实的图像识别提取方法

研究了自然环境下成熟山核桃果实的机器视觉图像识别方法。通过分析顺光、逆光、遮挡等环境下拍摄的山核桃成熟待采时的果实图像,确定了2R-G-B色差模型,用最佳阈值函数进行图像分割,经形态学滤波后采用Canny算子进行边缘检测,提取出复杂背景下山核桃果实的轮廓。试验结果表明,该方法对山核桃果实的有效识别率达86.7%,可为山核桃采摘机器人的研发提供技术参数。     

基于图像信息的茶叶二维采摘坐标的提取

茶叶嫩芽识别是实现智能采摘的前提,茶叶识别之后采摘位置参数的提取也是实现智能采摘的关键所在。文章首先分析了机械采茶的整体实现方案,并论证了由茶叶图像获取二维采摘位置的可行性。然后针对图像处理后获取的茶叶嫩芽的二值图像,根据图像中每株嫩芽的外形轮廓去提取最小外接矩形,并标记该矩形的中心点,以该点作为采摘坐标点。得到了茶叶采摘的二维位置参数,为后续茶叶的智能采摘提供依据。     

果园自然环境下采摘机器人路径识别方法

果园自然环境下光照条件是不同的,而不同的光照条件又会对采摘机器人的路径导航产生不同影响,针对此环境,本研究提出了一种根据光照度进行分类并使用不同算法提取道路中心线的方法。首先对图像亮度分量和光照度进行研究,并将光照度划分为低光照、正常光照和高光照3个等级。在低光照条件下通过分离出S通道,然后利用K-means与Ncut算法对其进行分割,在正常光照条件下采用Otsu算法对S通道进行分割,在高光照条件下则通过K-means与Ncut算法对Cg、Cb与Cr通道进行差分运算后的图像进行分割。将分割后的图像进行边缘检测并提取道路轮廓,并通过最小二乘法实现道路中心线的获取。最后选用150张不同光照条件下的图像进行了静态试验验证,并通过课题组自行研制的采摘机器人进行了动态试验验证,静态试验验证结果表明,3种光照条件下图像分割区域与道路真实区域的平均重合度为96.74%、平均分割误差为2.01%、平均道路中心线平均偏差为2.71像素,平均耗时为0.182 s;动态试验验证结果表明,3种光照条件下的平均横向偏移距离为3.1 cm。表明,该方法在不同光照条件下具有较高的精度和实时性,能够满足采摘机器人在自然光照条件下的路径识别及导航需求。     

智能草莓田间管理机器人的设计

为适应基于现代农业发展的"智造"需求,解决目前草莓大棚化种植人工管理投入大、供过于求等难题,设计出一款智能草莓园管理机器人。该装备可实现对草莓的成长环境监测调控、远程查询生长状况、草莓成熟期自动采摘装袋等功能。该款智能草莓园管理机器人通过四轮移动平台,可以在草莓大棚宽道上来回移动;通过温湿度传感器实时监测单株草莓的生长环境,从而可以实时对植株的生长状况进行调控;同时,设计有喷洒农药的自动喷洒泵,可以单株对点喷洒农药;通过具有颜色识别功能的草莓采摘头,识别成熟的草莓并进行采摘装袋。该款草莓园管理机器人的研发,对提高草莓行业的种植效率和采摘效率,实现草莓大棚管理的无人化、智能化、标准化将发挥重要作用。     

草莓采摘机器人的研究:Ⅲ.扫描线填充算法在草莓图像孔洞填充中的应用

为解决强光照射导致的草莓图像分割后的内部孔洞问题,采用扫描线填充算法对孔洞进行填充。首先提取图像中整个草莓果实区域的轮廓线,在分析水平扫描线和区域轮廓线相交的各种可能性后,快速求取扫描线和轮廓线的交点,然后进行交点配对和区域填充,通过对整个草莓果实区域的填充实现孔洞填充。对150幅有孔洞的草莓图像进行填充试验,结果表明,采用该算法可以填充目标图像中的所有孔洞,填充准确率为100%,填充效果与孔洞位置、大小、数量等因素无关。与其他填充算法相比,该算法流程简单,复杂度低,填充结果准确可靠,可推广进行其他图像孔洞的填充。     

基于颜色特征的草莓成熟度识别技术研究

草莓成熟度识别技术是草莓采摘机器人顺利完成采摘任务的关键。本研究以"丰香"草莓为研究对象,首先提取不同成熟度草莓的颜色特征,计算草莓图像在HIS颜色空间模型下H分量的均值和方差;然后计算草莓果实红色部分着色面积所占比例;最后,建立BP神经网络,以H分量的均值、方差和草莓红色着色面积比作为BP神经网络的输入,训练完成后,判断待测样本的成熟度等级。通过本研究实验方法划分成熟度等级与经验丰富的果农判断结果对比,实验正确率可以达到90%以上。     

基于EXG因子的水稻秧苗图像分割

针对水稻稻田图像中秧苗和背景分割问题,采用基于最大类间方差法(OTSU法)的分割方法,成功地把水稻秧苗像素和背景像素分割开.首先用CCD相机获取水稻插秧机插秧作业后的水稻稻田图像,选择超绿特征因子(EXG因子)将水稻秧苗RGB彩色图像转化为灰度图像,使用OTSU法计算阈值,成功地将灰度图像转变为二值图像.又采用该方法分割了20幅水稻秧苗图像,结果表明,EXG因子可以对水稻秧苗图像有效分割.     

基于极限腐蚀的重叠苹果果实分割方法

针对采摘机器人无法对重叠苹果准确分割的问题,提出了一种基于改进极限腐蚀和控制标记符分水岭分割苹果图像的方法。首先,利用果实色差分量的关系,采取R-G颜色分量作为颜色特征向量对图像进行初分割,然后采用OTSU方法分割、孔洞填充、去除小面积等方法获得完整果实二值图像,对二值图像通过改进极限腐蚀的方法来获取种子点,即局部最小区域,通过获得图像的内外标记符使用控制标记符分水岭算法,形成最终的分割图像并标记出分割线。结果表明:这种方法能够很好地改善传统方法出现错误分割的问题,找出清晰的分割线,正确分割率能够达到96.5%,较传统分水岭法和快速聚类分割算法分别提高了7.8个百分点和4.9个百分点,能够满足采摘机器人对重叠苹果图像的分割要求。     

一种草莓图像立体匹配方法

提出了一种基于尺度不变特征变换和随机抽样一致算法的立体匹配方法。首先采用SIFT算法提取左右草莓图像的特征向量,再运用RANSAC和极线约束法对两幅图像进行特征点匹配,以降低特征点对之间的错配率,提高图像匹配精度。最后利用双目立体视觉原理对图像各目标进行匹配试验。结果表明,该算法较传统方法平均匹配精度提高50%,算法时间缩短66%,可满足草莓收获机器人视觉系统在自然采摘作业环境下的工作要求。     

Lab色彩模型下梯度Hough圆变换的成熟草莓识别

自然生长状态下的草莓,果实密集,形状多变,枝叶遮挡率较高,使用机器采摘对成熟草莓的图像识别具有一定的难度。针对这个问题,提出了Lab色彩模型下采用梯度Hough圆变换的成熟草莓识别方法。以自然生长状态下的草莓图像为研究对象,在Lab色彩模型空间里对图像分割及阈值化并采用梯度Hough圆变换等方法,识别成熟草莓并计算出草莓中心。试验结果表明,对随机选取的100张草莓图片,该方法识别成熟草莓的相对偏差为1.07%,对枝叶遮挡、成熟草莓相互遮挡等情况,具有较好的识别效果。与传统的Hough变换相比,这一方法节省了运行内存,提高了时间效率,能够满足机器采摘对成熟草莓识别率与定位的要求。     

一种刚柔混联欠驱动草莓采摘机械手设计

我国大面积种植草莓多采用垄作栽培方式,加之草莓果实不定期成熟的生长特点,使得人工采摘草莓劳动强度和作业量非常大,因此开发一种代替人工作业的草莓采摘机构成为亟待解决的问题。本研究针对温室内地垄式栽培草莓实现自动化低损采摘的需求,创新设计出多指式刚柔混联欠驱动草莓采摘机械手,并利用气动肌腱实现驱动。该机械手设置欠驱动关节,具有结构简单、低能耗的特点;同时在手指单元中加入柔顺构件,利用其柔性变形可减小采摘中对果实的损坏。通过动力学仿真分析结果表明,该机械手能够实现采摘中对草莓果实的抓取包络动作。     

基于计算机视觉的草莓等级判别研究

如何对采集到的草莓图像进行分割和如何选取评定草莓等级的特征参数是草莓自动分拣系统的2个重要环节.该研究利用草莓R、G、B通道明显的像素差值来分割目标和背景,并且选取草莓的形状特征和成熟度作为草莓评级的特征参数,综合运用机器视觉、神经网络等理论方法,通过实验数据统计,建立极坐标下草莓外形轮廓特征参数及颜色空间下成熟度特征参数的提取方法,以人工神经网络为识别模型,实现对草莓的自动分类.实验结果表明,该方法对草莓的自动分级结果与人工分级结果相比较,准确率达到90％,具有实际的可行性.     

基于模糊数学的公路路面裂痕检测技术

根据公路路面实际裂痕灰度值比背景灰度值低,而路面非背景和非裂痕像素灰度值比背景灰度值高或低很多,设计了一种基于模糊数学的公路路面裂痕检测的新技术.首先使用改进的基于乘性模型的灰度校正算法对原始图像进行预处理,接着根据OTSU最大类间方差法计算得到原图像前景与背景的最佳阈值作为渡越点,构造一个新的模糊隶属度函数对预处理后的图像进行模糊处理,然后用Sobel算子对模糊后的图像边缘检测判断得到含有裂痕信息的区域,最后用图像分割算法区域分割出含有裂痕信息的图像子块.实验证明,新提出的方法在处理速度和检测准确性方面基本能够满足实际需要,能实时、自动检测出模糊图像的裂痕.