基于改进实例分割算法的智能猪只盘点系统设计

基于图像处理的动物资产计数方法,不仅可以减少人工投入,还可以缩短生物资产的计数周期,但该方法受光照条件影响严重,并且当动物间相互挤压、遮挡时,计数精度较差。针对这些问题,该研究提出了一种基于图像实例分割算法的生猪计数网络。针对光照和目标边缘模糊问题,利用拉普拉斯算子进行图像预处理。对Mask R-CNN网络的特征提取网络进行改进,在原始特征金字塔网络（Feature Pyramid Network, FPN）后面增加一条自底向上的增强路径,直接将低层边缘位置特征与高层特征相融合,提高对目标边缘轮廓的识别能力,对非极大值抑制过程和损失函数进行优化和改进,以提高分割精度。在河北丰宁、吉林金源和内蒙古正大3个试验猪场进行测试,验证本文网络的计数精度。采集设备在3个试验猪场共采集2 400张图像,经图像预处理去除模糊和光线差的图像,从剩余的图像中随机选取共1 250张图像作为原始数据集,其中丰宁猪场500张、金源猪场500张,正大猪场250张。将各猪场的原始数据集分别按2:2:1的比例分为3部分,包括训练集905张,验证集95张,测试集250张,对原始训练集和验证集进行数据增强,最终得到训练集图像1 500张,验证集图像150张,测试集图想250张。河北和吉林的试验猪场,每栏猪只数目为12～22头,各测试100张图像,完全准确清点的图像比例分别为98%和99%,满足实际应用要求。内蒙古试验猪场的单栏猪只密度大,每栏猪只数目平均80头,测试50张图像,完全准确清点的图像比例为86%。该研究所提出的猪只盘点系统,通过修改网络增强图像中目标特征信息提取和优化边界框回归过程,减少由于光线差和遮挡导致的目标漏检情况,解决了基于图像分割算法的猪只盘点中光照、模糊以及遮挡等问题,能够满足单栏饲养密度为1.03～1.32头/m2的养殖场的猪只盘点需求。     

基于改进YOLOv7-seg的黄花菜检测分割识别算法

目标检测与分割是实现黄花菜智能化采摘的关键技术,原始目标检测算法容易出现漏检、误检等问题,无法满足自然环境下生长的黄花菜采摘要求。该研究提出一种基于改进YOLOv7-seg的黄花菜目标检测与实例分割识别算法模型（YOLO-Daylily）。通过在YOLOv7-seg骨干网络（backbone）中引入CBAM（convolutional block attention module）注意力机制模块,降低背景等干扰因素的影响;在ELAN（efficient layer aggregation networks）模块中采用PConv（partial convolution）替换原有的3×3卷积层,减少冗余计算和内存访问,提升对目标黄花菜特征提取的能力。颈部网络（neck）采用坐标卷积（CoordConv）替换PA-FPN（path aggregation-feature pyramid networks）中1×1卷积层,增强模型对位置的感知,提高掩膜（mask）鲁棒性。在改进的PA-FPN结构中采用残差连接方法将浅层特征图几何信息与深层特征图语义信息特征相结合,提高模型对目标黄花菜的检测分割性能。消融试验表明：改进后的算法检测准确率、召回率和平均精度分别达到92%、86.5%、93%,相比YOLOv7-seg基线算法分别提升2.5、2.3、2.7个百分点;分割准确率、召回率和平均精度分别达到92%、86.7%、93.5%,比基线算法分别提升0.2、3.5、3个百分点。与Mask R-CNN、SOLOv2、YOLOV5-seg、YOLOv5x-seg算法相比,平均精度分别提升8.4、12.7、4.8、5.4个百分点。改进后的模型减少了漏检、误检等情况,对目标定位更加精准,为后续黄花菜智能化采摘实际应用提供理论支持。     

基于K-means聚类的柑橘红蜘蛛图像目标识别

为快速检测红蜘蛛虫害,该研究采用基于Lab颜色模型中a(红/绿)、b(黄/蓝)层信息的K-means聚类法识别彩色图像中的红蜘蛛。试验选取8幅具有不同清晰度的柑橘红蜘蛛图像,采用基于Sobel边缘检测算子的评价函数计算图像清晰度评价值以评价图像清晰度,对比采用灰度法和包含2、3、4或5个聚类中心的K-means聚类法的目标识别效果和识别效率。结果表明,灰度法对8幅图像中红蜘蛛目标识别率平均值为29%,误判率平均值为201%,无法应用于复杂背景图像中的红蜘蛛目标识别。包含5个聚类中心的K-means聚类法对清晰度较高的图像识别率为100%,误判率为0,对清晰度较低的图像识别率为88%,误判率为0;当图像尺寸较小时,包含4个聚类中心的K-means聚类法识别效率与灰度法相当;当图像尺寸较大时,重复计算聚类中心导致识别耗时较长;基于Lab颜色空间的识别算法无法有效识别其他颜色的红蜘蛛,继续研究的方向为引入红蜘蛛形态信息以提高识别准确率和优化聚类中心的选取以降低识别耗时。     

基于自生成标签的玉米苗期图像实例分割

在植物图像实例分割任务中,由于植物种类与形态的多样性,采用全监督学习时人们很难获得足量、有效且低成本的训练样本。为解决这一问题,该研究提出一种基于自生成标签的玉米苗期图像实例分割网络（automatic labelling based instance segmentation network,AutoLNet）,在弱监督实例分割模型的基础上加入标签自生成模块,利用颜色空间转换、轮廓跟踪和最小外接矩形在玉米苗期图像（俯视图）中生成目标边界框（弱标签）,利用弱标签代替人工标签参与网络训练,在无人工标签条件下实现玉米苗期图像实例分割。试验结果表明,自生成标签与人工标签的距离交并比和余弦相似度分别达到95.23%和94.10%,标签质量可以满足弱监督训练要求;AutoLNet输出预测框和掩膜的平均精度分别达到68.69%和35.07%,与人工标签质量相比,预测框与掩膜的平均精度分别提高了10.83和3.42个百分点,与弱监督模型（DiscoBox和Box2Mask）相比,预测框平均精度分别提高了11.28和8.79个百分点,掩膜平均精度分别提高了12.75和10.72个百分点;与全监督模型（CondInst和Mask R-CNN）相比,AutoLNet的预测框平均精度和掩膜平均精度可以达到CondInst模型的94.32%和83.14%,比Mask R-CNN模型的预测框和掩膜平均精度分别高7.54和3.28个百分点。AutoLNet可以利用标签自生成模块自动获得图像中玉米植株标签,在无人工标签的前提下实现玉米苗期图像的实例分割,可为大田环境下的玉米苗期图像实例分割任务提供解决方案和技术支持。     

基于语义分割的作物垄间导航路径识别

针对目前农作物垄间导航路径识别目前存在准确性、实时性差、通用性弱及深度学习模型解释困难等问题,该研究在Unet模型的基础上进行剪枝与优化,提出了保留Unet模型特征跳跃连接优势的Fast-Unet模型,并以模型所识别的导航路径为基础,通过最小二乘法回归生成垄间导航线与偏航角。该研究首先在棉花垄间导航路径数据集上进行模型训练,随后将训练的模型迁移至玉米、甘蔗等小样本数据集进行导航路径识别,通过使用梯度加权类激活映射法对模型识别过程与迁移学习过程进行解释,对各模型识别结果进行可视化对比。Fast-Unet模型对棉花、玉米、甘蔗导航路径提取精度指标平均交并比分别为0.791、0.881和0.940。模型推理速度为Unet的6.48倍,在单核CPU上处理RGB图像的推理速度为64.67帧/s,满足农作物导航路径识别的实时性需求。研究结果可为田间智能农业装备的导航设备研制提供技术与理论基础。     

基于改进YOLOv5s的自然环境下猕猴桃花朵检测方法

为实现对猕猴桃花朵的快速准确检测,该研究提出了一种基于改进YOLOv5s的猕猴桃花朵检测模型YOLOv5s＿S＿N＿CB＿CA,并通过对比试验进行了精度验证。在YOLOv5s基础上引入C3HB模块和交叉注意力(criss-cross atte ntion,CCA)模块增强特征提取能力,结合样本切分和加入负样本处理方法进一步提升模型精度。改进模型的检测精确率为85.21%,召回率为90%,模型大小为14.6 MB,交并比(intersection over union,IoU)为0.5下的均值平均精度(mAP_0.5)为92.45%,比仅进行样本缩放处理的原始YOLOv5s提高了31.91个百分点,检测速度为35.47帧/s,比原始YOLOv5s提高了34.15%。使用改进模型对自然环境下不同天气、晴天不同时段光照强度下的猕猴桃花朵进行检测,结果表明模型检测晴天、阴天下猕猴桃花朵的mAP_0.5分别为91.96%、91.15%,比原始YOLOv5s分别高出2.55、2.25个百分点;检测晴天9:00-11:00、15:00-17:00光强下猕猴桃花...     

基于周长面积分形维数的柑橘品种机器识别

柑橘品种自动识别是有针对性的柑橘病虫害防治、肥培管理、采摘等自动化作业的重要环节。为了评价宫川温州蜜柑、脐橙朋娜和沪溪无核椪柑3个柑橘品种机器自动识别的可行性,采集3个柑橘品种花萼面和侧面数字图像,以图像中柑橘轮廓像素数和区域像素数作为柑橘周长与面积,通过周长—面积方法计算其分形维数。将周长、面积和分形维数作为品种特征值,用小波神经网络识别3个品种,正确识别率分别为95%、95%、97.5%。试验结果表明,用周长、面积和分形维数3个特征值能有效识别3个柑橘品种,并具有较高的识别精度。     

基于演化算法的水果图像分割

为了满足水果采摘机器人对图像分割算法实时性和自适应性的要求,在传统演化算法的基础上,提出了一种基于蜂王交配结合精英选择、截断选择分阶段的改进演化算法对水果图像进行分割。在设计选择策略时,将迭代过程划分为前中后3个阶段,分别采用蜂王交配算法、精英选择策略和截断选择策略来进行适应值的选择,这样既保证了种群的多样性,又克服了传统演化算法局部最优、收敛过快的缺点。试验结果表明,该文提出的水果图像演化分割算法无论从稳定性、分割效果,还是全局最优收敛速度上,都明显优于传统演化算法,分割的阈值稳定在3个像素之内;与Otsu算法、贝叶斯分类算法、K均值聚类算法、模糊C均值算法等其他算法相比,水果图像演化分割算法分割效果最好,对同一幅图像进行分割得到的分割识别面积参考值最大,而且运行速度最快,平均运行时间为0.08735 s,远少于其余4种算法;并能用于柑橘、荔枝、苹果等各种水果的图像分割,具有一定的通用性,达到水果采摘机器人视觉实时识别的要求,为水果图像分割及其实时获取提供了一种新的基础算法。     

基于边界脊线识别的群养猪黏连图像分割方法

猪体图像的前景分割和黏连猪体的分离是实现群养猪数量自动盘点和猪只个体行为智能识别的关键。为实现群养猪黏连图像的自动分割,该文采用决策树分割算法提取视频图像帧的猪体前景区域,计算各连通区域的复杂度,根据复杂度确定黏连猪体区域,利用标记符控制的分水岭分割算法处理黏连猪体图像,检测待选的边界脊线,通过检验待选边界脊线的分割效果和形状特征(包括线性度和Harris拐点数目),识别出猪体黏连分割线,实现黏连猪体的分离。结果表明,决策树分割算法(decision-tree-based segmentation model,DTSM)能够有效地去除复杂背景,前景分割效果良好。黏连猪体分离结果显示,基于边界脊线识别的黏连猪体分离准确率达到了89.4%,并较好地保留了猪体轮廓。通过计算分割后猪体连通区域的中心点,并对中心点进行德洛内剖分,初步实现了猪只的定位和栏内分布的可视化。6 min的监控视频处理结果显示,该文方法各帧图像的盘点平均误差为0.58,盘点准确率为98.33%,能够正确统计出栏内猪只数量。该研究可为实现基于监控视频的群养猪自动盘点和个体行为识别提供新的技术手段。     

机器人采摘苹果果实的K-means和GA-RBF-LMS神经网络识别

为进一步提升苹果果实的识别精度和速度,从而提高苹果采摘机器人的采摘效率。提出一种基于K-means聚类分割和基于遗传算法(genetic algorithm,GA)、最小均方差算法(least mean square,LMS)优化的径向基(radial basis function,RBF)神经网络相结合的苹果识别方法。首先将采集到的苹果图像在Lab颜色空间下利用K-means聚类算法对其进行分割,分别提取分割图像的RGB、HSI颜色特征分量和圆方差、致密度、周长平方面积比、Hu不变矩形状特征分量。将提取的16个特征作为神经网络的输入,对RBF神经网络进行训练,以得到苹果果实的识别模型。针对RBF神经网络学习率低、过拟合等不足,引入遗传算法对RBF隐层神经元个数和连接权值进行优化,采取二者混合编码同时进化的优化方式,最后再利用LMS对连接权值进一步学习,建立新的神经网络优化模型(GA-RBF-LMS),以提高神经网络的运行效率和识别精度。为了获得更精确的网络模型,在训练过程中,苹果果实连同树枝、树叶一块训练;得到的模型在识别过程中,可一定程度上避免枝叶遮挡对果实识别的影响。为了更好地验证新方法,分别与传统的BP(back propagation)和RBF神经网络、GA-RBF优化模型比较,结果表明,该文算法对于遮挡、重叠果实的识别率达95.38%、96.17%,总体识别率达96.95%;从训练时间看,该文算法虽耗时较长,用150个样本进行训练平均耗时4.412 s,但训练成功率可达100%,且节省了人工尝试构造网络结构造成的时间浪费;从识别时间看,该文算法识别179个苹果的时间为1.75 s。可见GA-RBF-LMS网络模型在运行效率和识别精度较优。研究结果为苹果采摘机器人快速、精准识别果实提供参考。     

反卷积引导的番茄叶部病害识别及病斑分割模型

针对当前植物叶部病害识别模型易受阴影、遮挡物及光线强度干扰,特征提取具有盲目和不确定性的问题,该研究构建一种基于反卷积引导的VGG网络（Deconvolution-Guided VGGNet,DGVGGNet）模型,同时实现植物叶部病害种类识别与病斑分割。首先使用VGGNet计算多分类交叉熵损失进行病害分类训练,得到病害分类结果;其次设计反向全连接层,将分类结果恢复为特征图形式;然后采用上采样与卷积操作相结合的方法实现反卷积,利用跳跃连接融合多种特征恢复图像细节;最后使用少量病斑监督,对每个像素点使用二分类交叉熵损失进行训练,引导编码器关注真实的病斑部位。试验结果表明,该研究模型的病害种类识别精度达99.19%,病斑分割的像素准确率和平均交并比分别达94.66%和75.36%,在遮挡、弱光等环境下具有良好的鲁棒性。     

基于双注意力语义分割网络的田间苗期玉米识别与分割

为实现复杂田间场景中幼苗期玉米和杂草的准确识别与区域划分,该研究提出改进的双注意力语义分割方法,通过获取形态边界实现玉米幼苗的识别与精细分割,在此基础上采用形态学处理方法识别图像中除玉米外的全部杂草区域.首先对6种当前最高性能的语义分割网络进行对比,确定模型原始架构;建立幼苗期玉米语义分割模型,包括改进深层主干网络增强...     

基于改进蜂群算法优化神经网络的玉米病害图像分割

更加细致的体现病害外部形态特征和较为完好的保留病害区域颜色纹理信息,是玉米等作物病害分割的关键性研究问题之一。该文提出一种基于改进人工蜂群算法的脉冲耦合神经网络图像分割算法,该算法以最大香农熵和最小交叉熵加权线性组合作为蜂群算法收益度评价函数,通过引入尺度因子调整引领蜂和跟随蜂的解搜索策略,改进后人工蜂群算法与脉冲耦合神经网络相结合,实现网络参数的自动优化调节。在RGB色彩子空间上将该算法用于一组玉米常见病害彩色图像分割,并借鉴利用彩色图像合并策略得到最终病害分割结果。试验表明,该文算法较为细致的体现病害外部形态特征,较为完好的保留了颜色纹理信息;利用分割区域色度误分度V(I)值作为评判标准,该文算法V(I)幅值顺次降低2.03%、7.05%、10.15%和11.2%,综合降低了7.32% 也优于对比算法。因此,该文算法为病害彩色图像分割提供了一种较为有效的方法。     

基于卷积神经网络提取多尺度分层特征识别玉米杂草

为提高作物与杂草识别的准确率、稳定性和实时性,该文以幼苗期玉米及杂草为研究对象,提出了基于卷积神经网络提取多尺度分层特征的玉米杂草识别方法。首先建立卷积神经网络模型,以从图像的高斯金字塔中提取多尺度分层特征作为识别依据,再与多层感知器相连接实现图像中各像素的识别;为了避免目标交叠所带来的问题,对图像进行超像素分割,通过计算每个超像素内部的平均像素类别分布确定该超像素块的类别,再将相同类别的相邻超像素合并,最终实现图像中各目标的识别。试验结果表明:该方法的平均目标识别准确率达98.92%,标准差为0.55%,识别单幅图像的平均耗时为1.68 s,采用GPU硬件加速后识别单幅图像的平均耗时缩短为0.72 s。该方法实现了精确、稳定和高效的玉米与杂草识别,研究可为精确除草的发展提供参考。     

采用边缘曲率进行图像分割的高密度鱼苗计数方法

鱼苗计数是水产养殖中的一个重要课题,在养殖、运输、销售等环节中均需对鱼苗进行定量计数。传统的估算计数方法由于其误差大、效率低等缺陷,已无法满足目前的鱼苗计数需求。为解决高密度、大批量的鱼苗准确计数难题,该研究通过自行搭建的图像采集装置,获取体长1～3 cm的鲢鱼苗在0.25、0.33、0.42、0.50、0.58和0.67尾/cm²等6组不同平面密度下的运动视频,每组鱼苗运动视频共截取3 000帧图像,对所有图像进行预处理,获取鱼苗的二值图像,并提取出图像中的单个连通域及其边缘图像。对含有单尾鱼苗的单个连通域采用直接计数的方法,对含有多尾鱼苗的单个连通域采用先分割后计数的方法。在分割连通域时,一方面计算连通域边缘各处的曲率特征,并标记边缘中的凹点群位置作为预分割位置;另一方面结合连通域的骨架图,根据交叉型、联结型和单凹点群型共3种不同鱼苗重叠类型的形状特征,在连通域中挑选合适的分割位置划取分割线。对鱼苗二值图像中的所有连通域进行依次处理,最后将图像中的连通域总数量作为鱼苗的数量。对18 000张鱼苗图像的计数结果表明,在鱼苗平面密度低于0.58尾/cm^2...     

基于高光谱技术的菌落图像分割与计数

在平板菌落计数过程中,菌落与背景区域类似的颜色会干扰菌落的准确计数。为了准确测定细菌数,该研究利用高光谱图像技术捕捉成分差异引起的菌落与背景区域光谱特征,并结合化学计量学方法对平板的菌落进行分割并实现计数。采集枯草芽孢杆菌菌落平板的高光谱图像,提取菌落、背景区域的高光谱信息;利用遗传算法结合最小二乘支持向量机建立菌落区域/背景区域判别模型;随后,将菌落平板高光谱图像中每一个像素点对应的光谱信息代入判别模型以判断属于菌落的区域,模型的识别率为97.22%;最后,利用特征波段下的高光谱图像实现菌落的分割及计数,计数平均相对误差值为4.2 %,用时约为10 min。相比较于计算机视觉计数法,菌落计数法的平均相对误差降低了49.4%,结果表明建立的方法有望成为一类新的准确平板菌落计数方法。     

基于改进Graph Cut算法的生猪图像分割方法

生猪图像分割为生猪行为特征提取、参数测量、图像分析、模式识别等提供易于理解和分析的图像表示,准确有效的生猪图像分割是生猪行为理解和分析的基础.针对传统Graph Cut算法分割精度差、分割效率低及不能准确分割特定目标的问题,该文结合交互分水岭算法,提出基于改进Graph Cut算法的生猪图像分割方法.采用交互分水岭算法对图像进行区域划分,划分的各个区域块看作超像素,用超像素替代传统加权图中的像素点,构造新的网络图替代传统加权图,重新构造能量函数以完成前景背景的有效分割.试验结果表明:该方法峰值信噪比平均范围为[30,40],结构相似度平均范围为[0.9,1],两种评价准则的结果与主观评价一致,图像分割质量、精度得到明显提升;平均耗时缩短到传统GraphCut算法的33.7％,提高了分割效率;在复杂背景、噪声干扰、光照强度弱等条件下可以快速分割出特定目标生猪,具有较高鲁棒性.