基于注意力机制和可变形卷积的鸡只图像实例分割提取

为提高鸡只个体轮廓分割提取的精度和准确度,实现基于机器视觉技术的鸡只行为、健康、福利状态监测等精准畜牧业管理,保证相关监测技术及决策的可靠性,针对叠层笼养环境下肉鸡图像的实例分割和轮廓提取问题,提出一种优化的基于Mask R-CNN框架的实例分割方法,构建了一种鸡只图像分割和轮廓提取网络,对鸡群图像进行分割,从而实现鸡只个体轮廓的提取。该网络以注意力机制、可变形卷积的41层深度残差网络（ResNet）和特征金字塔网络（Feature pyramid networks, FPN）相融合为主干网络,提取图像特征,并经区域生成网络（Region proposal networks, RPN）提取感兴趣区域（ROI）,最后通过头部网络完成鸡只目标的分类、分割和边框回归。鸡只图像分割试验表明,与Mask R-CNN网络相比,优化后网络模型精确率和精度均值分别从78.23%、84.48%提高到88.60%、90.37%,模型召回率为77.48%,可以实现鸡只轮廓的像素级分割。本研究可为鸡只福利状态和鸡只健康状况的实时监测提供技术支撑。     

叶面雾滴沉积分布直接检测算法研究

提出一种基于阈值边缘提取算法和HSV颜色模型的二次分割叶片雾滴图像识别算法。通过模拟喷雾试验得到三种不同雾滴密度的叶片样本,保留叶片自身轮廓信息的同时分割叶面雾滴,计算叶面积与雾滴覆盖率关系。结果表明应用Otsu阈值边缘提取与HSV空间混合算法相对于传统的k-means聚类分割算法、动态阈值分割算法,更适用于叶面雾滴分布的识别与检测,三种覆盖密度叶片的分割准确率分别为:95.16%、94.23%、93.76%,平均准确率为94.38%;雾滴覆盖率检测相对误差分别为:2.82%、4.11%、7.59%,平均相对误差分别为4.84%。基于阈值边缘提取与HSV空间提取的混合算法可分割叶面雾滴图像并检测完整叶面上雾滴覆盖率,识别结果能够满足识别精度的要求。     

基于卷积神经网络的生菜多光谱图像分割与配准

针对多光谱图像中由于多镜头多光谱相机各通道之间存在的偏差以及传统分割方法的不适用,图像分析处理过程往往会出现无法自动化分割或分割精度较低的问题,提出采用基于相位相关算法和基于UNet的语义分割模型对田间生菜多光谱图像进行各个通道的精确配准并实现前景分割。使用Canny算法对多光谱各通道图像进行边缘提取,进而使用相位相关算法对多光谱各通道图像进行配准,单幅图像平均处理时间0.92s,配准精度达到99%,满足后续图像分割所需精度;以VGG16作为主干特征提取网络,直接采用两倍上采样,使最终输出图像和输入图像高宽相等,构建优化的UNet模型。实验结果表明：本文所提出的图像配准和图像分割网络,分割像素准确率达到99.19%,平均IoU可以达到94.98%,能够很好地对生菜多光谱图像进行前景分割,可以为后续研究作物精准表型的光谱分析提供参考。     

基于Mask R-CNN模型的葡萄藤关键结构分割方法

剪枝点的精确识别与定位是实现葡萄藤冬季剪枝智能化的基础,葡萄藤关键结构的分割是用于推理精确剪枝点的重要前提。针对现有分割方法受背景影响较大致使葡萄藤各关键结构损失和剪枝点识别与定位不准确的问题,提出一种基于Mask R-CNN的葡萄藤关键结构分割方法,建立葡萄藤修剪模型以及各关键结构数据集。通过主干特征提取网络和分割性能的对比试验,得出最优的Mask R-CNN模型结构并验证其拟合与泛化能力以及在不同自然背景下的分割性能。结果表明,以ResNet 101+FPN为主干特征提取网络的Mask R-CNN模型具有较好的拟合与泛化能力,相较于对照组模型准确率分别提升7.33%和8.89%,召回率分别提升9.32%和9.26%,平均精度均值分别提升12.69%和12.63%,其能够克服各类自然种植背景因素,分割目标边缘完整,葡萄藤各关键结构之间连接关系正确。     

基于改进Cascade R-CNN和图像增强的夜晚鱼类检测

针对光照不均、噪声大、拍摄质量不高的夜晚水下环境,为实现夜晚水下图像中鱼类目标的快速检测,利用计算机视觉技术,提出了一种基于改进Cascade R-CNN算法和具有色彩保护的MSRCP（Multi-scale Retinex with color restoration）图像增强算法的夜晚水下鱼类目标检测方法。首先针对夜晚水下环境的视频数据,根据时间间隔,截取出相应的夜晚水下鱼类图像,对截取的原始图像进行MSRCP图像增强。然后采用DetNASNet主干网络进行网络训练和水下鱼类特征信息的提取,将提取出的特征信息输入到Cascade R-CNN模型中,并使用Soft-NMS候选框优化算法对其中的RPN网络进行优化,最后对夜晚水下鱼类目标进行检测。实验结果表明,该方法解决了夜晚水下环境中的图像降质、鱼类目标重叠检测问题,实现了对夜晚水下鱼类目标的快速检测,对夜晚水下鱼类图像目标检测的查准率达到95.81%,比Cascade R-CNN方法提高了11.57个百分点。     

基于水平集和先验信息的农业图像分割方法

提出了一种基于先验信息的C-V模型并对杂草、小麦、苹果进行分割研究.根据某类农业图像的特点,把图像表示为易于分割的模型,提取模型中感兴趣目标的信息量作为先验信息,通过H分量得到初始轮廓,并以此初始化提出的模型,迭代求解水平集函数,得到收敛的目标轮廓曲线.对杂草、小麦、苹果分割结果统计分割面积正确率为0.999、0.999、0.846,面积错误率为0、0、0.125.     

基于形色筛选的苹果园羽化害虫粘连图像分割方法

针对苹果园害虫识别过程中的粘连问题,提出了一种基于形色筛选的害虫粘连图像分割方法。首先,采集苹果园害虫图像,聚焦于羽化害虫。害虫在羽化过程中已完成大部分生长发育,其外部形态、颜色、纹理更为稳定显著。因此,基于不同种类害虫的形色特征信息分析,来获取害虫HSV分割阈值和模板轮廓。其次,利用形状因子判定分割粘连区域,通过颜色分割法和轮廓定位分割法来实现非种间与种间粘连害虫的分割。最后,对采集的苹果园害虫图像进行了试验分析,采用基于形色筛选的分割法对单个害虫进行分割,结果表明,本文方法的平均分割率、平均分割错误率和平均分割有效率分别为101%、3.14%和96.86%,分割效果优于传统图像分割方法。此外,通过预定义的颜色阈值,本文方法实现了棉铃虫、桃蛀螟与玉米螟的精准分类,平均分类准确率分别为97.77%、96.75%与96.83%。同时,以Mask R-CNN模型作为识别模型,平均识别精度作为评价指标,分别对已用本文方法和未用本文方法分割的害虫图像进行识别试验。结果表明,已用本文方法分割的棉铃虫、桃蛀螟和玉米螟害虫图像平均识别精度分别为96.55%、94.80%与95.51%,平均识别精度分别提高16.42、16.59、16.46个百分点。这表明该方法可为果园害虫精准识别提供理论和方法基础。     

基于改进Canny和灰度矩的水下图像边缘检测方法研究

针对水下图像对比度差、模糊,致使检测出的边缘存在不连续和伪边缘的问题,提出一种基于改进的Canny和亚像素的水下图像边缘检测方法。采用改进的Canny算法检测水下图像的像素级边缘,在此基础上采用灰度矩提取图像的亚像素边缘特征,提高边缘的定位精度和检测率。实验结果表明,提出的算法相较于传统的像素级边缘检测算法在边缘轮廓的提取、减少伪边缘、提升边缘精度方面有较大优势,尤其是对深海环境中光源单一以及图像对比度差的物体边缘的检测具有更显著的效果和定位精度。     

基于视差图像的重叠果实图像分割算法

为解决自动采摘视觉系统中重叠果实的分割问题,提出了基于视差图像的果实分割算法。采用双目立体视觉系统获取图像对,对图像对进行预处理和校正,通过图像对的立体匹配来获取视差图像,最后对视差图像进行分割。该算法将分割的依据和信息从二维图像的颜色、形状、纹理等扩展到三维空间的深度,对空间距离不同的目标具有较好的分割效果。实验表明,对获取的视差图像进行基于区域的分割时,其区域间灰度对比度为0.98,目标计数一致性达到0.90;进行基于边缘的分割时,其边缘检测误差为5.74%,因此,该方法对重叠果实区域的分割是有效的。     

基于热红外成像与骨架树模型的奶牛眼温自动检测

针对现有方法无法实现奶牛热红外图像中眼温信息自动获取的问题,为实现奶牛眼温无接触、自动、高精确检测,提出了一种基于热红外成像技术与骨架树模型的奶牛眼温自动检测方法。首先,在获得奶牛侧面热红外图像的基础上,利用基于差距度量的阈值分割方法提取奶牛目标,对奶牛骨架进行精确提取,并构建了奶牛骨架树模型,在该模型上对奶牛头部区域进行准确定位;然后,根据头部轮廓的形状特征与眼睛几何位置特征,对奶牛眼睛区域中心点进行准确定位;最后,以眼睛中心点为圆心,以半径为20像素区域内的最高温度作为眼睛温度,对奶牛热红外图像中眼温进行自动检测。为验证本文方法的有效性,随机选取来自50头奶牛的100幅侧视热红外图像进行了试验,结果表明,采用本文方法检测结果的平均绝对误差为0.35℃、平均相对误差为0.38%,具有较高的精度。本研究可为奶牛体温非接触、自动化、高精度检测提供技术支撑。     

LiDAR单木分割辅助的无人机影像CNN+EL树种识别

为研究激光雷达单木分割辅助条件下无人机可见光图像树种识别应用潜力,提出联合卷积神经网络(CNN)和集成学习(EL)的树种识别方法.首先利用同期无人机激光雷达数据和可见光影像数据进行单木树冠探测并制作单木树冠影像数据集;其次引入ResNet50网络并结合引入有效通道注意力机制、替换膨胀卷积、调整卷积模块层数搭建出4个卷积...     

基于D2-YOLO去模糊识别网络的果园障碍物检测

针对果园目标检测时相机抖动以及物体相对运动导致检测图像模糊的问题,本文提出一种将DeblurGAN-v2去模糊网络和YOLOv5s目标检测网络相融合的D2-YOLO一阶段去模糊识别深度网络,用于检测识别果园模糊场景图像中的障碍物。为了减少融合网络的参数量并提升检测速度,首先将YOLOv5s骨干网络中的标准卷积替换成深度可分离卷积,并且在输出预测端使用CIoU＿Loss进行边界框回归预测。融合网络使用改进的CSPDarknet作为骨干网络进行特征提取,将模糊图像恢复原始自然信息后,结合多尺度特征进行模型预测。为了验证本文方法的有效性,选取果园中7种常见的障碍物作为目标检测对象,在Pytorch深度学习框架上进行模型训练和测试。试验结果表明,本文提出的D2-YOLO去模糊识别网络准确率和召回率分别为91.33%和89.12%,与分步式DeblurGAN-v2+YOLOv5s相比提升1.36、2.7个百分点,与YOLOv5s相比分别提升9.54、9.99个百分点,能够满足果园机器人障碍物去模糊识别的准确性和实时性要求。     

模糊水下图像多增强与输出混合的鱼类检测方法

针对模糊水下图像增强后输入鱼类检测模型精度降低的问题,提出了模糊水下图像多增强与输出混合的鱼类检测方法。利用多种图像增强方法对模糊的水下图像进行增强,将增强后的图像分别输入鱼类检测模型得到多个输出,对多个输出进行混合,然后利用非极大抑制方法对混合结果进行后处理,获得最终检测结果。YOLO v3、YOLO v4 tiny和YOLO v4模型的试验结果表明,对比原始图像的检测结果,本文方法的检测精度分别提高了2.15、8.35、1.37个百分点;鱼类检测数量分别提高了15.5%、49.8%、12.7%,避免了模糊水下图像增强后输入鱼类检测模型出现精度降低的问题,提高了模型检测能力。     

基于YOLO v5的农田杂草识别轻量化方法研究

针对已有杂草识别模型对复杂农田环境下多种目标杂草的识别率低、模型内存占用量大、参数多、识别速度慢等问题,提出了基于YOLO v5的轻量化杂草识别方法。利用带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration,MSRCR)增强算法对部分图像数据进行预处理,提高边缘细节模糊的图像清晰度,降低图像中的阴影干扰。使用轻量级网络PP-LCNet重置了识别模型中的特征提取网络,减少模型参数量。采用Ghost卷积模块轻量化特征融合网络,进一步降低计算量。为了弥补轻量化造成的模型性能损耗,在特征融合网络末端添加基于标准化的注意力模块(Normalization-based attention module,NAM),增强模型对杂草和玉米幼苗的特征提取能力。此外,通过优化主干网络注意力机制的激活函数来提高模型的非线性拟合能力。在自建数据集上进行实验,实验结果显示,与当前主流目标检测算法YOLO v5s以及成熟的轻量化目标检测算法MobileNet v3-YOLO v5s、ShuffleNet v2-YOLO v5s比较,轻量化后杂草识别模型内存占用量为6.23MB,分别缩小54.5%、12%和18%;平均精度均值(Mean average precision,mAP)为97.8%,分别提高1.3、5.1、4.4个百分点。单幅图像检测时间为118.1ms,达到了轻量化要求。在保持较高模型识别精度的同时大幅降低了模型复杂度,可为采用资源有限的移动端设备进行农田杂草识别提供技术支持。     

基于弱监督数据集的猪只图像实例分割

在智慧养殖研究中，基于深度学习的猪只图像实例分割方法，是猪只个体识别、体重估测、行为识别等下游任务的关键。为解决模型训练需要大量的逐像素标注图像，以及大量的人力和时间成本的问题，采用弱监督猪只分割策略，制作弱监督数据集，提出一种新的特征提取骨干网络RdsiNet:首先在ResNet-50残差模块基础上引入第2代可变形卷积，扩大网络感受野；其次，使用空间注意力机制，强化网络对重要特征的权重值；最后引入involution算子，借助其空间特异性和通道共享性，实现加强深层空间信息、将特征映射同语义信息连接的功能。通过消融实验和对比实验证明了RdsiNet对于弱监督数据集的有效性，实验结果表明其在Mask R-CNN模型下分割的mAP_Semg达到88.6%,高于ResNet-50、GCNet等一系列骨干网络；在BoxInst模型下mAP_Semg达到95.2%,同样高于ResNet-50骨干网络的76.7%。而在分割图像对比中，使用RdsiNet骨干网络的分割模型同样具有更好的分割效果：在图像中猪只堆叠情况下，能更好地分辨猪只个体；使用BoxInst训...     

基于改进YOLO v4和ICNet的番茄串检测模型

针对深层神经网络模型部署到番茄串采摘机器人,存在运行速度慢,对目标识别率低,定位不准确等问题,本文提出并验证了一种高效的番茄串检测模型。模型由目标检测与语义分割两部分组成。目标检测负责提取番茄串所在的矩形区域,利用语义分割算法在感兴趣区域内获取番茄茎位置。在番茄检测模块,设计了一种基于深度卷积结构的主干网络,在实现模型参数稀疏性的同时提高目标的识别精度,采用K-means++聚类算法获得先验框,并改进了DIoU距离计算公式,进而获得更为紧凑的轻量级检测模型(DC-YOLO v4)。在番茄茎语义分割模块（ICNet）中以MobileNetv2为主干网络,减少参数计算量,提高模型运算速度。将采摘模型部署在番茄串采摘机器人上进行验证。采用自制番茄数据集进行测试,结果表明,DC-YOLO v4对番茄及番茄串的平均检测精度为99.31%,比YOLO v4提高2.04个百分点。语义分割模块的mIoU为81.63%,mPA为91.87%,比传统ICNet的mIoU提高2.19个百分点,mPA提高1.47个百分点。对番茄串的准确采摘率为84.8%,完成一次采摘作业耗时约6s。     

基于SVM和AdaBoost的棉叶螨危害等级识别

针对自然条件下棉叶螨虫害等级识别难的问题,在自然条件下以普通手机采集棉叶图像作为实验对象,首先使用大津法和连通区域标记算法,将棉花叶片图像与背景分离,然后,提取不同棉叶螨危害等级棉叶图像的颜色、纹理和边缘特征数据,使用支持向量机(Support vector machine,SVM)单独进行分类实验,得到平均识别正确率为76. 25%,最后,采用SVM和AdaBoost相结合的算法,生成最优判别模型,实现对棉叶螨危害等级的识别,平均识别正确率为88. 75%。对比实验表明,提出的棉叶螨危害等级识别方法比BP神经网络的平均识别正确率高13. 75个百分点,比单独采用SVM算法高12. 5个百分点,比单独采用AdaBoost算法高8. 75个百分点,SVM和AdaBoost相结合的算法可较好地对棉叶螨危害等级进行识别,为棉叶螨数字化防治和变量喷药提供了数据支持。     

基于生成对抗网络与ICNet的羊骨架图像实时语义分割

研究了羊骨架图像生成技术与基于ICNet的羊骨架图像实时语义分割方法。通过DCGAN、SinGAN、BigGAN 3种生成对抗网络生成图像效果对比,优选BigGAN作为羊骨架图像生成网络,扩充了羊骨架图像数据量。在此基础上,将生成图像与原始图像建立组合数据集,引入迁移学习训练ICNet,并保存最优模型,获取该模型对羊骨架脊椎、肋部、颈部的分割精度、MIoU以及单幅图像平均处理时间,并以此作为羊骨架图像语义分割效果的评判标准。结果表明,最优模型对羊骨架3部位分割精度和MIoU分别为93.68%、96.37%、89.77%和85.85%、90.64%、75.77%,单幅图像平均处理时间为87 ms。通过模拟不同光照条件下羊骨架图像来判断ICNet的泛化能力,通过与常用的U Net、DeepLabV3、PSPNet、Fast SCNN 4种图像语义分割模型进行对比来验证ICNet综合分割能力,通过对比中分辨率下不同分支权重的网络分割精度来寻求最优权值。结果表明,ICNet与前3种模型的分割精度、MIoU相差不大,但处理时间分别缩短了72.98%、40.82%、88.86%;虽然Fast SCNN单幅图像处理时间较ICNet缩短了43.68%,但MIoU降低了4.5个百分点,且当中分辨率分支权重为0.42时,ICNet分割精度达到最高。研究表明本文方法具有较高的分割精度、良好的实时性和一定的泛化能力,综合分割能力较优。     

基于改进Faster R-CNN的海参目标检测算法

海参目标检测是实现海参自动化捕捞的前提。为了解决复杂海底环境下背景和目标颜色相近以及遮挡导致的目标漏检问题,本文在Faster R-CNN框架下,提出了Swin-RCNN目标检测算法。该算法的骨干网络采用Swin Transformer,同时在结构上融入了多尺度特征提取层和实例分割功能,提高了算法的自适应特征融合能力,从而提高了模型在复杂环境下对不同尺寸海参的识别能力。实验结果表明：本文方法对海参检测的平均精度均值（mAP）达到94.47%,与Faster R-CNN、SSD、YOLO v5、YOLO v4、YOLO v3相比分别提高4.49、4.56、4.46、11.78、22.07个百分点。