基于深度学习的大豆生长期叶片缺素症状检测方法

为了检测作物叶片缺素,提出了一种基于神经网络的大豆叶片缺素视觉检测方法。在对大豆缺素叶片进行特征分析后,采用深度学习技术,利用Mask R-CNN模型对固定摄像头采集的叶片图像进行分割,以去除背景特征,并利用VGG16模型进行缺素分类。首先通过摄像头采集水培大豆叶片图像,对大豆叶片图像进行人工标记,建立大豆叶片图像分割任务的训练集和测试集,通过预训练确定模型的初始参数,并使用较低的学习率训练Mask RCNN模型,训练后的模型在测试集上对背景遮挡的大豆单叶片和多叶片分割的马修斯相关系数分别达到了0.847和0.788。通过预训练确定模型的初始参数,使用训练全连接层的方法训练VGG16模型,训练的模型在测试集上的分类准确率为89.42%。通过将特征明显的叶片归类为两类缺氮特征和4类缺磷特征,分析讨论了模型的不足之处。本文算法检测一幅100万像素的图像平均运行时间为0.8 s,且对复杂背景下大豆叶片缺素分类有较好的检测效果,可为农业自动化生产中植株缺素情况估计提供技术支持。     

基于深度学习的群猪图像实例分割方法

群养饲喂模式下猪群有聚集在一起的习性,特别是躺卧时,当使用机器视觉跟踪监测猪只时,图像中存在猪体粘连,导致分割困难,成为实现群猪视觉追踪和监测的瓶颈。根据实例分割原理,把猪群中的猪只看作一个实例,在深度卷积神经网络基础上建立Pig Net网络,对群猪图像尤其是对粘连猪体进行实例分割,实现独立猪体的分辨和定位。Pig Net网络采用44层卷积层作为主干网络,经区域候选网络(Region proposal networks,RPN)提取感兴趣区域(ROI),并和主干网络前向传播的特征图共享给感兴趣区域对齐层(Region of interest align,ROIAlign),分支通过双线性插值计算目标空间,三分支并行输出ROI目标的类别、回归框和掩模。Mask分支采用平均二值交叉熵损失函数计算独立猪体的目标掩模损失。连续28 d采集6头9. 6 kg左右大白仔猪图像,抽取前7 d内各不同时段、不同行为模式群养猪图像2 500幅作为训练集和验证集,训练集和验证集的比例为4∶1。结果表明,Pig Net网络模型在训练集上总分割准确率达86. 15%,在验证集上准确率达85. 40%。本文算法对不同形态、粘连严重的群猪图像能够准确分割出独立的猪个体目标。将本文算法与Mask R-CNN模型及其改进模型进行对比,准确率比Mask RCNN模型高11. 40个百分点,单幅图像处理时间为2. 12 s,比Mask R-CNN模型短30 ms。     

基于Mask R-CNN的柑橘主叶脉显微图像实例分割模型

针对目前植物解剖表型的测量与分析过程自动化低，难以应对复杂解剖表型的提取和识别的问题，以柑橘主叶脉为研究对象，提出了一种基于掩膜区域卷积神经网络(Mask region convolutional neural network, Mask R-CNN)的主叶脉显微图像实例分割模型，以残差网络ResNet50和特征金字塔(Feature pyramid network, FPN)为主干特征提取网络，在掩膜(Mask)分支上添加一个新的感兴趣区域对齐层(Region of interest Align, RoI-Align),提升Mask分支的分割精度。结果表明，该网络架构能够精准地对柑橘主叶脉横切面中的髓部、木质部、韧皮部和皮层细胞进行识别分割。Mask R-CNN模型对髓部、木质部、韧皮部和皮层细胞的分割平均精确率(交并比(IoU)为0.50)分别为98.9%、89.8%、95.7%和97.2%,对4个组织区域的分割平均精确率均值(IoU为0.50)为95.4%。与未在Mask分支添加RoI-Align的Mask R-CNN相比，精度提升1.6个百分点。研究结果表明，Mask R-CN...     

基于改进Mask R-CNN的苹果园害虫识别方法

针对基础卷积神经网络识别苹果园害虫易受背景干扰及重要特征表达能力不强问题，提出一种基于改进Mask R-CNN的苹果园害虫识别方法。首先，基于Haar特征方法对多点采集得到的苹果园害虫图像进行迭代初分割，提取害虫单体图像样本，并对该样本进行多途径扩增，得到用于深度学习的扩增样本数据集。其次，对Mask R-CNN中的特征提取网络进行优化，采用嵌入注意力机制模块CBAM的ResNeXt网络作为改进模型的Backbone,增加模型对害虫空间及语义信息的提取，有效避免背景对模型性能的影响；同时引入Boundary损失函数，避免害虫掩膜边缘缺失及定位不准确问题。最后，以原始Mask R-CNN模型作为对照模型，平均精度均值作为评价指标进行试验。结果表明，改进Mask R-CNN模型平均精度均值达到96.52%,相比于原始Mask R-CNN模型，提高4.21个百分点，改进Mask R-CNN可精准有效识别苹果园害虫，为苹果园病虫害绿色防控提供技术支持。     

基于迁移学习的卷积神经网络植物叶片图像识别方法

为了提高植物叶片图像的识别准确率,考虑到植物叶片数据库属于小样本数据库,提出了一种基于迁移学习的卷积神经网络植物叶片图像识别方法。首先对植物叶片图像进行预处理,通过对原图的随机水平、垂直翻转、随机缩放操作,扩充植物叶片图像数据集,对扩充后的叶片图像数据集样本进行去均值操作,并以4∶1的比例划分为训练集和测试集;然后将训练好的模型（AlexNet、InceptionV3）在植物叶片图像数据集上进行迁移训练,保留预训练模型所有卷积层的参数,只替换最后一层全连接层,使其能够适应植物叶片图像的识别;最后将本文方法与支持向量机(SVM)方法、深度信念网络(DBN)方法、卷积神经网络(CNN)方法在ICL数据库进行对比实验。实验使用Tensorflow训练网络模型,实验结果由TensorBoard可视化得到的数据绘制而成。结果表明,利用AlexNet、InceptionV3预训练模型得到的测试集准确率分别为95.31%、95.40%,有效提高了识别准确率。     

基于双金字塔网络的RGB-D群猪图像分割方法

为实现群养猪的视觉追踪和行为监测,针对猪舍中仔猪因拥挤堆叠等习性而导致的目标个体粘连、图像分割困难问题,提出基于双金字塔网络的RGB-D群猪图像分割方法。该方法基于实例分割Mask R-CNN框架,在特征提取网络(Res Net101)基础上改进成双金字塔特征提取网络。RGB图像和Depth图像分别提取特征后进行融合,输入区域生成网络得到预选锚(ROI)和共享特征输入Head网络,通过类别、回归和掩模3个分支,输出检测目标的位置和分类结果,实现猪舍场景下群养仔猪粘连区域的有效个体分割。网络模型训练采用2 000组图像样本,按照4∶1比例随机划分训练集和验证集。试验结果表明,双金字塔网络(Feature pyramid networks,FPN)能有效解决颜色相近、个体相似的群猪粘连问题,实现单个仔猪区域的完整分割,分割准确率达89.25%,训练GPU占有率为77.57%,与Mask R-CNN和Pig Net网络分割结果相比,分割准确率和分割速度均有较大提高。双金字塔网络模型对于多种行为状态、不同粘连程度的群猪图像中个体分割都取得了良好效果,模型泛化性和鲁棒性较好,为群养猪的个体自动追踪提供了新的途径。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于注意力机制和可变形卷积的鸡只图像实例分割提取

为提高鸡只个体轮廓分割提取的精度和准确度,实现基于机器视觉技术的鸡只行为、健康、福利状态监测等精准畜牧业管理,保证相关监测技术及决策的可靠性,针对叠层笼养环境下肉鸡图像的实例分割和轮廓提取问题,提出一种优化的基于Mask R-CNN框架的实例分割方法,构建了一种鸡只图像分割和轮廓提取网络,对鸡群图像进行分割,从而实现鸡只个体轮廓的提取。该网络以注意力机制、可变形卷积的41层深度残差网络（ResNet）和特征金字塔网络（Feature pyramid networks, FPN）相融合为主干网络,提取图像特征,并经区域生成网络（Region proposal networks, RPN）提取感兴趣区域（ROI）,最后通过头部网络完成鸡只目标的分类、分割和边框回归。鸡只图像分割试验表明,与Mask R-CNN网络相比,优化后网络模型精确率和精度均值分别从78.23%、84.48%提高到88.60%、90.37%,模型召回率为77.48%,可以实现鸡只轮廓的像素级分割。本研究可为鸡只福利状态和鸡只健康状况的实时监测提供技术支撑。     

基于多光谱图像的土壤有机质含量检测系统与APP研究

受到土壤种类、水分等客观因素的干扰,基于图像预测土壤有机质(Soil organic matter, SOM)含量与传统方法在检测精度上仍存在差距,限制了相关技术的推广和普及。为提升基于图像预测SOM含量的精度,本研究提出N＿DenseNet网络模型,在DenseNet169基础上加入多尺度池化模块,通过获取更多的维度特征提升模型的性能,并结合Android端开发SOM实时检测应用程序(APP),通过内网透射实现PC端与手机端数据的及时传输。以黑龙江省友谊县、北京市昌平区、山东省泰安市3地的350份土样为基础,通过手机以及多光谱无人机获取原位土壤的高清图像,R波段、红边波段与近红外波段图像,以丰富数据信息,并通过室内胁迫的方式拍摄土壤样品在不同水分梯度下的图像缓解水分对图像造成的影响。对比不同深度学习模型,基于多光谱图像数据训练的N＿DenseNet表现最好,整体表现优于DenseNet169,测试集R²为0.833,RMSE为3.943 g/kg,R²相比于可见光数据提升0.016,证明了训练过程加入R波段与红边和近红外波段图像后有助于提升...     

基于弱监督数据集的猪只图像实例分割

在智慧养殖研究中，基于深度学习的猪只图像实例分割方法，是猪只个体识别、体重估测、行为识别等下游任务的关键。为解决模型训练需要大量的逐像素标注图像，以及大量的人力和时间成本的问题，采用弱监督猪只分割策略，制作弱监督数据集，提出一种新的特征提取骨干网络RdsiNet:首先在ResNet-50残差模块基础上引入第2代可变形卷积，扩大网络感受野；其次，使用空间注意力机制，强化网络对重要特征的权重值；最后引入involution算子，借助其空间特异性和通道共享性，实现加强深层空间信息、将特征映射同语义信息连接的功能。通过消融实验和对比实验证明了RdsiNet对于弱监督数据集的有效性，实验结果表明其在Mask R-CNN模型下分割的mAP_Semg达到88.6%,高于ResNet-50、GCNet等一系列骨干网络；在BoxInst模型下mAP_Semg达到95.2%,同样高于ResNet-50骨干网络的76.7%。而在分割图像对比中，使用RdsiNet骨干网络的分割模型同样具有更好的分割效果：在图像中猪只堆叠情况下，能更好地分辨猪只个体；使用BoxInst训...     

基于非对称混洗卷积神经网络的苹果叶部病害分割

针对苹果叶部病害由于数据集类间样本不均衡和拍摄角度、光照变化等实际成像与环境因素造成的精度低和泛化能力差的问题,本文提出了一种新型的非对称混洗卷积神经网络ASNet。首先,通过在ResNeXt骨干网络中添加改进的scSE注意力机制模块增强网络提取的特征;其次,针对多数叶片病害特征分布相对分散的问题,使用非对称混洗卷积模块代替原始的残差模块来扩大卷积核的感受野和增强特征提取能力,从而提升模型的分割精度和泛化能力;最后,在非对称混洗卷积模块中使用通道压缩和通道混洗的方式弥补了分组卷积造成的通道间关联性不足的缺陷,降低了由于叶部病害类间不均衡导致的传统网络模型精度偏低的问题。在COCO数据集评价指标下,实验结果表明,相比于骨干网络为ResNeXt-50的原始Mask R-CNN模型,本文模型的平均分割精度达到96.8%,提升了5.2个百分点,模型权重文件减小为321MB,减小了170MB。对实地采集和AI Challanger农作物病害分割挑战赛的240幅苹果叶片图像进行测试,结果表明,本文模型ASNet对苹果黑腐病、锈病与黑星病3种病害和健康叶片的平均分割精度达到94.7%。     

基于改进轻量级卷积神经网络MobileNetV3的番茄叶片病害识别

番茄病害的及时检测可有效提升番茄的质量和产量.为实现番茄病害的实时无损伤检测,本研究提出了一种基于改进MobileNetV3的番茄叶片病害分类识别方法.首先选择轻量级卷积神经网络Mobile?NetV3,在Image Net数据集上进行预训练,将预训练得到的共享参数迁移到对番茄叶片病害识别的模型上并做微调处理.采用相同...     

基于空间注意力和可变形卷积的无人机田间障碍物检测

为了解决植保无人机作业时,传统田间障碍物识别方法依赖人工提取特征,计算耗时较长,难以实现在非结构化田间环境下实时作业识别的问题,提出一种优化的Mask R-CNN模型的非结构化农田障碍物实例分割方法。以ResNet-50残差网络为基础,将空间注意力(Spatial attention, SA)引入残差结构,聚焦跟踪目标的显著性表观特征并主动抑制噪声等无用特征的影响;引入可变形卷积(Deformable convolution, DCN),通过加入偏移量,增大感受野,提高模型的鲁棒性。构建包含农田典型障碍物的数据集,通过对比试验研究在ResNet残差网络结构中的不同阶段中加入空间注意力和可变形卷积时的模型性能差异。结果表明,与Mask R-CNN原型网络相比,在ResNet的阶段2、阶段3、阶段5加入空间注意力和可变形卷积后,改进Mask R-CNN的边界框(Bbox)和掩膜(Mask)的平均精度均值(mAP)分别从64.5%、56.9%提高到71.3%、62.3%。本文提出的改进Mask R-CNN可以很好地实现农田障碍物检测,可为植保无人机在非结构化农田环境下安全高效工作提供技术支撑。     

基于Mask R-CNN的单株柑橘树冠识别与分割

针对在复杂果园背景中难以识别分割单株果树树冠的问题，研究了基于Mask R-CNN 神经网络模型实现单株柑橘树冠识别与分割的方法。通过相机获取柑橘园图像数据，利用Mask R-CNN神经网络实现单株柑橘树冠的识别与分割，根据测试集的预测结果评估模型的性能和可适应性，并分析模型的影响因素。结果表明：参与建模的果园单株树冠识别分割准确率为97%，识别时间为0.26s，基本上可满足果园精准作业过程中的树冠识别要求；未参与建模果园的单株树冠识别分割准确率为89%，说明模型对不同品种、不同环境的果园具有一定的适应性；与SegNet模型相比，本文模型准确率、精确率和召回率均约高5个百分点，说明在非目标树冠较多的复杂果园图像中具有较好的识别分割效果。本研究可为对靶喷药、病虫害防护、长势识别与预估等果园精准作业提供重要依据。     

基于迁移学习和Mask R-CNN的稻飞虱图像分类方法

针对当前稻飞虱图像识别研究中自动化程度较低、识别精度不高的问题,提出了一种基于迁移学习和Mask R-CNN的稻飞虱图像分类方法。首先,根据稻飞虱的生物特性,采用本团队自主研发的野外昆虫图像采集装置,自动获取稻田稻飞虱及其他昆虫图像;采用VIA为数据集制作标签,将数据集分为稻飞虱和非稻飞虱两类,并通过迁移学习在Res Net50框架上训练数据;最后,基于Mask R-CNN分别对稻飞虱、非稻飞虱、存在干扰以及存在黏连和重合的昆虫图像进行分类实验,并与传统图像分类算法(SVM、BP神经网络)和Faster R-CNN算法进行对比。实验结果表明,在相同样本条件下,基于迁移学习和Mask R-CNN的稻飞虱图像分类算法能够快速、有效识别稻飞虱与非稻飞虱,平均识别精度达到0. 923,本研究可为稻飞虱的防治预警提供信息支持。     

基于RGB-D相机的黄瓜苗3D表型高通量测量系统研究

传统的人工种苗表型测量方式存在效率低、主观性强、误差大、破坏种苗等问题，提出了一种使用RGB-D相机的黄瓜苗表型无损测量方法。研制了自动化多视角图像采集平台，布署两台Azure Kinect相机同时拍摄俯视和侧视两个视角的彩色、深度、红外和RGB-D对齐图像。使用Mask R-CNN网络分割近红外图像中的叶片和茎秆，再与对齐图进行掩膜，消除了对齐图中的背景噪声与重影并得到叶片和茎秆器官的对齐图像。网络实例分割结果的类别和数量即为子叶和真叶的数量。使用CycleGAN网络处理单个叶片的对齐图，对缺失部分进行修补并转换为3D点云，再对点云进行滤波实现保边去噪，最后对点云进行三角化测量叶面积。在Mask R-CNN分割得到的茎秆对齐图像中，利用茎秆的近似矩形特征，分别计算茎秆的长和宽，再结合深度信息转换为下胚轴长和茎粗。使用YOLO v5s检测对齐图中的黄瓜苗生长点，利用生长点与基质的高度差计算株高。实验结果表明，该系统具有很好的通量和精度，对子叶时期、1叶1心时期和2叶1心时期的黄瓜苗关键表型测量平均绝对误差均不高于8.59%、R²不低于0.83,可以很好地替代人工测...