基于波段增强的DeepLabv3+多光谱影像葡萄种植区识别

精准获取葡萄种植区分布信息对其精细化管理和优质基地建设具有重要意义,通常大区域种植区识别主要基于遥感影像完成,但葡萄种植区空间位置的分散性和背景环境的复杂性,使得种植区识别的精度不高。该研究基于DeepLabv3+网络,改进网络输入通道数使其能够接受更多的光谱信息,同时构建波段信息增强模块（Band Information Enhancement,BIE）,利用各波段特征图之间的相关性生成综合特征,提出了波段信息增强的葡萄种植区识别方法（BIE-DeepLabv3+）。在2016和2019年高分二号影像葡萄种植区数据集上训练网络,在2020年影像上测试其性能,结果表明,改进模型输出结果的平均像素精度和平均交并比分别为98.58%和90.27%,识别效果好于机器学习SVM算法,在深度学习DeepLabv3+模型的基础上分别提高了0.38和2.01个百分点,比SegNet分别提高了0.71和4.65个百分点。BIE-DeepLabv3+模型拥有更大的感受野和捕获多尺度信息特征的同时放大了地物间的差异,能够解决影像中葡萄种植区存在类间纹理相似性、背景和环境复杂等问题,在减少模型参数的同时预测出的葡萄种植区更加完整,且边缘识别效果良好,为较大区域内背景复杂的遥感图像葡萄种植区识别提供了有效方法。     

基于三维点云的植物多任务分割网络

在植物表型研究中,植物器官分割是实现无损、高通量、自动化表型测量的重要步骤。然而,现有植物器官分割方法通常需要凭借经验设置合理的阈值参数,且很少同时执行语义分割和实例分割。该研究提出了一个基于三维点云的植物多任务分割网络（a multi-task segmentation network for plant on 3D point cloud,MT-SegNet）,结合多值条件随机场（multi-value conditional random field,MV-CRF）模型,同时实现茎、叶语义分割和叶实例分割。在MT-SegNet中,为解决用最大池化或平均池化方法来聚合邻域点特征可能会导致重要信息丢失的问题,该研究提出了一种基于注意力机制的多头注意力池化模块。它能自动学习到重要的邻域点特征,从而有利于提高网络的分割性能。同时,MT-SegNet分成两个不同的分支,分别用于预测点的语义类别和将这些点嵌入到高维向量,以便将这些点聚类为实例。最后,使用MV-CRF进行多任务的联合优化。在彩叶芋点云数据集上的试验结果表明,该方法的茎、叶语义分割的交并比、准确率、召回率和F1分数的平均值分别为84.54%、93.64%、91.39%、92.48%,叶实例分割的平均准确率、平均召回率、平均实例覆盖率和平均加权实例覆盖率分别为88.10%、78.44%、76.24%、76.93%,均优于PointNet、JSNet等现有的深度学习网络。该模型也适用于类似植物的点云分割类任务。这有助于为植物自动化表型测量提供必要的技术条件。     

改进Mask R-CNN的真实环境下鱼体语义分割

鱼体语义分割是实现鱼体三维建模和语义点云、计算鱼体生长信息的基础。为了提高真实复杂环境下鱼体语义分割精度,该研究提出了SA-Mask R-CNN模型,即融合SimAM注意力机制的Mask R-CNN。在残差网络的每一层引入注意力机制,利用能量函数为每一个神经元分配三维权重,以加强对鱼体关键特征的提取;使用二次迁移学习方法对模型进行训练,即首先利用COCO数据集预训练模型在Open Images DatasetV6鱼类图像数据集完成第一次迁移学习,然后在自建数据集上完成第二次迁移学习,利用具有相似特征空间的2个数据集进行迁移学习,在一定程度上缓解了图像质量不佳的情况下鱼体语义分割精度不高的问题。在具有真实养殖环境特点的自建数据集上进行性能测试,结果表明,SA-Mask R-CNN网络结合二次迁移学习方法的交并比达93.82%,综合评价指标达96.04%,分割效果优于SegNet和U-Net++,较引入SENet和CBAM（Convolutional Block Attention Module, CBAM）注意力模块的Mask R-CNN交并比分别提升了2.46和1.0个百分点,综合评价指标分别提升了2.57和0.92个百分点,模型参数量分别减小了4.7和5 MB。研究结果可为鱼体点云计算提供参考。     

基于全卷积网络的土壤断层扫描图像中孔隙分割

针对土壤断层扫描图像中存在部分容积效应及因孔隙成分复杂、结构不规则等引起的分割精度低的问题,该文提出一种全卷积网络(fully convolutional network,FCN)土壤孔隙分割方法,为土壤科学研究提供技术支持。该文以黑土土壤断层扫描图像为研究对象,通过卷积和池化运算输出不同尺度的孔隙特征图;将孔隙的深层特征和浅层特征相融合,采用上采样算子对融合特征进行插值操作,从而输出孔隙的二值图。与大津法、分水岭法、区域生长法和模糊C均值聚类法(Fuzzy C-means,FCM)4种常用孔隙分割方法的对比结果表明,FCN法在低,中,高3种孔隙密度的土壤图像中优于其他4种方法。FCN法的平均分割正确率为98.1%,比4种常用方法分别高25.6%,48.3%,55.7%和9.5%;FCN法的平均过分割率和欠分割率分别为2.2%和1.3%,仅为次优方法(FCM法)的33.8%和23.6%。通过融合土壤孔隙结构的多重特征,FCN法能够实现土壤孔隙整体和局部信息的精准判断,为土壤学的研究提供了一种更加智能化的技术手段。     

基于DBSE-Net的大田稻穗图像分割

稻穗精准分割是准确估测水稻产量的关键。为实现大田环境下不同品种与生育期稻穗的准确分割,该研究提出了基于注意力机制的稻穗分割网络（Double Branch Squeeze-and-Excitation Network,DBSE-Net）。首先,提出一个双分支压缩与激励（Double Branch Squeeze-and-Excitation,DBSE）注意力模块,通过同时使用全局平均池化（Global Average Pooling,GAP）和全局最大池化（Global Max Pooling,GMP）编码输入特征的通道信息,以实现更精准的通道注意力推断。然后,为了强化稻穗特征并抑制背景区域特征,将DBSE模块添加到编码-解码分割框架中构建DBSE-Net分割网络。最后,在自采集的稻穗图像数据集上进行分割性能测试,DBSE-Net对稻穗分割的像素准确率、平均交并比和F1分数分别达到了94.32%、87.59%和91.86%,比次优模型DeepLabv3+的结果分别高出1.61、2.56和1.20个百分点,在单张256×256（像素）图像上耗时0.03 s,是DeepLabv3+分割速度的5.3倍。在公开的稻穗图像数据集上进行泛化性能测试,DBSE-Net能够有效分割出稻穗区域。该研究结果表明,DBSE-Net能够对不同品种与生育期稻穗实现高效精准分割,具有良好的泛化性,可以为水稻产量评估提供参考。     

田间道路改进UNet分割方法

为了保证自动驾驶农机的安全行驶,需要对农田间道路进行高精度识别.该研究以北京市大兴区榆垡镇为研究地点,构建了农田间道路图像数据集,使用开源标注工具Labelme软件进行图像标注,以UNet为基本网络结构,针对分割过程中存在的道路边缘和远处道路分割效果较差等现象,提出了3个改进方向:在编码器网络中添加残差连接,增加网络复...     

基于改进残差网络的橡胶林卫星影像语义分割方法

为进一步提升现有基于残差的分割模型在测试集上的信息提取能力和验证改进残差优化策略普适性及实现橡胶卫星影像的更优分割,该研究提出了一种通用改进残差策略,以哨兵-2多光谱卫星影像为数据源构建数据集,并使用改进后残差网络ResNet50_ve作为OCRNet模型的骨干网络,实现基于变种残差网络的OCRNet模型（ResNet-ve-OCRNet）,使用在ImageNet1k分类数据集上蒸馏好的学生模型作为预训练模型参与ResNet-ve-OCRNet模型的训练。研究结果表明使用层数中等的基于50层残差网络在小尺度卫星影像训练集上各指标收敛效果优于较深层数的101层残差网络,与DeeplabV3、DeeplabV3+、PSPNet模型相比,以ResNet50_ve为骨干网络的OCRNet在验证集上的平均交并比达到0.85,像素准确率达到97.87%,卡帕系数达到0.90。该研究提出的改进残差策略具有一定的普适性可应用到众多主流分割模型上且有评价指标性能增益,从预测图来看,基于改进残差网络（ResNet-ve）的模型抑制了在测试集预测图上的上下文信息缺失问题,能够实现橡胶林卫星影像的更优精确分割。     

基于改进FCN-8s的灵武长枣图像分割方法

针对不同成熟度灵武长枣图像中多尺度长枣目标的分割问题,该研究提出了一种基于改进FCN-8s的灵武长枣图像分割方法.首先,建立包含不同成熟度灵武长枣图像的数据集.其次,提出一个多尺度特征提取模块,该模块以3×3卷积为主分支,增加1×1卷积和5×5深度可分离卷积作为辅助分支,以提取灵武长枣图像中的多尺度特征.然后,用多尺度...     

基于改进HRNet的单幅图像苹果果树深度估计方法

针对苹果自动采收获取深度信息的实际需求,以及目前单幅图像深度估计算法存在的空间分辨率低和边缘模糊问题,提出一种基于改进高分辨率网络（High-Resoultion Net, HRNet）的单幅图像苹果果树深度估计模型。首先基于HRNet构建多分支并行的编码器网络,提取多尺度特征,并通过引入密集连接机制强化特征传递过程中的连续性;为了减少冗余特征造成的噪声干扰,使用卷积注意力模块在通道及像素层级对融合特征进行重标定,强化特征图结构信息。在解码器网络中,使用条纹细化模块自适应地优化特征图的边界细节信息,突出边缘特征,改善边缘模糊问题,最后经上采样生成深度图。在NYU Depth V2公共数据集和果树深度数据集上进行试验。试验结果表明,引入密集连接机制,添加卷积注意力模块、条纹细化模块均能提升模型性能。提出的改进HRNet网络在果树深度数据集上的平均相对误差、均方根误差、对数平均误差、深度边缘准确误差和边缘完整性误差分别为0.123、0.547、0.051、3.90和10.59,在1.25、1.252、1.253阈值下的准确率分别达到了0.850、0.975、0.993;在主观视觉上,改进HRNet网络生成的深度图有清晰的边缘以及较多的纹理细节。该方法在客观指标和主观效果上均有良好的表现。     

基于RCH-UNet的新疆密植棉花图像快速分割及产量预测

针对复杂棉田环境下传统图像分割技术存在分割精度低、实时性弱和鲁棒性差等问题,该研究以脱叶期新疆密植棉花为对象,结合低空无人机遥感平台,提出一种RCH-UNet（resnet coordinate hardswish UNet）棉花产量快速预测模型。将UNet中传统的CBR（convolution batch normalization ReLU）下采样模块替换为ResNet50,同时将CA（coordinateattention）注意力机制和hardswish激活函数引入UNet,以提高图像特征的提取能力,增强图像分割效果。基于无人机采集的棉花图像数据集评估RCH-UNet模型性能。试验结果表明,在本文构建的棉花图像数据集上,RCH-UNet模型的棉花分割交并比达到92.79%,像素准确率达到96.22%,精确率为96.30%,与原始U-Net、PSPNet和DeepLabv3相比,像素准确率分别提高了9.85、17.67、6.31个百分点。通过RCH-UNet提取棉花像素比和灰度共生矩阵提取纹理特征,结合岭回归分析构建多因素棉花产量预测模型,模型的R²为0.92,预测产量与实际产量平均绝对百分比误差为9.254%。研究结果可为新疆密植棉花产量预测提供技术支持。     

深度多分支模型融合网络的胡萝卜缺陷识别与分割

缺陷检测是胡萝卜上市销售前的重要环节,开裂缺陷区域的分割提取是开裂胡萝卜修整的必要条件.基于图像处理的传统的胡萝卜表面缺陷识别算法复杂,通用性、鲁棒性较差.该研究提出一种集胡萝卜缺陷种类识别(C-Net)和开裂缺陷分割(S-Net)为一体的深度多分支模型融合网络(CS-Net).C-Net将预训练的ResNet-50作...     

基于改进均值漂移算法的绿色作物图像分割方法

针对绿色农作物图像背景复杂且分割难的问题,提出一种基于改进均值漂移算法的分割方法。采用均值漂移算法对图像进行平滑和分割时,带宽的选择直接影响平滑和分割的结果。传统的均值漂移分割方法需要人为地设定空域带宽和值域带宽这2个参数。该文首先根据绿色作物图像的颜色特点,提取图像的颜色指数;然后采用均值漂移算法,将图像的颜色信息与空间信息结合起来,根据作物图像颜色分布的丰富程度定义自适应空域带宽,采用渐近积分均方差来获得自适应值域带宽,对图像进行平滑滤波;最后采用 Otsu 方法将平滑后的图像分成两部分：绿色部分和背景部分。试验结果表明,该方法能够有效地分割出绿色作物,并在分割性能上明显优于常规的颜色指数方法,作物图像的错分率均小于6.5%。     

基于深度全卷积神经网络的大田稻穗分割

稻穗的准确分割是获取水稻穗部性状、实现水稻表型自动化测量的关键。该研究应用水稻图像数据集及数据增广技术,离线训练了用于稻穗分割的3个分别基于Seg Net,Deep LAB和PSPNet的全卷积神经网络。综合考虑分割性能和计算速度,优选了基于Seg Net的网络,称为Panicle Net。在线分割阶段先将原始图像划分为子图,由Panicle Net分割子图,再拼接子图得到分割结果。比较该算法及现有作物果穗分割算法Panicle-SEG、HSeg、i2滞后阈值法及joint Seg,该算法对与训练样本同年度拍摄样本Qseg值0.76、F值0.86,不同年度样本Qseg值0.67、F值0.80,远优于次优的Panicle-SEG算法,且计算速度约为Panicle-SEG算法的35倍。该算法能克服稻穗边缘严重不规则、不同品种及生育期稻穗外观差异大、穂叶颜色混叠和复杂大田环境中光照、遮挡等因素的干扰,提升稻穗分割准确度及效率,进而服务于水稻育种栽培。     

基于改进Mask R-CNN的黄瓜叶面积测量模型

植物叶面积可以反映出植物的生长速率、养分吸收以及光合作用能力，针对锯齿状边缘的黄瓜叶片分割精度较低，叶面积测量误差较大等问题。该研究提出一种深度卷积网络模型Marm，在Mask R-CNN的基础上利用Sobel算子进行边缘检测，使模型生成的掩膜更接近叶片的边缘。另外，引入边缘损失以提升叶片边缘的分割精度。借助参照物标签，利用模型输出的掩膜图像进行面积计算，获得黄瓜叶片在不同生长周期的叶面积。试验结果表明，Marm模型精确率、召回率和交并比达到99.1%、94.87%和92.18%，比原始的Mask R-CNN分别提高1.28个百分点、1.13个百分点和1.05个百分点，面积误差率下降1.43个百分点。当图像中存在叶片遮挡和阴影等多种影响，黄瓜叶片的面积误差率仍然能保持在5.45%左右。该研究有效解决了锯齿状边缘的叶片分割问题，将为植物表型研究提供技术支撑。     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。