基于语义部位分割的条纹斑竹鲨鱼体运动姿态解析

条纹斑竹鲨具有较高的经济价值和医用研究价值。人工驯养对环境和温度等因素要求较高,时常出现大规模病死现象。利用视频图像量化分析鱼体运动行为,有助于进行异常识别和早期预警,将有效提高养殖养护水平。该研究针对人工驯养的条纹斑竹鲨鱼,提出一种基于深度神经网络的语义部位分割方法,并将分割结果应用于剖析条斑鲨鱼体运动姿态。首先,依据条斑鲨形态特征将其划分为7个可视的身体组成构件(头部、右胸鳍、左胸鳍、右腹鳍、左腹鳍、躯干、尾巴);再对全景养殖监控视频中抽取的476幅条斑鲨子图进行各部位的像素级标记,通过数据增强到1 944幅建立鱼体语义部位数据集,其中训练集为1166幅图像,测试集为778幅图像;然后,在语义分割网络模型基础上进行深度学习训练,使用深度学习框架对网络参数进行微调使得网络训练结果达到最优。最后,利用语义部位分割结果定位躯干和鱼头质心建立随体坐标,通过随体坐标的方向变化判明鱼体动作姿态。基于FCN-8s和Segnet两种深度网络模型进行了鱼体部位分割的对比试验,测试结果表明基于Segnet网络的分割方法在头部、右胸鳍、左胸鳍、右腹鳍、左腹鳍、躯干、尾巴部位的准确度分别高出FCN-8s深度网络1.50,4.70,6.95,6.56,6.01,0.85,0.84个百分点。语义部位分割结果能够有效判别条斑鲨鱼体目标的动作姿态,可为鱼体异常行为识别和进一步开展面向条斑鲨的动物行为学试验提供技术参考。     

基于迁移学习的葡萄叶片病害识别及移动端应用

为解决已有的卷积神经网络在小样本葡萄病害叶片识别的问题中出现的收敛速度慢,易产生过拟合现象等问题,提出了一种葡萄叶片病害识别模型(Grape-VGG-16,GV),并针对该模型提出基于迁移学习的模型训练方式。将VGG-16网络在ImageNet图像数据集上学习的知识迁移到本模型中,并设计全新的全连接层。对收集到的葡萄叶片图像使用数据增强技术扩充数据集。基于扩充前后的数据集,对全新学习、训练全连接层的迁移学习、训练最后一个卷积层和全连接层的迁移学习3种学习方式进行了试验。试验结果表明,1)迁移学习的2种训练方式相比于全新学习准确率增加了10～13个百分点,并在仅训练25轮达到收敛,该方法有效提升了模型分类性能,缩短模型的收敛时间;2)数据扩充有助于增加数据的多样性,并随着训练次数的增加,训练与测试准确率同步上升,有效缓解了过拟合现象。在迁移学习结合数据扩充的方式下,所构建的葡萄叶片病害识别模型(GV)对葡萄叶片病害的识别准确率能达到96.48%,对健康叶、褐斑病、轮斑病和黑腐病的识别准确率分别达到98.04%、98.04%、95.83%和94.00%。最后,将最终的研究模型部署到移动端,实现了田间葡萄叶片病害的智能检测,为葡萄病害的智能诊断提供参考。     

便携式柑橘虫害实时检测系统的研制与试验

为实现柑橘虫害的快速、准确识别,帮助果农及时掌握果园内虫害的危害程度和分布情况,该研究结合嵌入式图像处理技术设计了一套基于深度卷积神经网络的柑橘虫害实时检测系统。优选MoblieNet作为虫害图像特征提取网络,区域候选网络生成害虫的初步位置候选框,快速区域卷积神经网络(Faster Region Convolutional Neural Networks,Faster R-CNN)实现候选框的分类和定位。检测系统根据目标图像中虫害数量计算危害程度,按照正常、轻度、中度、重度4个等级判定柑橘虫害的严重程度,形成虫害识别与级别定量化测评软件。最后引入北斗模块获取采样点位置信息,进一步处理成可视化的虫害热力图。结果表明,该方法可实现对柑橘红蜘蛛和蚜虫的快速准确检测,识别准确率分别达到91.0%和89.0%,单帧图像平均处理速度低至286ms。该系统实现了柑橘虫害的精准识别与定位,可为农药喷洒作业提供精准信息服务。     

基于机器学习的棉花叶面积指数监测

为实现基于机器学习和无人机高光谱影像进行棉花全生育期叶面积指数(Leaf Area Index, LAI)监测,该研究基于大田种植滴灌棉花,在不同品种及不同施氮处理的小区试验基础上,对无人机获取的高光谱数据分别采用一阶导(First Derivative, FDR)、二阶导(Second Derivative, SDR)、SG(Savitzky-Golay)平滑和多元散射校正(Multiplicative Scatter Correction, MSC)进行预处理,并结合Pearson相关系数法、连续投影(Successive Projections Algorithm, SPA)、随机蛙跳(Shuffled Frog Leaping Algorithm, SFLA)和竞争性自适应重加权(Competitive Adaptive Reweighting, CARS)筛选敏感波段,将筛选出的波段,使用偏最小二乘回归(Partial Least Squares Regression, PLSR)、支持向量回归(Support Vector Regression, SVR)和随机森林回归(Random Forest Regression, RFR)3种机器学习算法构建棉花LAI监测模型。结果表明:棉花冠层LAI敏感响应波段集中在可见光(400～780 nm)和近红外(900 nm之后)波段;对比3种机器学习算法,各预处理下RFR建立的LAI监测模型精度最高,稳定性最好,其中以FDR-SFLA-RFR模型最佳,在建模集的决定系数为0.74,均方根误差为1.648 3,相对均方根误差为26.39%;验证集的决定系数、均方根误差分别为0.67和1.622 0,相对均方根误差为25.97%。该研究基于无人机获取的棉花冠层光谱反射率,从不同光谱预处理、波段筛选及建模方法建立的模型中筛选出最佳估算模型用于棉花全生育期LAI监测,研究结果可为棉花大田精准管理及变量施肥提供依据。     

基于改进YOLOv8n的复杂环境下柑橘识别

针对复杂环境下柑橘果实大量重叠、枝叶遮挡且现有模型参数量大、计算复杂度高等问题,提出了一种基于改进YOLOv8n的柑橘识别模型YOLOv8-MEIN。首先,该研究设计了ME卷积模块并使用它改进YOLOv8n的C2f模块。其次,为了弥补CIoU损失函数在检测任务中泛化性弱和收敛速度慢的问题,使用Inner-CIoU损失函数加速边界框回归,提高模型检测性能。最后,在自建数据集上进行模型试验对比,试验结果表明,YOLOv8-MEIN模型交并比阈值为0.5的平均精度均值mAP_0.5值为96.9%,召回率为91.7%,交并比阈值为0.5~0.95的平均精度均值mAP_0.5～0.95值为85.8%,模型大小为5.8MB,参数量为2.87M。与原模型YOLOv8n相比,mAP_0.5值、召回率、mAP_0.5～0.95值分别提高了0.4、1.0、0.6个百分点,模型大小和参数量相比于原模型分别降低了3.3%和4.3%,为柑橘的自动化采摘提供技术参考。     

结合Sentinel-2影像和特征优选模型提取大豆种植区

准确获取大豆的空间分布对于产量估计、灾害预警和农业政策调整具有重要意义,目前针对种植结构复杂地区所开展的大豆遥感识别研究鲜有报道。该研究以安徽省北部平原的典型大豆产区——龙山、青疃镇为研究区,基于Sentinel-2数据提出一种分层逐级提取策略的大豆识别方法。该方法首先构建决策树筛选规则,剔除研究区内非农田地物,获得田间植被的总体分布;然后生成19个候选特征因子,包括分辨率小于等于20 m的10个波段反射率以及9个植被指数。在典型地物类型样本的支持下,将ReliefF特征权重评估算法与随机森林(RandomForest,RF),BP神经网络(Back-Propagation Neural Network,BPNN)和支持向量机(Support Vector Machine, SVM)相结合,分别构建ReliefF-RF、ReliefF-BPNN、ReliefF-SVM三种组合模型筛选出对于大豆识别最有效的特征,并基于布设在研究区内6个样方(大小为1 km×1 km)的无人机影像提取得到的大豆分布来评估3种模型在大豆制图中的表现。结果表明,ReliefF-RF模型表现最佳,基于该模型筛选出7个优选特征因子,大豆制图的总体精度介于85.92%～91.91%,Kappa系数在0.72～0.81之间,各个样方的提取效果均优于其他两种模型。此外,基于优选特征达到的提取精度明显高于原始波段反射率,虽然略低于全部19个特征的结果,但是数据量降低了63.16%。该研究可以为农田景观破碎、种植结构复杂地区的大豆种植区提取相关研究提供有价值的参考和借鉴。     

基于自监督学习的温室移动机器人位姿跟踪

为实现温室环境下机器人行进过程中的位置及姿态跟踪,该研究提出一种基于时序一致性约束的自监督位姿变换估计模型。模型用软遮罩,处理视频帧间静止造成的位姿预测值收缩现象,进一步用归一化遮罩,解决非刚体场景和目标遮挡问题。设计了一种星型扩张卷积,并基于该卷积,为模型构建自编码器。在采集自种植作物为番茄的日光温室视频数据上开展训练和测试试验。结果表明,与不采用遮罩处理的模型相比,采用软遮罩的模型,位置和姿态估计相对误差分别减少5.06个百分点和11.05个百分点,采用归一化遮罩的模型,这2项误差则分别减少4.15个百分点和3.86个百分点,2种遮罩均可显著提高模型精度;星型扩张卷积对降低模型误差是有效的,在网络参数不变的前提下,该卷积使姿态估计相对误差减少7.54个百分点;时序一致性约束使姿态估计均方根误差下降36.48%,每百帧累积姿态角误差降低54.75%,该约束可用于提高模型精度及稳定性;该研究的位置及姿态估计相对误差分别为8.29%和5.71%,与Monodepth2相比,减少了8.61%和6.83%。该研究可为温室移动机器人导航系统设计提供参考。     

采用双模态联合表征学习方法识别作物病害

基于深度卷积神经网络的视觉识别方法在病害诊断中表现出色,逐渐成为了研究热点。但是,基于深度卷积神经网络建立的视觉识别模型通常只利用了图像模态的数据,导致模型的识别准确率和鲁棒性,都依赖训练数据集的规模和标注的质量。构建开放环境下大规模的病害数据集并完成高质量的标注,通常需要付出巨大的经济和技术代价,限制了基于深度卷积神经网络的视觉识别方法在实际应用中的推广。该研究提出了一种基于图像与文本双模态联合表征学习的开放环境下作物病害识别模型(bimodalNet)。该模型在病害图像模态的基础上,进行了病害文本模态信息的嵌入,利用两种模态病害信息间的相关性和互补性,实现了病害特征的联合表征学习。最终bimodalNet在较小的数据集上取得了优于单纯的图像模态模型和文本模态模型的效果,最优模型组合在测试集的准确率、精确率、灵敏度、特异性和F1值分别为99.47%、98.51%、98.61%、99.68%和98.51%。该研究证明了利用病害图像和病害文本的双模态表征学习是解决开放环境下作物病害识别的有效方法。     

基于优化Transformer网络的绿色目标果实高效检测模型

果园环境中,检测目标果实易受复杂背景、果实姿态和颜色等因素影响,为提高绿色目标果实检测的精度与效率,满足果园智能测产和自动化采摘要求,本研究针对不同光照环境和果实姿态,提出一种适于样本数量不足的绿色目标果实高效检测模型。该模型采用优化Transformer结构,首先借助卷积神经网络(Convolutional Neural Network,CNN)网络提取图像特征;然后输入编码-解码器生成一组目标果实预测框,最后通过前馈神经网络(Feed-forward Network,FFN)结构预测检测结果。在训练过程中,引入重采样法扩充样本数量,解决样本数量不足问题;引入迁移学习,加速网络收敛。分别制作苹果、柿子数据集用于模型训练。试验结果表明,经迁移学习后该模型训练效率大幅提高;与流行的目标检测模型相比,优化后的模型在检测绿色柿子与绿色苹果时,精度分别为93.27%和91.35%。该方法可为其他果蔬绿色目标检测提供理论借鉴。     

基于序列信息的土壤CT图像超分辨率重建

受部分容积效应影响,土壤计算机断层扫描（Computed Tomography,CT）图像存在孔隙边界模糊现象,影响土壤孔隙结构研究的准确性。针对该问题,该研究提出基于序列信息的生成式对抗网络（Sequence information Generative Adversarial Network,SeqGAN）,实现土壤CT图像的超分辨率重建。针对土壤CT序列图像具有较高相似性的特点,SeqGAN法引入序列卷积块挖掘前后图像的序列信息,并将多重特征增强融合于目标图像中;利用多层残差块提取图像特征,构建残差块输入和输出的直接连接,以减少模型退化;利用对抗网络实现损失间接反馈,提高模型的特征学习能力。在序列相似性较高的土壤图像数据集验证了该方法性能。结果表明,SeqGAN法均方误差比次优方法GAN降低25%,峰值信噪比提升1.4 dB,结构相似性提升0.2%。重建的土壤图像具有较高准确率和清晰度,可为后续土壤物理学研究提供准确的数据基础。