基于注意力机制及多尺度特征融合的番茄叶片缺素图像分类方法

针对番茄早期缺素性状不明显及各生长期特征差异较大所导致的特征区域尺寸不一致、难提取、难辩别等问题,提出了一种基于注意力机制及多尺度特征融合卷积神经网络的番茄叶片缺素图像分类方法（Multi-Scale Feature Fusion Convolutional Neural Networks Based On Atte ntion Mechanism,MSFF-AM-CNNs）。首先根据番茄叶片缺素特点提出了多尺度特征融合结构（Multi-Scale Feature Fusion Module,MSFF Module）;其次在DenseNet基础上,结合浅层网络主要提取纹理、细节特征,深层网络主要提取轮廓、形状特征的特点分别提出具有针对性的特征提取方法,通过不同形式引入注意力机制及多尺度特征融合结构,使全局多尺度信息融合多个特征通道、选择性地强调信息特征并达到对特征精准定位的功能;同时引入Focal Loss函数以减少易分类样本的权重。试验结果表明,MSFF-AM-CNNs的平均召回率、平均F1得分、平均准确率较原模型DenseNet-121均大幅提升,其中缺氮和缺钾叶片的准确率分别提高了8.06和6.14个百分点,召回率分别提高了6.31和5.00个百分点,F1得分分别提高了7.25和5.55个百分点,平均识别准确率可达95.92%,具有较高的识别准确率及广泛的适用性,能够满足番茄叶片缺素图像的高精度分类需求,可为植物叶片缺素识别提供参考。     

基于声振信号对称极坐标图像的苹果霉心病早期检测

为实现苹果早期霉心病较高精度的检测,该研究采用对称极坐标法（Symmetrized Dot Pattern,SDP）将苹果声振信号变换为雪花图,然后采用AlexNet、VGG16和ResNet50卷积神经网络以迁移学习方式深度挖掘SDP雪花图像的特征信息,将其输入到支持向量机（Support Vector Machine,SVM）分类器,对霉心程度≤7%的苹果进行检测。研究结果表明,当时间间隔系数为25和角度放大因子为50°时,健康果与早期霉心果声振信号的SDP图形状特征差异最大,在此条件下获取的SDP图经卷积神经网络AlexNet、VGG16和ResNet50提取特征并构建了不同核函数的SVM霉心果检测模型,在各类SVM模型中,ResNet50-SVM-gaus（高斯基）模型用相对较少的训练时间和参数量可取得训练集霉心果较高分类准确率,经超参数优化训练该模型对健康果和早期霉心果测试集不平衡样本（10∶1）的总体分类准确率达到96.97%,平均查准率、平均查全率、平均加权调和均值、Kappa系数和马修斯相关系数值分别为80.19%、90.36%、86.21%,82.54%和82.68%,该模型不仅对多数类的健康果保持较高分类准确率,而且对少数类的早期霉心果也具有较高判别能力。这些研究结果为声振法应用于果蔬内部病害的早期在线检测系统研发提供了技术支撑。     

基于轻量级神经网络MobileNetV3-Small的鲈鱼摄食状态分类

在集约化水产养殖过程中,饲料投喂是控制养殖成本,提高养殖效率的关键。室外环境复杂多变且难以控制,适用于此环境的移动设备计算能力较弱,通过识别鱼类摄食状态实现智能投喂仍存在困难。针对此种现象,该研究选取了轻量级神经网络MobileNetV3-Small对鲈鱼摄食状态进行分类。通过水上摄像机采集水面鲈鱼进食图像,根据鲈鱼进食规律选取每轮投喂后第80～110秒的图片建立数据集,经训练后的MobileNetV3-Small网络模型在测试集的准确率达到99.60%,召回率为99.40%,精准率为99.80%,F1分数为99.60%。通过与ResNet-18, ShuffleNetV2和MobileNetV3-Large深度学习模型相比,MobileNetV3-Small模型的计算量最小为582 M,平均分类速率最大为39.21帧/s。与传统机器学习模型KNN（K-Nearest Neighbors）、SVM（Support Vector Machine）、GBDT（Gradient Boosting Decision Tree）和Stacking相比,MobileNetV3-Small模型的综合准确率高出12.74、23.85、3.60和2.78个百分点。为进一步验证该模型有效性,在室外真实养殖环境进行投喂试验。结果显示,与人工投喂相比,基于该分类模型决策的鲈鱼投喂方式的饵料系数为1.42,质量增加率为5.56%。在室外真实养殖环境下,MobileNetV3-Small模型对鲈鱼摄食状态有较好的分类效果,基于该分类模型决策的鲈鱼投喂方式在一定程度上能够代替养殖人员进行决策,为室外集约化养殖环境下的高效智能投喂提供了参考。     

基于语义部位分割的条纹斑竹鲨鱼体运动姿态解析

条纹斑竹鲨具有较高的经济价值和医用研究价值。人工驯养对环境和温度等因素要求较高,时常出现大规模病死现象。利用视频图像量化分析鱼体运动行为,有助于进行异常识别和早期预警,将有效提高养殖养护水平。该研究针对人工驯养的条纹斑竹鲨鱼,提出一种基于深度神经网络的语义部位分割方法,并将分割结果应用于剖析条斑鲨鱼体运动姿态。首先,依据条斑鲨形态特征将其划分为7个可视的身体组成构件(头部、右胸鳍、左胸鳍、右腹鳍、左腹鳍、躯干、尾巴);再对全景养殖监控视频中抽取的476幅条斑鲨子图进行各部位的像素级标记,通过数据增强到1 944幅建立鱼体语义部位数据集,其中训练集为1166幅图像,测试集为778幅图像;然后,在语义分割网络模型基础上进行深度学习训练,使用深度学习框架对网络参数进行微调使得网络训练结果达到最优。最后,利用语义部位分割结果定位躯干和鱼头质心建立随体坐标,通过随体坐标的方向变化判明鱼体动作姿态。基于FCN-8s和Segnet两种深度网络模型进行了鱼体部位分割的对比试验,测试结果表明基于Segnet网络的分割方法在头部、右胸鳍、左胸鳍、右腹鳍、左腹鳍、躯干、尾巴部位的准确度分别高出FCN-8s深度网络1.50,4.70,6.95,6.56,6.01,0.85,0.84个百分点。语义部位分割结果能够有效判别条斑鲨鱼体目标的动作姿态,可为鱼体异常行为识别和进一步开展面向条斑鲨的动物行为学试验提供技术参考。     

融合卷积神经网络与视觉注意机制的苹果幼果高效检测方法

果实表型数据高通量、自动获取是果树新品种育种研究的基础,实现幼果精准检测是获取生长数据的关键。幼果期果实微小且与叶片颜色相近,检测难度大。为了实现自然环境下苹果幼果的高效检测,采用融合挤压激发块(Squeeze-and-Excitation block, SE block)和非局部块(Non-Local block, NL block)两种视觉注意机制,提出了一种改进的YOLOv4网络模型(YOLOv4-SENL)。YOLOv4模型的骨干网络提取高级视觉特征后,利用SE block在通道维度整合高级特征,实现通道信息的加强。在模型改进路径聚合网络(Path Aggregation Network, PAN)的3个路径中加入NL block,结合非局部信息与局部信息增强特征。SE block和NL block两种视觉注意机制从通道和非局部两个方面重新整合高级特征,强调特征中的通道信息和长程依赖,提高网络对背景与果实的特征捕捉能力。最后由不同尺寸的特征图实现不同大小幼果的坐标和类别计算。经过1 920幅训练集图像训练,网络在600幅测试集上的平均精度为96.9%,分别比SSD、Faster R-CNN和YOLOv4模型的平均精度提高了6.9百分点、1.5百分点和0.2百分点,表明该算法可准确地实现幼果期苹果目标检测。模型在480幅验证集的消融试验结果表明,仅保留YOLOv4-SENL中的SE block比YOLOv4模型精度提高了3.8百分点;仅保留YOLOv4-SENL中3个NL block视觉注意模块比YOLOv4模型的精度提高了2.7百分点;将YOLOv4-SENL中SE block与NL blocks相换,比YOLOv4模型的精度提高了4.1百分点,表明两种视觉注意机制可在增加少量参数的基础上显著提升网络对苹果幼果的感知能力。该研究结果可为果树育种研究获取果实信息提供参考。     

融合2D-3D卷积特征识别哺乳母猪姿态转换

母猪姿态转换影响仔猪存活率,且动作幅度与持续时间存在差异,准确识别难度大。该研究提出一种融合2D-3D卷积特征的卷积网络(2D+3D-CNet,2D+3D Convolutional Network)识别深度图像母猪姿态转换。以视频段为输入,引入注意力机制SE模块和3D空洞卷积,以提升3D卷积网络姿态转换的时空特征提取能力,用2D卷积提取母猪的空间特征;经特征融合后,动作识别分支输出母猪转换概率,姿态分类分支输出4类姿态概率,结合这两个输出结果识别8类姿态转换,减少了人工标注数据集的工作量;最后设计动作分数,优化母猪姿态转换的时间定位。在测试集上,2D+3D-CNet姿态转换识别精度为97.95%、召回率为91.67%、测试速度为14.39帧/s,精度、召回率和时间定位精度均高于YOWO、FRCNN-HMM和MOC-D方法。该研究结果实现了母猪姿态转换高精度识别。     

基于特征选择和GA-BP神经网络的多源遥感农田土壤水分反演

土壤水分是影响水文、生态和气候等环境过程的重要参数,而微波遥感是农田地表土壤水分测量的重要手段之一。针对微波遥感反演农田地表土壤水分受植被覆盖影响较大的问题,该研究提出了一种基于特征选择和GA-BP神经网络(Genetic Algorithm-Back Propagation neural network)的多源遥感农田地表土壤水分反演方法。首先对Sentinel-1微波遥感数据和Sentinel-2光学遥感数据进行预处理并提取21个特征参数;然后采用差分进化特征选择(Differential Evolution Feature Selection,DEFS)算法从21个特征中选出包含10个参数的最优特征子集,并利用主成分分析(Principal Component Analysis,PCA)法将特征子集进行降维;之后建立BP神经网络,采用遗传算法(GeneticAlgorithm,GA)对BP网络的节点权值进行优化,使用降维后的特征矩阵和部分实测土壤含水量数据对BP网络进行训练;最后利用训练好的GA-BP网络对研究区土壤水分进行反演,并利用实测数据对反演结果精度进行对比验证。试验结果表明,该研究反演结果的决定系数为0.789 3,均方根误差为0.028 7 cm~3/cm~3,相比单纯使用GA-BP神经网络,加入DEFS和PCA之后决定系数提高了0.215 7,同时均方根误差降低了0.029 5 cm~3/cm~3。该结果展示了DEFS和PCA算法在土壤水分反演最优特征集选择的有效性,为多源遥感农田地表土壤水分反演提供了新思路。     

基于堆叠沙漏网络的单分蘖水稻植株骨架提取

针对水稻栽培和遗传育种研究中单分蘖性状高通量无损提取的实际需求,该研究提出了一种基于沙漏网络模型的单分蘖水稻关键点预测和骨架提取方法。首先,对原始图像进行批量裁剪、gamma校正和锐化卷积等预处理,获取单色背景下的水稻单分蘖图像数据集;设计水稻单分蘖各器官关键点数据标注策略,构建监督数据集。然后,构建堆叠沙漏网络架构实现叶片数固定和不固定的水稻关键点检测,引入沙漏结构整合图像的多尺度特征,结合中间监督机制整合不同沙漏模块信息。叶片数一致的情况,模型预测准确率最高可达96.48%;叶片数不一致的情况,预测准确率达到82.09%。最后,根据预测关键点及其对应的语义信息连接形成植株骨架,选取茎秆长、叶片长、穗长、叶片-茎秆夹角和茎节点位置5个表型参数对生成骨架模型的实际意义进行评估,其均方根误差依次为5.82 cm、3.09 cm、1.71 cm、3.22°和2.04 cm,证明了该方法能较好地识别水稻单分蘖关键点,为水稻骨架提取提供了一种新思路,有助于加快水稻育种速度。     

基于WEB辅助教学平台的设计

根据高校信息化教育的要求和目标,结合应用实例,介绍WEB环境下的网络辅助教学平台的分析、设计与实现的一般要求和方法。     

基于自监督学习的温室移动机器人位姿跟踪

为实现温室环境下机器人行进过程中的位置及姿态跟踪,该研究提出一种基于时序一致性约束的自监督位姿变换估计模型。模型用软遮罩,处理视频帧间静止造成的位姿预测值收缩现象,进一步用归一化遮罩,解决非刚体场景和目标遮挡问题。设计了一种星型扩张卷积,并基于该卷积,为模型构建自编码器。在采集自种植作物为番茄的日光温室视频数据上开展训练和测试试验。结果表明,与不采用遮罩处理的模型相比,采用软遮罩的模型,位置和姿态估计相对误差分别减少5.06个百分点和11.05个百分点,采用归一化遮罩的模型,这2项误差则分别减少4.15个百分点和3.86个百分点,2种遮罩均可显著提高模型精度;星型扩张卷积对降低模型误差是有效的,在网络参数不变的前提下,该卷积使姿态估计相对误差减少7.54个百分点;时序一致性约束使姿态估计均方根误差下降36.48%,每百帧累积姿态角误差降低54.75%,该约束可用于提高模型精度及稳定性;该研究的位置及姿态估计相对误差分别为8.29%和5.71%,与Monodepth2相比,减少了8.61%和6.83%。该研究可为温室移动机器人导航系统设计提供参考。