一种解决BP网络过拟合的学习算法

针对BP网络的过拟合问题,提出了一种基于验证误差的学习算法,该算法主要从构建最佳网络结构及获得最适训练次数两个角度进行了考虑.在学习过程中,通过不断检验验证误差及误差变化量,自动调整隐层节点数目,并适时停止网络训练.针对给定问题,该算法不仅能自动构建最佳网络结构和相应权系数,而且同时对网络的泛化能力进行了检验,从而有效避免了网络的过拟合.最后通过实验证明了算法的有效性.     

改进的超限学习机及其在不平衡数据中的应用

超限学习机(ELM)作为一种简单高效的学习算法被广泛应用于分类和拟合问题中.但是ELM在训练过程中逼近所有的样本容易造成过拟合,并且单个的ELM在不平衡数据分类上效果欠佳.因此,本文提出了一种新的基于分层交叉验证的集成超限学习机,该算法在训练阶段将集成学习和分层交叉验证相结合:①集成学习通过将若干个网络组合大大提高分类性能;②分层交叉验证最大程度学习样本的分布特点.基于KEEL数据库的不平衡数据分类问题的实验表明,新提出的算法更加稳定并且有更高的分类性能.     

基于CNN的普米语孤立词语谱图分类

为实现普米语孤立词语谱图的分类,引入基于卷积神经网络的语谱图模型,该模型可以无监督学习语谱图特征实现分类.本文搭建了一个9层的卷积神经网络模型,利用彩色语谱图样本集进行训练,并针对已训练好的模型,通过实验检验各项因素对分类的影响,从而得到适当的参数.参数确定后,进行卷积神经网络与支持向量机、 BP神经网络的对比实验,验证算法的可行性和有效性.实验显示基于卷积神经网络的普米语孤立词语谱图分类准确率达到91%～95%,这说明该算法是可行和有效的.与支持向量机、 BP神经网络相比,卷积神经网络具有自动提取特征,避免过拟合问题,适合大样本数据进行训练的优点.     

RBF神经网络在线学习方式及其在大坝位移监测中的应用

针对目前RBF神经网络训练算法存在的问题,提出了一种模拟人类学习方式的自动调整隐层节点数的在线训练方法,对其理论依据进行了分析,并用实例对其进行了验证。结果表明,此种学习方法速度快、拟合精度高、新旧知识均可记忆,克服了以往算法的不足,具有很大的实用性。     

仿射非线性系统的在线自适应模糊神经网络辨识与控制

针对单输入单输出非线性系统的自适应控制问题,提出了一种在线自适应模糊神经网络辨识与鲁棒控制的方法.该方法首先利用广义模糊神经网络学习算法,实时建立对象模型未知系统的逆动态模型,实现网络结构和参数的同时在线自适应.考虑到网络建模误差和外部干扰的存在,还设计了基于控制理论的鲁棒补偿器.仿真结果表明,该方法能对模型未知仿射非线性系统实现鲁棒输出跟踪.     

城市用水量非线性组合预测方法研究

利用小波网络构造模型的优化组合函数,建立了城市用水量非线性组合预测模型.将非线性组合函数的拟合转化为小波网络参数的估计,采用遗忘因子法训练网络的权值,利用递推预报误差算法训练尺度因子和平移因子.实例表明,该方法具有很强的泛化能力与自适应数据和函数变化的能力,能够有效提高预测精度,克服了线性组合预测方法适应性不强的问题.     

基于深度迁移学习的酿酒葡萄种植信息提取

为利用遥感手段快速、精准提取宁夏贺兰山东麓酿酒葡萄种植信息,提出了一种基于深度迁移学习的酿酒葡萄种植信息提取方法。该方法以全卷积神经网络(Fully convolutional networks,FCN)为基础,利用高分二号卫星遥感资料,以地面采集样本数据进行网络模型训练,利用迁移学习方法将训练好的网络模型迁移到FCN网络模型中,对其进行初始化,避免过拟合问题的发生,其网络训练验证集准确率高达88.16%,较传统的基于深度学习方法准确率提高7.17个百分点。结果表明,基于深度迁移学习的贺兰山东麓酿酒葡萄种植信息提取检测准确率可达91.93%,检测召回率达到91.15%。     

无站条件下BP神经网络年径流量预测模型研究

针对无监测站的河流断面的径流量预测难的问题,选取了有针对性的影响因子,采用人工神经网络的BP改进算法—自适应调节学习速率算法,以Matlab神经网络工具箱为工具,以辽河干流铁岭站为假想对象,建立了无站条件下年径流量预测模型,模型训练48次误差达到要求,以2004～2006年3年实测资料作为检验样本进行仿真,验证模型的精度。仿真结果表明:3年预测结果全部满足要求,说明该模型可用于河流任一断面年径流量的预测。     

一种模糊计算过程神经元网络及其应用

针对带有过程性模糊规则的时变信息处理问题,提出了一种模糊计算过程神经元网络。该模型将模糊神经网络推广到时域空间,可实现对过程性定量与定性混合信息的模糊计算。给出了一种5层结构的模糊计算过程神经元网络模型,并针对网络结构的优化问题给出了该网络模型的规则层节点的选取方法和相应的学习规则,对于具有较少输入节点的情况,网络有较快的训练速度。模糊过程神经元网络将传统模糊神经网络的模糊函数映像关系推广为模糊泛函映像,增强了对各种过程信息的综合处理能力。实际应用结果验证了模型和算法的有效性。     

面向分布式机器学习训练的计算节点激励策略

为了提高分布式机器学习训练的性能，提出了一种计算节点的激励策略。首先，分别建立了计算节点效用最大化问题和服务器成本最小化问题，并设计了最优算法对优化问题进行求解。面对网络的动态性和计算节点的隐私保护需求，提出了一种基于深度强化学习的激励策略，该策略可以自动学习最佳的定价策略。最后使用真实的移动轨迹数据集进行实验，以评估本策略的性能。实验结果表明，与现有的算法相比，本策略具有优越性。