集成学习算法在不平衡分类中的应用研究

提出一种基于训练集分解的不平衡分类算法,该算法使用能输出后验概率的支持向量机作为分类器,使用基于测度层次信息源合并规则实现分类器的集成.在4个不同领域的不平衡数据集上的仿真实验表明:该算法有效提高分类器对正类样本的正确率,同时尽量减少对负类样本的误判.实验结果验证集成学习算法处理不平衡分类问题的有效性.     

不平衡类分布下多分类问题的提升算法

模式识别在实际应用中常碰到类分布不平衡的多分类问题,该情形下的分类器性能采用传统的精度指标评价意义不大,需要采用代价指标和ROC曲线分析来评价。传统的分类器对不平衡问题分类性能很差,利用AdaBoost算法在机器学习中对样本权重的调整,将不平衡的错分代价加入到样本权重,使分类器更多关注重要的少数样本类,可以提高不平衡类分布下多分类性能。模拟试验也表明了该方案的有效性。     

改进的超限学习机及其在不平衡数据中的应用

超限学习机(ELM)作为一种简单高效的学习算法被广泛应用于分类和拟合问题中.但是ELM在训练过程中逼近所有的样本容易造成过拟合,并且单个的ELM在不平衡数据分类上效果欠佳.因此,本文提出了一种新的基于分层交叉验证的集成超限学习机,该算法在训练阶段将集成学习和分层交叉验证相结合:①集成学习通过将若干个网络组合大大提高分类性能;②分层交叉验证最大程度学习样本的分布特点.基于KEEL数据库的不平衡数据分类问题的实验表明,新提出的算法更加稳定并且有更高的分类性能.     

基于双空间特征提取的变压器故障诊断模型

为了提高基于油中溶解气体分析(dissolved gas analysis, DGA)的变压器故障诊断正确率，弥补单子空间特征提取的局限性，提出了基于双子空间特征提取的变压器故障分层诊断模型.首先，将DGA测试样本在一个子空间内进行特征提取后，为避免核函数及其参数的选择难题，以及利用多核支持向量机(multiple-kernel support vector machine, MKSVM)鲁棒性强和精度高的特点，采用MKSVM作为分类器对测试样本进行预测.依据预测结果将测试样本分为难分类和易分类样本，对易分类样本直接进行分类识别；对难分类样本则将该样本再次投影到另一子空间进行特征提取后，同样采用MKSVM作为分类器对难分类样本进行预测，综合两次预测结果进行分类识别，实现两分类MKSVM的双子空间特征提取算法.最后，根据故障特征，建立基于双子空间特征提取算法的变压器故障分层诊断模型.诊断实例表明，该模型具有较高的诊断正确率和推广能力.     

基于分类面拼接的快速模块化支持向量机研究

针对大多数现有的机器学习算法处理大规模问题时需要的训练时间很长和存储空间很大的难点,提出了基于分类面拼接的快速模块化支持向量机算法(psfm-SVMs).在训练阶段,psfm-SVMs采用一簇平行超平面对大规模问题实施软划分,然后针对每个子问题并行训练支持向量机.在测试阶段,测试样本坐落于哪个子问题所在空间中,就由该子问题训练的支持向量机给出判别结果.在4个大规模问题上的实验表明:与采取硬划分的快速模块化支持向量机(fm-SVMs)相比,软划分能够使psfm-SVMs得到更加光滑的分类面,因而psfm-SVMs的泛化能力较高.在不增加训练时间的条件下,psfm-SVMs减少了由于训练集分割导致的分类器泛化能力下降.     

基于蚁群优化的选择性集成数据流分类方法

基于集成学习的数据流分类问题已成为当前研究热点之一,而集成学习存在集成规模大、训练时间长、时空复杂度高等不足,为此提出了一种基于蚁群优化的选择性集成数据流分类方法,用蚁群优化算法挑选出优秀的基分类器来构建集成分类模型。该方法首先对所有基分类器采用交叉验证计算分类精度,同时采用Gower相似系数求出基分类器之间的差异性,然后把分类精度和分类器差异性作为分类器挑选标准,从全部基分类器中选出一部分来构建集成模型,最终挑选的基分类器不仅具有良好的分类精度,同时保持一定差异性。在标准仿真数据集上对构建的集成分类模型进行仿真试验,结果表明,该方法与传统集成方法相比在准确率和稳定性方面均有显著提高。     

一种增量式贝叶斯分类的算法

自动分类是数据挖掘和机器学习中非常重要的研究领域。针对难以获得大量有类标签的训练集问题,提出了基于小规模训练集的增量式贝叶斯Bayes分类,给出增量式Bayes分类机理参数计算及其算法。对算法分两种情况处理,第一种情况是新增样本有类别标签,利用现有分类器检验其类标签,如果匹配则保留当前分类器,否则利用新样本修正分类器;第二种情况是新增样本无类别标签,则利用现有分类器为其训练类标签,然后利用新样本来修正分类器。试验结果表明,该算法是可行有效的,比Naive Bayes分类算法有更高的精度。增量式Bayes分类算法的提出为分类器的更新提供了一条新途径。     

基于混合样本训练的并行层叠支持向量机研究

层叠支持向量机将原始数据集随机划分为多个子集,对数据子集采取并行训练,可以有效提高分类器的训练效率。但其在将原始数据随机划分为多个训练子集时,可能会给各并行节点带来文本信息结构的不均衡,进而影响分类器的最终分类效果。提出了一种基于混合样本训练子分类器的训练模型,实验表明,基于混合样本训练的层叠支持向量机,可以较好地解决训练样本信息结构不均衡问题,保证层叠训练得到的分类器具有较好的精确度和稳定性。     

基于改进模糊聚类的烟草品质集成评价模型

针对烟草化学成分与烟草品质之间难以建立确定的数学模型的问题,提出了一种基于改进模糊聚类的烟草品质评价方法。该方法以烟叶样品的化学成分的差异性为依据,以模型分类结果与专家评吸结果的一致性为目标,利用模拟退火算法对现有的模糊聚类算法进行优化改进,建立基分类器;在此基础上,利用Ada Boost将基分类器对于不同样本集的多个分类结果进行集成,形成最终的烟草品质评价模型。以130组烟叶作为烟草样本,测定了各烟叶样品中总糖、还原糖、总氮、烟碱、氧化钾、氯离子、蛋白质7种化学成分含量,并采用改进的模糊聚类方法与神经网络算法、模糊聚类算法进行对比试验,该方法的误检率为6.7%,具有提升小样本数据的辨识能力,优于所比较的其他2种方法。     

基于β因子的支持向量机增量学习算法

提出了一种基于β因子历史样本淘汰机制的在线学习算法.对UCI标准数据集中的部分样本集的测试结果表明:该机制有效地淘汰了一些样本,在保持了分类精度和泛化能力的情况下,大大加快了增量学习的训练速度.     

基于支持向量机和人工免疫的新结合算法

为了减少大规模数据的支持向量机的样本训练时间，提出了人工免疫（aiNet）和支持向量机（SVM）相结合的算法（ai—SVM）。aiNet能在进行样本压缩的同时抽取原始数据的相关信息并保持原始数据的样本分布。压缩后的样本组成了抗体网络，并在此抗体网络上构建了支持向量机模型。最后结合实际数据样本对ai—SVM算法进行了验证。结果表明，ai-SVM算法可大大减小训练样本集和训练代价，且不降低精度。     

基于模糊c-均值聚类的SVC迭代训练算法

针对支撑向量机（Support vector machine,SVM）在大规模数据的问题,提出了一种基于模糊c-均值聚类样本选择策略的SVC（SVM for classification）迭代训练算法,从样本抽取、迭代训练两个方面进行了改进,并在多个较大规模UCI标准测试集上进行了试验.结果表明,所提出的迭代训练算法收敛快,在保证学习精度的同时使训练速度加倍、支撑向量减少一半.     

基于支持向量机的小麦条锈病和叶锈病图像识别

为了解决生产中小麦条锈病和叶锈病症状难以区分的问题,提高识别率和精度,提出了一种基于支持向量机和多特征参数的小麦条锈病和叶锈病图像分类识别方法。利用图像裁剪方法获取典型症状的子图像,采用中值滤波算法对图像进行去噪,利用K_means硬聚类算法实现病斑分割,提取病斑区域的形状、颜色和纹理特征空间的50个特征参数,设计支持向量机分类器进行分类识别。根据优选的26个特征参数,利用以径向基函数作为核函数的支持向量机对这2种小麦锈病图像进行识别。结果表明:训练样本识别率均为96.67%,测试样本识别率均为100%;与其他核函数相比,径向基核函数最适合于这2种小麦锈病的识别。所提出的基于支持向量机的方法可有效地进行小麦条锈病和叶锈病的图像识别。     

基于Landsat 8遥感影像的地上生物量模型反演研究

以吉林省延边朝鲜族自治州汪清县的主要针叶纯林树种为研究对象,结合Landsat 8 OLI数据和地面调查数据,通过提取半径为15 m圆形样地林分尺度下的遥感特征变量实现对地上生物量的估算。首先提取128块样地内的34个遥感特征,其次采用随机森林特征重要性分析遥感特征的贡献率,再利用BP神经网络算法的2种训练算法、SVM支持向量机的3种核函数构建地上生物量模型,最后利用32个测试样本评价模型的估算精度。结果表明,BP神经网络的L-M训练算法和贝叶斯正则化训练算法的R²分别为0.602 9、0.672 1,RMSE分别为5.096 9、4.263 7,MAE分别为4.166 9、3.211 8;SVM支持向量机的线性核函数、RBF核函数、多项式核函数的R²分别为0.585 8、0.561 9、0.487 7,RMSE分别为5.859 4、5.600 9、5.763 7,MAE分别为4.24、3.89、4.176。以贝叶斯正则化训练算法构建地上生物量模型的估测精度最佳;BP神经网络算法比SVM向量机更适用于本研究;同一种机器学习算法不同的训练函数存在差异性。     

基于特征提取的飞机结冰严重程度识别

飞机结冰会影响飞机飞行的各项性能指标,严重威胁飞行安全,但是飞机的结冰信息难以全面获取,因此提出一种基于特征和支持向量机的飞机结冰严重状态分类的算法。获取多个结冰传感器的信息构成测量向量并提取其特征,采用主要飞行参数构造飞机结冰严重状态特征空间,并建立多个支持向量机进行飞机结冰状况分类。该方法建立测量向量与飞机结冰严重状态之间的联系,能对飞机空中结冰严重程度作出较好的识别。     

一种用于RBF神经网络的支持向量机与BP的混合学习算法

基于支持向量机与径向基(RBF)神经网络在结构上的相似性，提出了一种用于RBF网络的支持向量机与BP的混合学习算法．算法分为2步：首先采用序贯最小优化算法学习训练支持向量机，得到RBF网络较优的初始结构和参数；随后由BP算法调整优化RBF网络参数．混合学习算法结合了支持向量机小样本学习、学习训练快捷以及BP算法在线修改网络参数的特点．仿真研究表明，混合学习算法学习效率高，网络性能优良，应用于函数逼近时效果优良．     

基于迁移学习的竹片缺陷识别

使用竹片图像实现竹片缺陷自动识别，目前深度学习可以有效地解决该类问题，但是必须使用大量样本数据做训练才能获得较高的识别准确率。当图像数量有限时，利用基于迁移学习的方法，把经过预训练的卷积神经网络模型进行迁移，即共享卷积层和池化层的权重参数，调整新网络模型的超参数，并建立一个包含4种共计6 360张竹片缺陷图像的数据库，把图片分成4种训练集测试集形式，即80%训练、20%测试；60%训练、40%测试；40%训练、60%测试；20%训练、80%测试，分别利用支持向量机SVM分类方法、深度学习方法和迁移学习方法进行训练和测试，并将这3种方法作对比。最后，通过构建竹片缺陷识别的混淆矩阵对迁移学习进行具体分析与说明。结果表明，按照80%训练、20%测试的识别准确率最高，通过迁移学习得到的竹片缺陷最高识别精度分别达到98.97%，比普通深度学习提高了11.55% ，比SVM分类方法提高了13.04%。说明迁移学习比普通深度学习和传统支持向量机SVM分类方法更适合用于小样本数据集的分类识别，并且效果优于普通深度学习和 SVM 分类方法。     

基于支持向量机优化粒子群算法的作物生育期ET_0预测

ET0是计算作物需水量、进行农田灌溉管理及区域水资源优化配置的重要依据。为了提高ET0的预测精度,将粒子群(particle swarm optimization,PSO)算法引入到ET0预测中,并用支持向量回归机(support vector machine,SVM)优化参数。PSO-SVM将最高气温、最低气温、相对湿度、平均风速与日照时数输入到SVM中学习,将SVM参数作为PSO中的粒子,把ET0值作为PSO的目标函数,然后通过粒子之间相互协作得到SVM最优参数,对ET0进行预测,并采用PM模型计算值验证。该文以新疆喀什地区为例,通过采用粒子群耦合支持向量机(PSO-SVM)算法训练得到模型,并用10组数据进行预测;最后引用BP神经网络算法和PSO-SVM算法进行了对比,其结果表明,PSO-SVM算法预测准确率较高,预测值与实测值间相关系数达0.682,平均相对误差为3.19%。     

基于支持向量机优化粒子群算法的作物生育期ET0预测

ET0是计算作物需水量、进行农田灌溉管理及区域水资源优化配置的重要依据。为了提高ET0的预测精度,将粒子群（particle swarm optimization,PSO）算法引入到ET0预测中,并用支持向量回归机（support vector machine,SVM）优化参数。PSO-SVM将最高气温、最低气温、相对湿度、平均风速与日照时数输入到SVM中学习,将SVM参数作为PSO中的粒子,把ET0值作为PSO的目标函数,然后通过粒子之间相互协作得到SVM最优参数,对ET0进行预测,并采用PM模型计算值验证。该文以新疆喀什地区为例,通过采用粒子群耦合支持向量机（PSO-SVM）算法训练得到模型,并用10组数据进行预测;最后引用BP神经网络算法和PSO-SVM 算法进行了对比,其结果表明, PSO-SVM算法预测准确率较高,预测值与实测值间相关系数达0.682,平均相对误差为3.19%。     

改进的图半监督支持向量机用于P2P网络流识别

对于机器学习在P2P网络流识别中需要大量标记训练数据的问题，提出一种基于改进图半监督支持向量机的P2P流识别方法。采用自动调节的高斯核函数计算少量标识数据和大量未标识训练样本之间的相似距离以构建图模型，并在标记传播过程中嵌入训练样本局部分布信息以获取未标记样本的标识；在此基础上使用所有已标记样本对SVM训练实现P2P网络流识别。实验结果表明该方法能够兼顾整个训练样本集的信息，在提高SVM识别精度的同时，极大降低了人工标记训练样本的成本。