马氏距离与浓度残差剔除近红外异常样品研究

以新疆南疆灰枣为研究对象,采用马氏距离法对近红外校正集中异常光谱样品进行剔除,并运用浓度残差法对异常化学值样品进行剔除,从校正集中的100个红枣样品剔除了1个异常光谱样品和23个异常化学值样品,用剩下的76个样品建立红枣水分校正模型,并对预测集的51个红枣样品进行预测分析,用预测相关系数(RP)、预测标准偏差(SEP)、平均相对误差(Er)来作为评价指标。结果表明:RP为0.9258,RMSEP为1.6197,Er为0.0333,与剔除前校正集所建模型相比,模型的稳定性和预测精度得到显著的提高。     

基于高光谱技术的采摘期烟叶水分含量研究

烟叶含水量的快速检测在烟草种植业中起着关键的作用,检测采摘期烟叶水分含量,对烟草工艺具有重要意义。为了快速、无损地检测采摘期烟叶水分含量,提出一种主成分分析(PCA)结合马氏距离算法(MD)的方法来剔除异常样本,再使用偏最小二乘法(PLS)估测采摘期烟叶水分含量。首先,利用GaiaSky-mini2机载高光谱成像仪获取到141个采摘期烟叶的高光谱数据,采用多元散射校正(MSC)、标准正态变量交换(SNV)和Savitzky-Golay卷积平滑法等对原始光谱进行预处理。然后,应用主成分分析结合马氏距离法对校正集中的异常样品进行剔除。最后,使用偏最小二乘法(PLS)建立采摘期烟叶水分含量分析模型。结果表明:利用SG卷积平滑法预处理的PCA-MD-PLS模型效果最佳,对烟叶含水量预测能力最好,预测模型相关系数为0.852 7,均方差为1.376 6。     

苹果内部品质近红外光谱检测的异常样本分析

应用声光可调谐滤光器近红外光谱仪检测苹果内部品质(可溶性固形物含量、总糖、总酸和硬度)时,综合利用Cook距离、马氏距离、杠杆值和学生化残差,判断疑似异常样本点,然后用二审剔除判别法确定异常样本点.最终可溶性固形物含量、总糖、总酸模型都剔除了11个异常样本,硬度模型剔除了6个异常样本.其偏最小二乘回归模型的相关系数分别从0.868、0.791、0.443、0.693提高到0.904、0.849、0.501、0.718,校正误差均方根(RMSEC)分别从0.882 °Brix、9.213 g/L、0.805 g/L、0.105 MPa降低到0.733 °Brix、7.300 g/L、0.687 g/L、0.097 MPa.所建的苹果各品质模型更加稳定,准确度更高.     

近红外多组分分析中异常样本识别方法

近红外光谱分析中,异常样本的存在严重影响定标模型的预测性能和适配性。基于 X / Y 联合的ODXY异常样本识别和剔除方法,提出并证明了一种专用于多组分分析的MODXY异常样本识别方法。实验采用80组玉米近红外光谱数据,利用不同异常样本识别方法剔除异常样本后建立玉米含水率、含油率、蛋白质含量和淀粉含量4种组分的偏最小二乘预测模型,采用预测均方差和决定系数作为评价指标比较所建模型的性能,检验MODXY方法在多组分分析中的异常样本识别能力。实验结果表明：在近红外多组分分析中,MODXY方法在大多数情况下具有更好的异常样本识别能力;MODXY方法和ODXY方法均有一定的适用范围,它们更适合于相应组分化学值的相对标准偏差较大的情况。     

近红外光谱分析中定标集样品挑选方法研究

介绍了目前常见的几种定标集样品挑选方法：含量梯度法、Duplex法和Kennard-Stone法,并提出了新的挑选方法：GN距离法.该方法以全局距离来界定定标集样品范围,以邻域距离来剔除相似样品,根据不同的全局和邻域距离组合挑选出定标集样品建模,根据计算所得最小交叉验证误差SECV来确定最合理的定标集样品.通过实例,讨论比较了上述4种方法优缺点.结果表明：GN距离法能够在保持原始样品集覆盖范围的基础上,适量剔除异常样品,GN距离法挑选出的定标集所建模型具有较低的模型复杂度、较高的相关系数和较好的模型预测能力.     

土壤有机质含量田间实时测定方法

为了实现对土壤有机质含量的快速测定,以关中塿土为材料,研究基于光谱分析的土壤有机质含量测定方法。首先用机载便携式近红外频谱仪采集土壤样本在波长900~1 700 nm范围的漫反射光谱,并对异常样本进行判别和剔除以提高建模精度,在比较2种不同样本划分方法对模型影响的基础上,用连续投影算法(SPA)对建模变量进行最优波长选择,然后通过3种线性建模方法对有机质含量预测结果进行分析,探明偏最小二乘法(PLS)方法效果最好,并建立了径向基(RBF)神经网络预测模型。测试集样本实验结果表明,用PLS建立的预测模型有机质含量测定值和预测值之间的决定系数为0.801 9,均方根误差为0.179 4;用RBF神经网络建模的决定系数和均方根误差分别为0.828 1和0.164 6,两种模型均具有较高的精度,可对有机质含量进行快速预测。     

近红外光谱建模异常样品剔除准则与方法

介绍了近红外光谱PCR／PLS建模时，训练集中异常样品的危害，以及剔除异常样品常用的基于预测浓度残差准则。针对剔除异常样品的“一审”法具有将非异常样品错误地当作异常样品的局限性，提出了一种“二审”法，采用“回收”算子，使最终模型保留了更多的样品，使模型更具有代表性和稳定性，进一步提高通过近红外光谱模型进行农产品品质检测的精度。     

基于CARS-PLS的食用油脂肪酸近红外定量分析模型优化

采用CARS波长变量挑选方法优化建模,对食用油中4种主要脂肪酸（棕榈酸、硬脂酸、油酸和亚油酸）进行近红外定量分析。应用预测浓度残差法剔除奇异样本后,对样品集光谱进行标准化预处理,通过CARS优选出的波长变量分别建立4种脂肪酸的偏最小二乘法（PLS）模型。与采用OPUS软件自动优化建模相比,CARS法所建模型的决定系数（R2）、交叉校验均方根误差(RMSECV)和预测均方根误差(RMSEP)都优于后者所建模型。CARS法有效地简化了模型,且所挑选出的特征波长较少。     

纯牛奶中还原奶的近红外检测判别分析

探讨了近红外光谱技术结合化学计量学算法对纯牛奶中是否掺入还原奶鉴别的可行性.考察了马氏距离判别分析和仿生模式识别方法在还原奶检测中的适用性.结果表明:利用马氏距离判别分析方法鉴别,正确判别率为87.5%;利用仿生模式识别方法鉴别,正确判别率为98.3%.由此方法说明:近红外技术可以实现对纯牛奶中是否含有还原奶进行快速鉴别;采用仿生模式识别比马氏距离判别分析法鉴别效果更好.     

基于近红外傅里叶特征提取方法的土壤含水率检测

以湖北地区的3种土壤为研究对象,利用偏最小二乘法建立了处理后样品的土壤含水率分析模型,模型预测值与标准值的决定系数为0.995,交叉验证预测均方差为0.801%,模型预测决定系数为0.992,预测均方差为0.912%,利用该模型预测黄土高原地区黄绵土含水率误差均大于4%.利用近红外光谱傅里叶变换特征提取方法对湖北地区黄棕壤、稻田土和潮土建立土壤含水率PLS预测模型,模型决定系数为0.988,交叉验证预测均方差为1.106%,且该模型预测黄绵土的误差均在2%左右,精度较传统模型有较大提高.     

土壤速效磷含量近红外光谱田间快速测定方法

为实现对土壤速效磷含量的快速测定,以关中塿土为材料,研究基于光谱分析的土壤速效磷含量测定方法。首先用便携式近红外频谱仪在不同采样高度下,采集土壤样本900~1 700 nm波长范围的漫反射光谱,采用3倍标准差准则和主成分分析得分图对异常样本进行判别和剔除,然后对比分析4种波长选择方法对建模效果的影响,发现基于稳定的竞争性自适应加权抽样法的结果最佳,最后通过分析不同非线性建模方法对预测结果影响实验,探明最小二乘支持向量机方法的预测结果最好。实验结果表明,采样高度为10 cm时本文建立模型的土壤速效磷含量预测决定系数为0.858 1,均方根误差为10.880 1,具有较高的精度,可对土壤速效磷含量进行快速预测。     

基于优化模糊神经网络权值的大豆虫害诊断

采用模糊神经网络应用于大豆虫害快速识别方法。首先选择我国北方地区具有代表性的食心虫等7种虫害作为输出,用数字化特征表示。依据危害方式、危害症状等8种性状对182个大豆虫害样品进行诊断,选择1 3 6个样本作为训练集,选择4 6个样本作为预测集。首先使用AHP层次分析法对权值进行调整;其次,依据最优参数分别建立BP神经网络和模糊神经网络模型。实验结果表明:选择模糊神经网络进行模型建立,共预测对4 4个样本,判定识别率高达9 5%,证明了模糊神经网络进行大豆虫害判别是可行的。     

基于近红外无损快速检测淀粉品质的研究

实验选择最优的光谱预处理方法和光谱范围,运用近红外光谱分析中的聚类分析法和偏最小二乘法(PLS)分别进行了定性和定量分析研究。结果表明,采用聚类分析法可准确地将样品分为两类,同时采用预测集的样品验证所建模型的准确性,预测准确率达90%以上。采用偏最小二乘法(PLS)所建的定量分析模型的相关性较高,预测相关系数和预测均方根误差均符合要求。     

基于近红外光谱和系统聚类法的样品分类方法研究

近红外校正模型中样品的变异范围,会导致模型的预测能力下降.为此,将系统聚类法与统计量(R2统计量,半偏相关统计量SPRSQ,伪F统计量PSF,伪t2统计量PST2)相结合,指导分类建模,减小建模集的变异范围.实例表明,该方法克服了系统聚类分析中无法确定聚类数目的问题,并能剔除部分异常样品,提高了校正模型的可靠性和预测能力.     

基于人工嗅觉系统的土壤有机质检测方法研究

为了实现土壤有机质快速、准确的测量,提出了一种基于人工嗅觉的土壤有机质含量检测方法。首先,由不同温度控制的10个气体传感器所构成的阵列对土壤样品气体进行采集;然后,提取每个传感器响应曲线上的7个特征(包括最大值、最小值、平均值、平均微分系数、响应面积、第30秒的瞬态值和第60秒的瞬态值),构建嗅觉特征空间;对特征空间优化后,采用回归算法建立预测模型。为减小不同测定算法、异常样本以及冗余特征对模型预测性能的影响,在应用蒙特卡罗抽样(Monte Carlo sampling,MCS)法剔除异常样本的基础上,采用主成分分析(Principal component analysis,PCA)法对特征空间进行降维处理,评估了包括偏最小二乘法回归(Partial least square regression,PLSR)、支持向量机回归(Support vector machine regression,SVR)和BP神经网络(Back propagation neural network,BPNN)等3种建模方法对土壤有机质含量的预测性能,选用决定系数R2、均方根误差(RMSE)和预测偏差比(RPD)评价各模型的预测性能。测试集验证结果表明,PLSR、SVR和BPNN这3种模型的预测值和样本的观测值之间的R2分别为0. 86、0. 91和0. 85,RMSE分别为2. 49、2. 05、2. 68 g/kg,RPD分别为2. 49、3. 02和2. 32。SVR模型的预测性能高于PLSR模型和BPNN模型,可对土壤有机质含量进行准确预测。     

富士苹果采收成熟度光谱无损预测模型对比分析

针对苹果采收成熟度不一,导致果品贮藏品质不佳、病害率高等问题,基于可见/近红外光谱和成熟度评价指数建立快速无损判别采收成熟度的分类模型。根据盛花期后的发育时间,采集了3种成熟阶段（八成熟、九成熟和十成熟）样品的光谱信息。光谱预处理后通过“二审”回收算子法剔除异常样本,随机蛙跳（RF）算法提取特征变量,建立成熟度评价指数SIQI和综合评价指标FQI的偏最小二乘（PLSR）模型,SIQI指数和FQI指数的预测相关系数R为0.938和0.917。建立极限学习机（ELM）和支持向量回归（SVR）分类模型,并与2种成熟度评价指数结合SVR建立的分类结果进行比较。对比4种分类结果发现,基于SIQI+SVR构建的分类结果最好,优于直接分类模型,分类准确率为 85.71%。试验结果表明,可见/近红外光谱结合成熟度评价指数可实现苹果成熟度分类,为后续采收成熟度的无损检测设备研发提供理论参考。     

鲁棒回归在水工建筑物安全监控模型建立中的应用

建立水工建筑物安全监控模型是预测和控制大坝的运行、避免重大事故发生的不可或缺的重要手段,而大坝安全监测数据中经常出现的异常值对监测模型的稳定性和精度产生较大影响,针对这个异常值问题,采用鲁棒回归方法,有效地剔除或削弱了监测数据中的异常值的影响,实例分析表明:在监测数据中含有异常数据的情况下,基于鲁棒回归的大坝安全监测模型的稳定性和预测效果能够得到保证。     

基于机器视觉的鸡胴体质量分级方法

提出一种基于机器视觉技术的鸡胴体质量分级方法。使用数码相机在肉鸡屠宰厂随机采集95幅鸡胴体图像,对采集图像预处理后,提取出鸡胴体投影面积、轮廓长度和胸宽等6个图像特征。然后以这6个特征参数为输入,利用95个样本为训练集,通过回归分析的方法,分别建立预测鸡胴体质量的一元线性回归模型和多元线性回归模型,找出预测质量的最佳模型,最后采集5组共100个样本为验证集,对最佳分级模型进行验证。结果显示,鸡胴体图像的6个特征参数中,基于投影面积的一元线性模型决定系数最大,为0.827;基于投影面积等4个特征量的多元线性模型决定系数最大,为0.880。根据样本数据的学生化残差剔除了8个异常点的数据,修正后的多元线性模型决定系数为0.933,并将其作为最佳模型。利用最佳模型对验证集样本进行质量分级,模型对鸡胴体质量等级判定的平均正确率可达89%。结果表明基于图像特征的鸡胴体自动分级方法是可行的。     

鲁棒回归在水工建筑物安全监控模

建立水工建筑物安全监控模型是预测和控制大坝的运行、避免重大事故发生的不可或缺的重要手段，而大坝安全监测数据中经常出现的异常值对监测模型的稳定性和精度产生较大影响，针对这个异常值问题，采用鲁棒回归方法，有效地剔除或削弱了监测数据中的异常值的影响，实例分析表明：在监测数据中含有异常数据的情况下，基于鲁棒回归的大坝安全监测模型的稳定性和预测效果能够得到保证。     

基于近红外光谱的微量成分(毒死蜱)检测技术研究

基于近红外光谱方法对测定溶液中微量毒死蜱的应用情况进行了研究,选择了两组不同背景的液体样本,对混合溶液中的有机磷农药应用近红外光谱法进行微量检测。选取溶液光谱的有效谱段,采用二阶导数＋17点平滑和一阶导数＋21点平滑预处理方法和最小二乘定量分析方法,对样品进行定量分析。结果表明,在两种背景下,近红外光谱法对分析混合溶液中的毒死蜱含量在3～10mg／kg之间的溶液样本取得了良好的测量效果。