小波变换耦合CARS算法提高土壤水分含量高光谱反演精度

为实现干旱地区土壤水分含量(soil moisture content,SMC)的快速监测,该文以渭干河-库车河绿洲为靶区,采用小波变换(wavelet transform,WT)对反射光谱进行1～8层小波分解,通过相关性分析确定最大分解层数,再通过竞争性自适应重加权(competitive adaptive reweighted sampling,CARS)滤除冗余变量,筛选出与SMC相关性较好的波长变量,并叠加各层特征光谱的优选波长变量作为最优变量集,用偏最小二乘回归(partial least squares regression,PLSR)构建土壤水分含量预测模型并进行分析.结果显示:1)小波分解过程中,土壤反射率与SMC的相关性不断增强,到小波变换第6层分解(L6)处达到最高,因此小波变换最大分解层数为6层分解;2)通过对土样进行WT-CARS耦合算法筛选出变量,得出的最优变量集包括400～500、1 320～1 461、1 851～1 961、2 125～2 268 nm区域之间共131个波长变量;3)相对于全波段预测模型,各层特征光谱的CARS优选变量预测模型的精度均高,并且基于最优变量集的预测模型的精度最高,该模型的建模集均方根误差0.021、建模集决定系数0.721、预测集均方根误差0.028、预测集决定系数0.924、相对分析误差2.607.说明WT-CARS耦合算法使其在建立模型时尽可能少地损失光谱细节、较为彻底的去除噪声,同时还能对无信息变量进行有效去除,为该研究区SMC的预测提供新的思路.     

高光谱估算土壤有机质含量的波长变量筛选方法

土壤高光谱数据量大、波段维数高,存在光谱信息无效、冗余和重叠现象,导致基于全波段构建的土壤有机质含量反演模型不稳定、精度难以提升。因此,探寻筛选关键波长变量的方法,通过滤除干扰、冗余、共线信息,提高模型预测性能,是目前土壤高光谱研究的热点之一。该文对江汉平原公安县的土壤样本进行室内理化分析、光谱测量与处理等工作获取了实证数据,采用无信息变量消除法(uninformative variables elimination,UVE)剔除无效变量,利用竞争性自适应重加权算法(competitive adaptive reweighted sampling,CARS)滤除冗余变量,运用连续投影算法(successive projections algorithm,SPA)消除共线变量,并尝试将不同类型的筛选方法进行耦合筛选关键波长变量,应用偏最小二乘回归(partial least squares regression,PLSR)分别建立土壤有机质含量估算模型,对比各种变量筛选方法的优缺点,最终,构建筛选土壤高光谱数据关键变量的方法体系。研究结果表明,除SPA方法的模型精度低于全波段外,其他6种变量筛选方法的建模效果均优于全波段;在3种单个变量筛选方法中,CARS方法优于UVE、SPA变量筛选方法,能有效地筛选出重要波长变量,其预测集相对分析误差RPD值为2.84;综合比较各种变量筛选方法,发现CARS-SPA方法从全波段2 001个波长中筛选出37个特征波长建立的土壤有机质含量的PLSR模型效果最好,其模型预测集的决定系数R2和相对分析误差RPD值分别为0.92、3.60,所选波段仅为全波段的1.85%。CARS-SPA-PLSR模型简单、预测效果好,可作为该区域土壤有机质含量估测的重要方法,对今后土壤近地传感器设备的开发具有一定的指导作用。     

基于高光谱成像技术的青贮玉米饲料pH值无损检测

为实现青贮玉米饲料pH值的快速、无损检测,该研究采用高光谱成像技术建立不同品质青贮玉米饲料pH值的定量检测模型。采集青贮玉米饲料样本936～2 539nm的平均光谱,采用6种预处理方法对青贮玉米饲料平均光谱进行处理,通过建立偏最小二乘回归（partialleastsquaresregression,PLSR）模型得出多元散射校正（multiplicativescatter correction,MSC）和卷积平滑（savitzky-golay,SG）两种预处理方法效果较好,使用竞争性自适应重加权算法（competitive adaptive reweighted sampling,CARS）、变量组合集群分析算法（variable combination population analysis,VCPA）以及迭代保留信息变量（iteratively retains informative variables,IRIV）算法对经MSC和SG卷积平滑预处理光谱进行特征波长提取,利用PLSR和极限学习机（extreme learning machines,ELM）分别建立饲料全波段、特征波长...     

基于偏最小二乘回归的土壤有机质含量高光谱估算

为实现基于光谱分析土壤有机质含量的快速测定,该文以江汉平原公安县的土壤为研究对象,进行室内理化分析、光谱测量与处理等一系列工作,在土壤原始光谱反射率(raw spectral reflectance,R)的基础上,提取了其倒数之对数(inverse-log reflectance,LR)、一阶微分(first order differential reflectance,FDR)和连续统去除(continuum removal,CR)3种光谱指标,分析4种不同形式的光谱指标与有机质含量的相关性,对相关系数进行P=0.01水平上的显著性检验来确定显著性波段的范围,并基于全波段(400~2 400 nm)和显著性波段运用偏最小二乘回归(partial least squares regression,PLSR)建立了该区域土壤有机质高光谱的预测模型,通过模型精度的比较确定最优模型。结果表明,进行CR变换后,光谱曲线的特征吸收带更加明显,相关系数在可见光波段范围内有所提高;基于全波段的PLSR建模效果要优于显著性波段,其中以CR的预测精度最为突出,其模型的决定系数R2和相对分析误差RPD分别为0.84、2.58;显著性波段的PLSR模型与全波段对比在模型精度方面虽有一定差距,但从模型的复杂程度来比较,具有模型简单、运算量小、变量更少的特点;最后,综合比较了全波段和显著性波段4种光谱指标的反演精度,发现CR-PLSR模型的建模和预测的效果比R-PLSR、LR-PLSR、FDR-PLSR模型都要显著。该研究可为将CR-PLSR高光谱反演模型用于该区域土肥信息的遥感监测提供参考。     

金银花贮藏过程中绿原酸含量的高光谱无损检测模型研究

绿原酸(chlorogenicacid,CGA)是评价金银花品质的重要指标。为了实现金银花贮藏期间CGA含量变化的快速有效检测,该文采集了500个不同贮藏时间(0～20d)的金银花高光谱图像,构建CGA含量的高光谱检测模型。为了提高模型性能,采用savizky-golay卷积平滑(SG),移动窗口平滑(moving average),标准正态变量(standard normal variable,SNV),基线校正(baseline correction,BC),多元散射校正(multiplicative scatter correction,MSC),正交信号校正(orthogonal signal correction,OSC)6种预处理方法并建立偏最小二乘回归(partial least squares regression,PLSR)模型,确定SNV方法为最佳预处理方法,其预测集的R2为0.976 6,RMSE为0.271 1%。为了简化校准模型,利用无信息变量消除(uninformative variable elimination,UVE),连续投影算法(successive projections algorithm,SPA),竞争性自适应加权算法(competitive adaptive reweighted sampling,CARS)以及UVE-CARS、UVE-SPA等方法对SNV预处理后的光谱提取特征波长。然后,分别基于全光谱数据和所选特征变量数据,建立线性偏最小二乘回归(PLSR)和非线性BP神经网络模型。结果表明:UVE-CARS算法可以有效地减少提取变量个数(共提取26个,仅占全光谱范围的3.2%),PLSR和BP模型的预测集R2分别为0.974 6和0.978 4,RMSE分别为0.286 3%和0.250 3%。非线性BP模型预测结果整体优于线性PLSR模型,在BP模型中,UVE-CARS-BP预测精度最高,预测集的R2和RMSE的值分别为0.978 4, 0.250 3%。综上,基于高光谱成像技术建立的SNV-UVE-CARS-BP模型,可以实现金银花贮藏过程中CGA含量变化的快速无损预测。     

基于机器学习算法的湖滨绿洲土壤电导率高光谱估算模型

  目的  为湖滨绿洲土壤高光谱估算土壤电导率值提供方法支持,实现区域土壤盐分快速估测。  方法  利用实测的土壤电导率值与土壤高光谱数据联合分析,采用竞争自适应重加权采样（CARS）、连续投影算法（SPA）、遗传算法（GA）筛选土壤电导率的特征波段,并基于全波段及特征波段构建BP神经网络（BPNN）、支持向量机（SVM）、极限学习机（ELM）三种机器学习算法模型,引入偏最小二乘模型（PLSR）进行对照,比较其模型精度。  结果  研究区土壤电导率值变化范围0.02～17.22 mS cm?1,平均值为2.61 mS cm?1,变异系数为134.87%,呈现强变异性;CARS、SPA、GA算法筛选的特征波段将建模输入量分别压缩至全波段数量的0.87%、1.68%、0.70%,减少建模输入量,提升建模速率,变量方法的选择CARS > SPA > GA;三种机器学习算法模型均优于PLSR模型,决定系数（R2）平均增加20.57%,相对分析误差（RPD）平均增加17.84%,土壤电导率高光谱估算模型以CARS-SVM最优,训练集与验证集R2分别为0.76和0.75,RMSE分别为1.79 和1.68 mS cm?1,RPD分别为2.04和2.00。土层深度20 ~ 30 cm的土壤电导率高光谱估算模型精度最高,训练集与验证集R2分别为0.83和0.84,RMSE分别1.37和1.77 mS cm?1,RPD分别为2.41和2.50。  结论  基于CARS-SVM的土壤电导率高光谱估算模型精度高,估算能力最优,可以为湖滨绿洲土壤电导率估算提供科学参考。     

基于高光谱的油麦菜叶片水分CARS-ABC-SVR预测模型

为了实现油麦菜生长期间更合理的灌水管理,研究一种基于高光谱技术的精确、快速、有效检测油麦菜叶片水分的新方法。以5种不同水分胁迫水平的油麦菜为研究对象,通过高光谱成像系统获取高光谱图像并利用干燥法测量叶片含水率。采用多项式平滑(Savitzky-Golay,SG)结合标准变量变换(standard normalized variable,SNV)对高光谱数据去噪平滑。利用竞争性自适应加权算法(competitive adaptive reweighted sampling,CARS)进行特征波长选择,并与逐步回归分析(stepwise regression,SR)及连续投影算法(successive projections algorithm,SPA)进行比较,利用支持向量回归机(support vector regression,SVR)分别建立油麦菜叶片全光谱数据、3种特征光谱数据与干基含水率的关系模型。结果表明,基于竞争性自适应加权算法波长选择的支持向量回归模型(CARS-SVR)效果最佳,但预测精度尚不够理想,故引入人工蜂群算法(artificial bee colony,ABC)优化模型的参数惩罚因子和核参数。最终,经人工蜂群算法优化后的模型(CARS-ABC-SVR)的预测集决定系数R2和均方根误差RMSE分别为0.9214和2.95%。因此,利用高光谱技术结合CARS-ABC-SVR模型预测油麦菜叶片水分含量是可行的。     

基于CARS算法的不同类型土壤有机质高光谱预测

不同土壤类型的理化性质和光谱性质存在差异,以往研究多以高光谱反射率或光谱吸收特征建立模型,输入变量类型结构单一,往往导致土壤有机质(Soil Organic Matter,SOM)预测模型的精度不高。为提高SOM高光谱预测模型精度,该研究以黑龙江省海伦市为研究区,将不同类型土壤分别以竞争自适应重加权采样(Competitive Adaptive Reweighted Sampling,CARS)筛选的特征波段、数字高程模型(Digital Elevation Model,DEM)数据和光谱指数作为输入变量,结合随机森林(Random Forest,RF)算法建立SOM预测模型。结果表明:1)通过CARS算法筛选后,各土壤类型特征波段压缩至全波段数目的16%以下,在很大程度上降低土壤高光谱变量维度和计算复杂程度,从而提高了模型的预测能力,说明CARS算法在提取特征关键波段变量、优化模型结构方面起到重要作用;2)不同类型土壤的SOM预测精度存在差异,沼泽土的预测精度最高为0.768,性能与四分位间隔距离的比率(Ratio of Performance to InterQuartile distance,RPIQ)为3.568;黑土次之,草甸土的预测精度最低,仅0.674,RPIQ为1.848。3类土壤的RPIQ均达到1.8以上,模型具有较好的预测能力;3)局部回归预测精度最优,验证集的调整后决定系数为0.777,均方根误差(Root Mean Square Error,RMSE)为0.581%,模型验证RPIQ为2.689,模型稳定性高。该试验筛选的预测因子通过RF模型可实现SOM含量的快速预测,简化了传统复杂的程序,可为中尺度区域不同类型土壤的SOM预测提供依据,为输入量的选择提供参考。     

近红外光谱联合CARS-PLS-LDA的山茶油检测

为了寻找快速判别山茶油掺假的检测方法,本研究利用近红外光谱技术对掺杂大豆没油山茶油进行掺假检测研究.试验在350～1 800 nm波段范围内采集样本的透射光谱,利用CARS方法筛选重要的波长变量,应用偏最小二乘-线性判别分析(PLS-LDA)建立山茶油掺假的判别模型,并与未经变量优选的判别模型进行比较.结果表明,近红外光谱技术联合CARS-PLS-LDA方法可以有效判别纯山茶油和掺假山茶油,校正集、预测集及独立样本组样本的判别正确率、灵敏度及特异性均为100％.CARS-PLS-LDA判别模型性能优于未经变量优选的判别模型,表明CARS方法可以有效筛选重要波长变量,能简化判别模型及提高判别模型的稳定性和判别精度.本研究可为山茶油掺假快速检测提供理论依据.     

基于可见–近红外光谱的水稻土全磷反演研究

采用PLSR偏最小二乘法回归结合留一法交叉验证,利用长期定位试验田以及直湖港小流域面上的水稻土土壤样本建立最优模型,研究了不同光谱预处理方式对水稻土全磷可见-近红外高光谱反演精度的影响,探索水稻土全磷光谱反演的可行性;并结合简单相关系数法以及PLSR模型回归系数法分析了水稻土全磷光谱反演的重要波段。结果表明,光谱预处理方法对土壤全磷反演精度的影响不大;基于PLSR建立的水稻土全磷光谱反演模型的校正决定系数达0.85,交叉验证决定系数为0.70,RPD为1.8,有较好的模型精度;440~740 nm为土壤全磷光谱反演的重要波段。利用PLSR对水稻土全磷进行光谱预测是可行的。     

基于EPO算法去除水分影响的土壤有机质高光谱估算

野外进行土壤有机质的光谱快速预测时需考虑土壤含水量的影响。在室内设计人工加湿实验分别获取9个土壤含水量梯度(0~32%,间隔4%)的土壤光谱数据,分析土壤含水量变化对光谱的影响,再利用外部参数正交化法(external parameter orthogonalization,EPO)进行湿土光谱校正,并结合偏最小二乘回归和支持向量机回归分别建立土壤有机质预测模型。结果表明,土壤光谱反射率随着土壤含水量的增加呈非线性降低趋势,偏最小二乘回归模型的预测偏差比为1.16,模型不可用;经EPO算法校正后,各土壤含水量梯度之间的光谱差异性降低,能实现土壤有机质在不同土壤含水量梯度的有效估算,偏最小二乘回归和支持向量机回归模型的预测偏差比分别提高至1.76和2.15。研究结果可为田间快速预测土壤有机质提供必要参考。     

去除水分影响提高土壤有机质含量高光谱估测精度

土壤水分的影响是当前采用光谱分析法预测土壤养分含量的关键问题,该文旨在探索去除土壤水分影响、提高有机质高光谱定量估测精度的方法。首先采用地物光谱仪进行湿土和过筛干土的高光谱测试,并进行一阶导数变换;然后,采用奇异值分解(singular value decomposition,SVD)结合相关分析筛选土壤水分特征光谱,构建去除水分因素的修正系数,形成湿土光谱的校正光谱;最后基于校正前后湿土光谱,应用偏最小二乘(partial least squares,PLS)回归构建土壤有机质含量的估测模型,并对模型进行验证和比较,分析评价校正前后光谱的预测精度。结果显示:按土壤水分含量梯度划分的2组和全部棕壤及褐土土样共4组样本校正后建模决定系数和均方根误差分别为0.85、0.82、0.74、0.76和0.19%、0.20%、0.23%、0.19%,决定系数提高了0.02~0.09,均方根误差降低了0.01~0.03百分点,验证决定系数、均方根误差和相对分析误差分别为0.78、0.77、0.72、0.76,0.21%、0.15%、0.21%、0.15%和2.03、2.02、1.86、1.98,决定系数提高了0.06~0.15,均方根误差除褐土土样提高0.02百分点外,其他样本组降低了0.01~0.08百分点,相对分析误差提高了0.17~0.43,模型决定系数和相对分析误差得到显著提升;尤其对于土壤水分含量变异系数较小的3组土样,模型从待改进级别提高到性能良好级别,对土壤有机质含量具有较好的预测准确性。说明该方法用于去除土壤水分因素影响和提高有机质含量高光谱估测精度的有效性。     

基于灰度关联-岭回归的荒漠土壤有机质含量高光谱估算

为改善高光谱技术对荒漠土壤有机质的估测效果,该文采集了以色列Seder Boker地区的荒漠土壤,经预处理、理化分析后将土样分为砂质土和黏壤土2类,再通过光谱采集、处理得到6种光谱指标:反射率(reflectivity,REF)、倒数之对数变换(inverse-log reflectance,LR)、去包络线处理(continuum removal,CR)、标准正态变量变换(standard normal variable reflectance,SNV)、一阶微分变换(first order differential reflectance,FDR)和二阶微分变换(second order differential reflectance,SDR)。通过灰度关联(gray correlation,GC)法确定SNV、FDR、SDR为敏感光谱指标,采用偏最小二乘回归(partial least squares regression,PLSR)法和岭回归(ridge regression,RR)法,构建基于敏感光谱指标的土壤有机质高光谱反演模型,并对模型精度进行比较。结果表明:砂质土有机质含量的反演效果要优于黏壤土;基于SNV指标建立的模型决定系数R~2和相对分析误差RPD均为最高、均方根误差RMSE最低,所以SNV是土壤有机质的最佳光谱反演指标;对SNV-PLSR模型和SNV-RR模型综合比较得出,SNV-RR模型仅用全谱4%左右的波段建模,实现了更为理想的反演效果:其中,对砂质土有机质的预测能力极强(R_p~2为0.866,RMSE为0.610 g/kg、RPD为2.72),对黏壤土有机质的预测能力很好(Rp2为0.863,RMSE为0.898 g/kg、RPD为2.37)。荒漠土壤有机质GC-SNV-RR反演模型的建立为高光谱模型的优化、土壤有机质的快速测定提供了一种新的途径。     

盐渍化土壤光谱特征的区域异质性及盐分反演

该文通过分析中国新疆、浙江、吉林3个不同地区盐渍化土壤的高光谱特征,研究了盐渍化土壤高光谱特征的区域异质性,并对构建高精度的跨区域土壤盐分高光谱定量反演模型,应用25种数据处理方式来提高全局建模的精度,旨在提高具有光谱异质性土壤的盐分反演精度。结果表明:不同地区的盐渍化土壤,无论是反射率还是光谱曲线形态方面,均存在较明显的差异,但经过一阶微分处理后,光谱差异有所降低;对3个地区土壤盐分含量局部建模与全局建模的精度进行比较,在所选用的直线回归、主成分回归、多元线性回归、偏最小二乘回归4种建模方法中,全局建模精度均低于局部建模精度;不同地区盐渍化土壤的盐分敏感波段不一致,在所采用的25种数据处理方式中,SG3点一阶微分(savitzky golay)、SG5点一阶微分、SG7点一阶微分、线性基线校正+SG3点一阶微分、SG平滑+SG3点一阶微分、SG平滑+线性基线校正+SG3点一阶微分这6种数据处理方式对全局建模的建模精度有明显改善作用,模型的相对分析误差均达到2.0以上,其中以SG平滑+SG3点一阶微分为最佳,其决定系数、均方根误差、相对分析误差分别为0.80、0.43、2.23。研究结果为跨区域土壤盐渍化的航天高光谱遥感监测提供了一定的参考依据。     

基于EPO-PLS回归模型的盐渍化土壤含水率高光谱反演

表层土壤含水率对于指导农业灌溉有重要的作用。研究表明,土壤光谱受到土壤水分和盐分的共同影响,但对于盐渍化地区的土壤含水率高光谱反演却很少涉及。该文通过对11组不同含盐量土壤室内蒸发过程连续监测,获取相关反射率光谱和水分、盐分的变化数据,利用外部参数正交化方法(external parameter orthogonalisation,EPO)预处理土壤光谱,滤除盐分(质量比0.1%~5.0%)的影响,建立经过EPO预处理后的偏最小二乘(partial least squares regression after EPO pre-processing,EPO-PLS)土壤水分预测模型。与偏最小二乘(partial least square model,PLS)模型相比,验证样本的决定系数R2和对分析误差RPD(residual predictive deviation)分别从0.722、1.976上升到0.898、3.145;均方根误差RMSE从5.087 g/(100 g)减少到3.237 g/(100 g)。通过EPO算法预处理后的模型性能提升显著,利用该方法能够有效的消除土壤盐分的影响,很好地实现盐渍化地区的水分含量估测。     

基于分数阶微分光谱指数的冬小麦根域土壤含水率估算模型

为探讨分数阶微分（fractional-order differentiation,FOD）技术联合光谱指数改善高光谱反演冬小麦根域土壤含水率（soil moisture content,SMC）的效果,该研究以冬小麦为研究对象,测取高光谱反射率和土壤含水率数据,将高光谱反射率经Savitzky-Golay(SG)平滑处理后计算典型光谱指数以此构建偏最小二乘回归（partial least squares regression,PLSR）、随机森林（random forest,RF）和BP神经网络（back propagation neural network,BPNN）3种土壤含水率反演模型;将高光谱反射率进行0～2.0阶（步长为0.2）的分数阶微分处理后计算比值指数（ratio index,RI）和归一化指数（normalized difference index,NDI）,分析不同阶的RI、NDI与SMC之间的二维相关性,筛选得出敏感光谱指数并分组,以此构建3种反演模型（PLSR、RF和BPNN）。结果表明：不同典型光谱指数与土壤含水率的相关性存在很大差异,相关系数波动范围在0....     

结合高光谱信息的土壤有机碳密度地统计模型

传统线性回归模型在借助光谱信息进行土壤属性预测时,通常忽略了土壤自身所具有的空间异质性和依赖性,并且未考虑模型残差的空间结构。针对以上不足,该文以江汉平原232个土壤样本为研究对象,以土壤反射光谱为辅助变量,采用偏最小二乘回归、普通克里格、协同克里格以及回归克里格分别构建土壤有机碳密度预测模型,选取决定系数(R~2)、均方根误差、标准差与预测均方根误差比(ratio of performance to deviation,RPD)对模型预测精度进行对比评价。结果显示,结合高光谱信息,且同时考虑残差空间结构的回归克里格模型表现优于其他模型,预测决定系数R~2为0.617,RPD为1.614。鉴于土壤光谱信息同时还具有测定简单、省时、无损等优点,因此土壤光谱是土壤有机碳密度空间插值的理想辅助因子。     

基于光谱吸收特征的土壤含水量预测模型研究

为了定量分析土壤含水量与反射光谱特征之间关系,并为土壤含水量速测提供理论依据。以黑土作为研究对象,测定实验室光谱反射率,利用去包络线方法提取反射光谱特征指标,建立土壤水分含量高光谱预测模型。结果表明:黑土含水量与1 420 nm、1 920 nm附近吸收谷的主要光谱特征(吸收谷深度、宽度、面积)呈显著正相关;1 920 nm附近吸收谷可作为黑土土壤水分的特征吸收谷,由其光谱特征参数预测黑土含水量;以1 920 nm附近吸收谷面积为自变量建立的一元线性回归模型预测精度高,输入量少,可以作为土壤含水量速测仪器研制的理论依据。