主成分回归多重共线性

实验八：主成分回归实验题目：对例5.5的Hald水泥问题用主成分方法建立模型，并与其他方法的结果进行比较。例5.5如下：本例为回归经典的Hald水泥问题。某种水泥在凝固时放出的热量y（卡/克，cal/g）与水泥中的四种化学成分的含量（%）有关，这四种化学成分分别是x1铝酸三钙（3CaO.Al2O3），x2硅酸三钙（3CaO.SiO2），x3铁铝酸四钙（4CaO.Al2O3.Fe2O3），x4硅酸三钙（2CaO.SiO2）。现观测到13组数据，如表5-3所示。表5-3x1x2x3x4y72666078.5129155274.31156820104.3113184787.675263395.91155922109.2371176102.7131224472.5254182293.12147426115.9140233483.81166912113.31068812109.4实验目的：多重共线性的诊断及解决方法、利用主成分回归解决多重共线性问题。SPSS输出结果及答案：一、主成分法：多重共线性诊断：相关性yx1x2x3x4yPearson相关性1.731**.816**-.535-.821**显著性（双侧）.005.001.060.001N1313131313x1Pearson相关性.731**1.229-.824**-.245显著性（双侧）.005.453.001.419N1313131313x2Pearson相关性.816**.2291-.139-.973**显著性（双侧）.001.453.650.000N1313131313x3Pearson相关性-.535-.824**-.1391.030显著性（双侧）.060.001.650.924N1313131313x4Pearson相关性-.821**-.245-.973**.0301显著性（双侧）.001.419.000.924N1313131313**.在.01水平（双侧）上显著相关。由表可知，x1，x2，x4的相关性都比较大，较接近，所以存在多重共线性主成分回归：解释的总方差成份初始特征值提取平方和载入合计方差的%累积%合计方差的%累积%12.23655.89355.8932.23655.89355.89321.57639.40295.2941.57639.40295.2943.1874.66599.959.1874.66599.9594.002.041100.000.002.041100.000提取方法：主成份分析。输出结果显示有四个特征根，最大的是λ1=2.236，最小的是λ4=0.002。方差百分比显示第一个主成分Factor1的方差百分比近56%的信息量；前两个主成分累计包含近95.3%的信息量。因此取两个主成分就已经足够。由于前两个主成分的方差累计已经达到95.3%，故只保留前两个主成分。成份矩阵a成份1234x1.712-.639.292.010x2.843.520-.136.026x3-.589.759.275.011x4-.819-.566-.084.027提取方法：主成分a.已提取了4个成份。由解释的总方差表中累计贡献性知，f1和f2的累计贡献性就在85%~95%之间。所以主成分取f1,f2。得到因子得分的数值，并对其进行处理：sqrt(2.236)*FAD1_1,sqrt(1.576)*FAD2_1可以得出主成分表（f1f2）。对f1f2进行普通最小二乘线性回归系数a模型非标准化系数标准系数tSig.B标准误差试用版1(常量)95.423.855111.635.000f19.882.595.98216.610.000f2.125.709.010.176.864a.因变量:y由系数表可得，主成分回归方程为：^y=95.423+9.882f1+0.125f2分别对两个主成分f1和f2做因变量，以4个原始自变量为自变量做线性回归模型非标准化系数标准系数tSig.B标准误差试用版1(常量)-.643.000..x1.081.000.318..x2.036.000.377..x3-.062.000-.264..x4-.033.000-.366..a.因变量:f1f1=-0.643+0.081x1+0.036x2-0.062x3-0.033x4对f2和x1x2x3x4进行回归模型非标准化系数标准系数tSig.B标准误差试用版1(常量)-.938.000-1119037.661.000x1-.087.000-.405-9710099.545.000x2.027.000.3303071727.057.000x3.094.000.48210459854.955.000x4-.027.000-.359-3177724.589.000a.因变量:f2f2=-0.938-0.087x1+0.027x2+0.094x3-0.027x4所以还原后的主成分回归方程为：^y=88.951624+0.789567x1+0.359127x2-0.600934x3-0.329481x4从主成分法得出的方程中我们可以看出某种水泥在凝固时放出的热量与铝酸三钙，硅酸三钙成正比，与铝酸四钙和硅酸二钙成反比，且当该水泥放出1单位的热量时，需要消耗0.789567g的铝酸三钙和0.359127g的硅酸三钙；当该水泥吸收1单位的热量时，需要消耗0.600934g的铝酸四钙和0.329481g的硅酸二钙。二．岭回归法首先做普通二乘回归，得到结果如下：系数a模型非标准化系数标准系数tSig.共线性统计量B标准误差试用版容差VIF1(常量)62.40570.071.891.399x11.551.745.6072.083.071.02638.496x2.510.724.528.705.501.004254.423x3.102.755.043.135.896.02146.868x4-.144.709-.160-.203.844.004282.513由系数表中的方差扩大因子VIF可以初步看出直接建立的线性模型具有严重的共线性，所以我们直接用岭回归方法进行处理，与再与主成分法进行比较。岭回归INCLUDE'C:\ProgramFiles\IBM\SPSS\Statistics\19\Samples\English\RIDGEregression.sps'.RIDGEREGenterx1x2x3x4/dep=yR-SQUAREANDBETACOEFFICIENTSFORESTIMATEDVALUESOFKKRSQx1x2x3x4____________________________________________.00000.98238.606512.527706.043390-.160287.05000.98092.465987.298422-.092800-.394132.10000.97829.429975.299810-.115702-.382409.15000.97492.403545.300180-.129867-.370747.20000.97105.382726.299130-.139136-.360181.25000.96676.365601.297070-.145317-.350594.30000.96212.351071.294335-.149432-.341806.35000.95717.338452.291156-.152107-.333674.40000.95195.327295.287687-.153747-.326089.45000.94649.317289.284036-.154628-.318970.50000.94082.308211.280279-.154942-.312254.55000.93497.299900.276467-.154827-.305892.60000.92897.292231.272638-.154384-.299846.65000.92284.285109.268820-.153688-.294083.70000.91660.278460.265032-.152797-.288577.75000.91027.272222.261287-.151756-.283306.80000.90386.266349.257597-.150598-.278251.85000.89740.260798.253968-.149351-.273396.90000.89089.255537.250406-.148037-.268726.95000.88436.250537.246913-.146671-.2642281.0000.87780.245775.243491-.145269-.259892由上述的岭迹图可以看出，所有的回归系数的岭迹线的稳定性较强，整个系统呈现比较平稳的现象，所以我们可以对最小二乘有信心，且x1，x2的岭迹线一直在零的上，对y产生正影响，而x3，x4系数的岭迹线一直小于零，所以对y产生负影响。再做岭回归：当岭参数k=0.2时，4个自变量的岭回归系数变化幅度较小，此时逐渐稳定，所以我们给定k=0.2，再做岭回归RunMATRIXprocedure:******RidgeRegressionwithk=0.2******MultR.976585082RSquare.953718422AdjRSqu.944462107SE3.545275735ANOVAtabledfSSMSRegress2.0002590.0731295.037Residual10.000125.69012.569FvalueSigF103.0343460.0000002--------------VariablesintheEquation----------------BSE(B)BetaB/SE(B)x11.2516409.1468176.48941658.5251441x4-.5251646.0515969-.5843168-10.1782125Constant101.83884832.2617303.000000045.0269638------ENDMATRIX-----由上述输出结果可以得到岭回归建立的方程为：y=101.8388483+1.2516409x1-0.5251646x4从岭回归法得出的方程中我们可以看出某种水泥在凝固时放出的热量与铝酸三钙，硅酸三钙成正比，与铝酸四钙和硅酸二钙成反比，且当该水泥放出1单位的热量时，需要消耗1.2516409g的铝酸三钙和0.5251646g的硅酸三钙；当该水泥吸收热量时，需要消耗铝酸四钙和硅酸二钙。（3）比较：岭回归后建立的方程跟主成分回归法建立的方程保留的系数相同，且得出的系数符号相同，大小相近，即得出的y与x1，x2，x3，x4关系也相同，所以可知主成分法得出的回归方程也解决了共线性问题。