回归分析(2))回归方程的检验

§2.4回归方程的显著性检验及精度估计回归方程的显著性检验原因：杂乱无序，无相关关系的散点也可以拟合成一条直线或曲线，但无意义。内容：回归方程拟合度的检验回归方程线性关系显著性检验回归变量的显著性检验§2.4回归方程的显著性检验及精度估计在解决工程实际问题时，一般说来，事先并不能断言与间一定具有线性关系。因此，当我们按线性回归模型来处理后，所得到的关于的线性回归方程是否能代表实际问题呢?这就是统计上常说的假设检验问题，即要检验线性回归方程是否有显著意义。如果显著，我们就可以用线性回归模型代表实际问题，否则该模型不能代表实际问题。ymxxx,,,21ymxxx,,,21模型合适吗？此外，在检验得知线性回归方程是显著之后，我们还可以进一步判断在线性回归方程中，哪些变量是影响的重要变量，哪些变量是不重要变量，由此分析可对回归方程作更进一步简化，从而得到最优回归方程。这就是所谓的对每个变量要进行显著性检验问题。mxxx,,,21mxxx,,,21y§2.4回归方程的显著性检验及精度估计设是已求得的回归方程。是第个试验点代入回归方程所求的回归值。这里称试验值（观察值）与其平均值的离差平方和为总离差平方和。记为mmxbxbxbby22110ˆiyˆi),,,(21imiixxxiyniiyny11niiyyS12)(总§2.4回归方程的显著性检验——方差分析niiyyS12)(总Xy§2.4回归方程的显著性检验——方差分析nininiiiiiiiniiiiiniiiiniiyyyyyyyyyyyyyyyyyyS11122121212)ˆ()ˆ)(ˆ(2)ˆ()]ˆ()ˆ[()ˆˆ()(总这里作为样本函数即统计量，其自由度为。如果观测值给定，是确定的。现将进行分解。总S总S总S1n§2.4回归方程的显著性检验——方差分析niiiiyyyy10)ˆ)(ˆ(其中，，事实上，由式（2.8)可知mmxbxbxbby22110)()()()(ˆ22211111022110mimmiimmimmiiixxbxxbxxbxbxbbxbxbxbbyyninimiiiiiibxxbyyyyyy11111)()[ˆ()ˆ)(ˆ()](mimxxninimimiimiiixxyybxxyyb11111))(ˆ())(ˆ(§2.4回归方程的显著性检验——方差分析又由式（2.5）知，上式最后等式右端每一项均等于0，于是因此式（2.12）中，记称为回归平方和。niiiiyyyy10)ˆ)(ˆ(niniiiiyyyyS1122)ˆ()ˆ(总（2.12）niiyyS12)ˆ(回§2.4回归方程的显著性检验——方差分析它反映了自变量的变化所引起的对的波动。其自由度为。式（2.12）中，记称为剩余平方和（或残差平方和），它是由试验误差以及其他因素引起的。它的大小反映了试验误差及其他因素对试验结果的影响程度，其自由度为。mmxxx,,,21yniiiyyS12)ˆ(剩1mn§2.4回归方程的显著性检验——方差分析于是由式（2.13），我们可对所建立的回归方程能否代表实际问题作一个判断。这是因为在式（2.13）中，当确定时，越小，越大，则就越接近。于是，我们可用是否趋近于1来判断回归方程的回归效果好坏。剩回总SSS（2.13）总S剩S回S回S总S总回SS§2.4回归方程的显著性检验——方差分析由式（2.13）定义为复相关系数，显然。越接近1，回归效果就越好。总剩总回SSSS1∴总剩总回SSSS1总剩SSR110RR§2.4回归方程的显著性检验——方差分析然而在实际工程计算中，当实验样本点较小时，计算出的一般都较接近1，这给我们判断所建的回归方程的回归效果是否显著带来麻烦，因此在实际计算中应注意变量个数与样本个数的适当比例，一般认为样本个数至少应是变量个数的5到10倍。§2.4回归方程的显著性检验——方差分析由于在解决实际问题时，我们往往不能事先断言变量与变量之间是否确有线性关系，在建立数学模型时，往往是先假定实际问题可能具有线性性，由此建立起线性回归模型。显然在这样的假设前提下所建立起的线性回归模型到底能否代表实际问题，或者通俗地说所建立的线性回归方程能否用于实际问题，需要判定（检验），该如何检验呢?这是统计学中假设检验问题。ymxxx,,,21§2.4回归方程的显著性检验——F检验我们是这样考虑的，如果线性回归模型能代表实际问题（也就是线性回归模型显著），我们可以认为线性回归模型的系数不全为零；如果线性回归模型不显著，我们认为线性模型系数全为零。于是按统计假设检验原则提出假设：为此应用统计量不全为零，()imHH:;0,,0,0:1100m,,,,210)1,(~)1/(/mnmFnSmSF剩回m,,,,210mi,,1,0§2.4回归方程的显著性检验——F检验对于给定检验水平，查分布表可得临界值，并由检验，作出如下判断：如果由统计量计算所得的数值有，则表示在检验水平下，拒绝，从而认为线性回归模型有显著意义，即线性回归模型能代表实际问题，工程中可大胆使用该模型。如果，则在检验水平下，接受，即认为线性回归模型不显著，即线性回归模型不能代表实际问题，该模型在工程实际问题中不能使用。)1,(mnmFFFFFF0HFF0H§2.4回归方程的显著性检验——F检验在多元线性回归模型中，我们并不满足于线性回归方程是显著的这个结论。因为回归方程显著并不意味着每个自变量对因变量的影响都重要，也就是并不能说这个变量在模型中都重要。换句话说模型中个自变量中有重要的，也有不重要的自变量，一种自然的想法就是在模型中保留重要变量，剔除不重要或者可有可无的变量，按照这种思想来建立模型，实际上是对原线性回归模型进行精简。ymmmxxx,,,21§2.4回归方程的显著性检验——F检验具体操作该如何进行呢？我们是这样考虑的，如果某个自变量对的作用不显著，也就是说对不重要（或可有可无），则认为它前面的系数应取零值，因此检验自变量是否显著（重要），就是等价于检验假设为此，应用统计量ixyiixyix0:;0:10iiHHmi,,1,0)1,1(~)1/(/2mnFmnScbFiiii剩§2.4回归方程的显著性检验——F检验其中，为式（2.10）中的对角线上第个元素。对于给定的检验水平，查分布表可得临界值，并由检验作出如下判断：如果由统计量计算所得的数值则拒绝，即认为对是重要变量，应留在模型中；如果，则在水平之下接受，认为对不重要，可从模型中剔除。一般一次检验只剔除一个自变量，且这个自变量是所有不显著自变量中值最小值，然后再建立回归模型，并继续进行检验，直到建立的回归模型及各个自变量均显著为止。iic)()(11ijijCCSSiF)1,1(mnFFiF)1,1(nFFi0Hixyy)1,1(mnFFi0HixFF§2.4回归方程的显著性检验——F检验§2.5线性回归模型预测精度估计通过对模型及变量的显著性检验后，我们可用所建立的回归模型进行预测或控制。但用模型进行预测，所得结果的精度如何?即真值（实际值）与模型预测值的误差有多大?这是我们关心的问题，应该作出估计，为此给出剩余标准差式中，为进入回归模型的变量个数。)1/(rnSr剩剩r由统计学区间估计理论知，在随机变量服从正态分布情况下，任一给定的自变量值，所对应因变量的真值，以95％的概率落在区间是的回归值，即预测值与真值之差有95%的概率，使得，所以越小其预测精度就越高。yryryˆ),2ˆ,2ˆ(剩剩yy),,,(21mxxx剩ryy2|ˆ|剩ryˆy),,,(21mxxx§2.5线性回归模型预测精度估计YY——X代入由B为回归系数的方程后得到的因变量矩阵；U——回归平方和；Q——剩余平方和；R——复相关系数；F——F检验值，即回归方差与剩余方差之比；SS——剩余标准差；Y1,Y2,Y3,f1，f2——中间变量。2．Matlab函数：inv（）——矩阵求逆；mean（）——求均值；sum（）——求和；sqrtm（）——开方。§2.4.2程序（略）§2.4.3例题例2.2平炉炼钢过程的熔化期中，总的去碳量与所加的两种矿料（天然矿石与烧结矿料）的量，及熔化时间有关，熔化时间愈长则去碳量愈多。经实测某平炉的49组数据见表2.2，求对、、的线性回归方程。)(ty1x2x3xy1x2x3x表2.2平炉炼钢过程的数据1x2x3xyy1x2x3x编号编号123456789101112131415161718192021222324254.333.654.485.555.503.115.113.884.674.955.005.275.375.484.605.666.083.225.814.734.683.132.613.723.8927512l3367030860371660940921891432012175823161841421141201615061701604046436440643937556049505151515648455240324744392627282930313233343536373839404142434445464748492.705.635.815.315.394.464.664.524.875.364.612.383.874.595.169126l205406410459655827410346513724121520161741413813812613810517153951414761374945424848363651541004463555045406472预测建立回归模型解打开数据文件dd2data.mat，将因变量数据录入一维数据矩阵Y1×n中，将自变量数据录入m×n维数据矩阵Xm×n中，本题中自变量数m=3，样本容量n=49。执行程序如下：loaddd1datadd1（X,Y,3,49）计算机运行结果如下：B=%回归方程系数0.98380.16440.11730.0279U=%回归平方和14.2843Q=%剩余平方和30.8513R=%复相关系数0.5843F=%F检验值6.9451SS=%剩余标准差0.8280所以，回归方程为：Y=0.9838+0.1644+0.1173+0.02791x2x3x