气象统计方法第四章

气象统计方法主讲：温娜南京信息工程大学大气科学学院2014年9月本课件主要参考南信大李丽平老师的课件第四章一元线性回归（huang28）主要内容概述基本概念原理方差分析相关系数和线性回归回归方程的显著性检验1.概述回归分析是用来寻找若干变量之间的统计联系一种方法，利用找到的统计关系对某一变量作出未来时刻的估计，称为预报值。包括线性回归和非线性回归，常用的线性回归。如：为了预报某地某月平均气温（预报量）未来时刻的变化，选择预报前期已发生的多个有关的气象要素（预报因子），利用回归分析方法分析多个预报因子和预报变量之间的相互关系，建立统计关系方程式，最后利用其对未来时刻的气温作出预报估计。回归模型的类型线性回归非线性回归一元回归线性回归非线性回归多元回归回归模型2.基本概念一元回归处理的是两个变量之间的关系，即一个预报量和一个预报因子之间的关系。3.原理一般来说，对样本量为n的预报量y与预报因子x的一组样本，如果认为y与x是一种线性统计关系，预报量的估计量与x有如下关系：（1）或者写为一般的回归方程iibxayˆni,,2,1bxayˆa是截距，b是斜率。对所有的，若与的偏差最小，就认为（1）所确定的直线能最好地代表所有实测点的散布规律。为了消除偏差符号的影响，可以用偏差的平方来反映偏差的绝对值偏离情况。ixiyˆiyxy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾xy10ˆˆˆ全部观测值与回归估计值的离差平方和记为它刻画了全部观测值与回归直线偏离程度。显然，Q值越小越好。a和b是待定系数，根据微积分学中的极值原理，要求：ntiiyybaQ12)ˆ(),(0aQ0bQ满足上面关系的Q值最小。整理得到：上式称为求回归系数的标准方程组。展开：niiiiniiixbxaybxay110)(20)(2niniiiniiininiiiyxxbxayxbna111211回归系数也可直接表示为：212211212111)(1))((1xxyniiniiininiiininiiniiiiSSxnxyxnyxxnxyxnyxbxbya上述求回归系数的方法称为最小二乘法距平形式的回归方程:即当变量为距平时，回归方程可以不用求a,因为a=0,回归直线通过原点。标准化距平形式的回归方程:)(ˆxxbyy**xryxyxyxyxxyrSSSSb24.回归问题的方差分析（1）意义评价回归方程的优劣。（2）预报量的方差可以表示成回归估计值的方差（回归方差）和误差方差（残差方差）之和。22ˆ2eyySSS即：方差分析表明，预报量y的变化可以看成由前期因子x的变化所引起的，同时加上随机因素e变化的影响，这种前期因子x的变化影响可以归为一种简单的线性关系，这部分关系的变化可以用回归方差的大小来衡量。如果回归方差大，表明用线性关系解释y与x的关系比较符合实际情况，回归模型比较好。niiiniiniiyynyynyyn121212)ˆ(1)ˆ(1)(1误差方差回归方差预报量方差有时候，两边同时乘以n变成各变量离差平方和的关系。U和Q分别称为回归平方和及残差平方和，称为总离差平方和。niiyyU12)ˆ(niiyyQ12)ˆ(QUSyyyyS1.总离差平方和()反映因变量的n个观察值与其均值的总离差。2.回归平方和(U）反映自变量x的变化对因变量y取值变化的影响，或者说，是由于x与y之间的线性关系引起的y的取值变化，也称为可解释的平方和。3.残差平方和(Q)反映除x以外的其它因素对y取值的影响，也称为不可解释的平方和或剩余平方和。yySniiiiniiixbxaybxay110)(20)(25.相关系数与线性回归----（1）因为回归方差不可能大于预报量的方差，可以用它们的比值来衡量方程的拟合效果。即：yyniiniiyySUyynyynSS121222ˆ)(1)ˆ(1b代入上式得:2xxySSb222ˆxyyyrSS22212122121222ˆ)()()()(yxniiniiniiniiyySSbyyxxbyyxbabxaSS上式含义：表明了预报因子x对预报量y方差的线性关系程度，这一比值又称为解释方差(方差贡献率)。也可以说明相关系数的含义：它是衡量两个变量线性关系密切程度的量，又被称为回归方程的判决系数。判决系数R2(coefficientofdetermination)1.回归平方和占总离差平方和的比例；2.反映回归直线的拟合程度；3.取值范围在[0,1]之间；4.R21，说明回归方程拟合的越好；R20，说明回归方程拟合的越差；5.判决系数等于相关系数的平方，即R2＝r2（2）回归系数b与相关系数之间的关系r与b同号。xyxyxxyrSSSSb26.回归方程的显著性检验原假设回归系数b为0的条件下，上述统计量遵从分子自由度为1，分母自由度为（n-2）的F分布，若线性相关显著，则回归方差较大，因此统计量F也较大；反之，F较小。对给定的显著性水平,查表得到F临界值，如果,则拒绝原假设，认为线性相关显著。)2(1nQUFFFF上式还可以表示为：22ˆ2eyySSS)2(122ˆnSSFey2122nrr222ˆxyyyrSS由于回归系数b已经知道，根据计算出x和y的相关系数，然后可以求得F.bSSryxxy21122112)(1)(1niiniiniiniiynyxnxb注意:对于一元线性回归来说，因为F的相关系数表达式开方就是相关系数t检验的表达式,故回归方程的检验与相关系数的检验一致。212nrrt2122nrrF提出假设–H0：1=0,线性关系不显著计算检验统计量F确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F作出决策：若FF,拒绝H0；若FF,不能拒绝H0线性关系检验的步骤概括如下：7.回归系数的显著性检验气象中经常使用回归方程的距平形式，对回归方程的显著性检验可以只对因子的回归系数进行检验。遵从自由度为n-2的t分布；或者根据F分布与t分布的关系有：2nQcbt112])([niixxc22nQcbFcbU2)2(1nQUF上式与之前方差检验的公式完全一致，但在检验单个变量在回归方程中的作用时更为常用。22nQcbF8.预报的置信区间（95%置信区间）因为可以看成遵从的分布，所以其95%的置信区间为。是总体均方差（误差均方差）的无偏估计量。2ˆnQˆ96.1ˆiyˆ2)ˆ(21ˆ122nQyynniiiiy);(20ixN96.1)(iyE例1：1）计算回归系数，确定方程X变化一个单位，气温降低0.23度。2）回归方程显著性检验：3）计算预报值得置信区间，作出预测:niiyyU12)ˆ(niiyyQ12)ˆ(21212)(ynyyySniiniiyy总离差平方和x离差平方和X和y离差积之和一组计算公式yxnyxyyxxSniiiniiixy11))((21212)(xnxxxSniiniixxxxxySSU2xxxyyySSSQ22xxySSb回归分析与相关分析的区别1.相关分析中，变量x变量y处于平等的地位；回归分析中，变量y称为因变量，处在被解释的地位，x称为自变量，用于预测因变量的变化。2.相关分析中所涉及的变量x和y都是随机变量；回归分析中，因变量y是随机变量，自变量x可以是随机变量，也可以是非随机的确定变量。3.相关分析主要是描述两个变量之间线性关系的密切程度；回归分析不仅可以揭示变量x对变量y的影响大小，还可以由回归方程进行预测和控制。利用冬季热带太平洋Nino3.4区平均海温异常指数，建立与江苏省夏季降水异常的一元线性回归预测模型。据观测2007年冬Nino3.4海温异常为-1.2度，对江苏省夏季降水异常进行预测。作业