第九章相关与简单线性回归分析

第九章相关与简单线性回归分析第一节相关与回归的基本概念一、变量间的相互关系现象之间存在的依存关系包括两种：确定性的函数关系和不确定性的统计关系，即相关关系。二、相关关系的类型1、从相关关系涉及的变量数量来看：简单相关关系；多重相关或复相关。2、从变量相关关系变化的方向看：正相关；负相关。3、从变量相关的程度看：完全相关；不相关；不完全相关。二、相关分析与回归分析概述相关分析就是用一个指标（相关系数）来表明现象间相互依存关系的性质和密切程度；回归分析是在相关关系的基础上进一步说明变量间相关关系的具体形式，可以从一个变量的变化去推测另一个变量的变化。相关分析与回归分析的区别：目的不同：相关分析是用一定的数量指标度量变量间相互联系的方向和程度；回归分析是要寻求变量间联系的具体数学形式，要根据自变量的固定值去估计和预测因变量的值。对变量的处理不同：相关分析不区分自变量和因变量，变量均视为随机变量；回归区分自变量和因变量，只有因变量是随机变量。注意：相关和回归分析都是就现象的宏观规律/平均水平而言的。第二节简单线性回归一、基本概念如果要研究两个数值型／定距变量之间的关系，以收入x与存款额y为例，对n个人进行独立观测得到散点图，如果可以拟合一条穿过这一散点图的直线来描述收入如何影响存款，即简单线形回归。二、回归方程在散点图中，对于每一个确定的x值，y的值不是唯一的，而是符合一定概率分布的随机变量。如何判断两个变量之间存在相关关系？要看对应不同的x，y的概率分布是否相同/y的总体均值是否相等。在x=xi的条件下，yi的均值记作E(yi)，如果它是x的函数，E(yi)=f(xi)，即回归方程，就表示y和x之间存在相关关系，回归方程就是研究自变量不同取值时，因变量y的平均值的变化。当y的平均值和x呈现线性关系时，称作线性回归方程，只有一个自变量就是一元线性回归方程。一元线性回归方程表达式：E(yi)=α+βxi，其中α称为常数，β称为回归系数。对于每一个真实的yi，其表达式为yi=α+βx+εi，yi是随机变量，εi是随机误差，由于εi的值不固定，从而使x和y呈现出不确定的关系。三、回归方程的建立与最小二乘法回归方程中描述的是总体关系，总体不知道的情况下，只能通过样本来估计总体，即通过样本的散点图来估计总体回归直线的系数α和β。如何根据样本散点图拟合出一条最佳的估计直线？使用最小二乘法。设从总体中抽取一个样本，观测值为(x1,y1),(x2,y2),…(xn,yn)，穿过这n个观测点可以得到无数直线y=a+bx，最佳直线就是与各个点都比较接近的这条直线，即各点到该直线的铅直距离即偏差之和最小，但偏差有正有负会抵消，需要对所有偏差求平方和，使得∑(yi-ŷ)2最小，即最小二乘法原理。根据最小二乘法准则拟合的回归方程记作ŷ=a+bx。根据最小二乘法原理可推导出b=121()()()ninixixyiyxix，a=ybx为了便于计算，也可将上述公式分解为：b=22()iiiiiinxyxynxx由此通过最小二乘法所确定的a、b带入待估计的直线方程式得到ŷ=a+bx就是总体线性回归方程E(yi)=α+βxi的最佳估计方程。斜率b的意义：x发生一个单位的变化时，y相应发生的变化量。第三节回归方程的假定和检验一、回归方程的基本假定对于总体线性回归方程E(yi)=α+βxi，需要作出一些基本假定：A、对于x的每一个取值xi，yi是随机变量/y的子总体，所有yi的方差相等。B、所有yi的均值都在一条直线上，其数学表达式为E(yi)=α+βxi，由于α和β对于所有子总体yi都是一样的，所以α和β是总体参数。C、随机变量yi是统计独立的。这三个假定可以写为：随机变量yi在统计上是相互独立的，它们的均值=E(yi)=α+βxi，方差=σ2。D、出于假设检验需要，还要求y的每一个子总体yi都满足正态分布。综合回归分析中估计和检验的两方面需要，对总体数据结构有如下假定：y1=α+βx1+ε1，y2=α+βx2+ε2，……yn=α+βxn+εn，其中，ε1，ε2….εn是随机变量，相互独立，且都服从相同正态分布N(0,σ2)二、回归方程的检验在拟合回归直线前，需要对总体变量之间是否存在线形关系进行检验，否则拟合回归直线是没有意义的。1、作出假设H0：β=0；H1：β≠0类似于方差分析，β=0意味着各总体均值相等，说明x和y之间没有关系，β≠0意味各总体均值不等，说明x和y之间有线性关系。所以可理解为检验各总体均值是否相等，类似方差分析的检验。2、计算检验统计量（1）计算偏差平方和总偏差平方和TSS=21()niyiy，反映了观测值yi围绕均值y总的离散程度。剩余平方和RSS=1(niyiŷi)2，反映了观测值yi偏离回归直线ŷi的离散程度，是通过回归直线进行估计之后，仍然未能消除/未被解释的误差，也称残差平方和，说明了除x对y的线性影响外，还存在其他未被考虑的因素。由于(yi-y)可以分解为(yi-ŷ)+(ŷ-y)，所以TSS可分解为RSS+RSSR。回归平方和RSSR=1(niŷi-y)2，表示通过回归直线被解释掉的误差。（2）计算检验统计量计算均方：TSS的自由度为n-1，RSS的自由度为1(ŷi始终是同一个值)，RSSR的自由度为n-2。所以F=/(2)RSSRRSSn~F(1，n-2)在显著性水平α的情况下，如果F＞Fα，则拒绝原假设，即总体存在线性相关；反之，如果F＜Fα，则不能拒绝原假设，就没有必要拟合回归直线了。F的意义：RSSR大于RSS，说明了引入回归直线后能够解释掉的误差大，反映了回归直线是有较强意义的。第四节拟合优度和相关系数一、决定系数与相关系数TSS表示总离差平方和，RSSR表示通过回归直线被解释掉的误差，RSS表示回归直线未能作出解释的离差平方和。如果回归直线对样本观测点拟合得越好，那么各样本观测点与回归直线靠得越近（RSS越小），由样本回归直线作出解释的离差平方和在总离差平方和中的比重也将越大。反之，拟和程度越差，RSSR占TSS的比重越小。RSSR/TSS就是综合度量回归直线对样本观测值拟和优度的指标，也称决定系数/判定系数，用r2表示。r2=1(niŷi-y)2/21()niyiy也可利用消减误差比例原理PRE=(E1-E2)/E1来解释。r2=1(niŷi-y)2/21()niyiy可化简为：r2=222(()())()()xixyiyxixyiy（在SPSS中显示为RSquare）r=2r，r为简单线性相关系数／皮尔逊相关系数，取值范围由0到1。r2是就回归模型而言，度量回归模型拟和优度；r是就两个变量而言，说明两变量间的依存内程度；r2是非负数，r可正可负。二、协方差r=22()()()()xixyiyxixyiy=22()()/(1)()/(1)()/(1)xixyiynxixnyiyn=(,)()()CovXYVarXVarYVar(X)是变量X的方差，Var(Y)是变量Y的方差，Cov（X,Y）是变量X和Y的协方差。将变量x和y的数值对标在坐标图上，计算x和y的均值x和y，把坐标轴移到x和y，得到新坐标轴，观测值变为：(x1-x),(x2-x),……(xn-x)(y1-y),(y2-y),……(yn-y)每对数据的乘积：(x1-x)(y1-y);(x2-x)(y2-y),……(xn-x)(yn-y)如果数据观测值落在第一或第三象限，乘积(xi-x)(yi-y)为正；如果数据观测值落在第二或第四象限，乘积(xi-x)(yi-y)为负。如果x和y之间呈线性相关，观测点会集中在第一三象限或第二四象限；如果均匀落在四个象限，乘积之和为零。线性相关的程度可以用协方差表示，等于零表示观测点均匀散落在四个象限，不存在线性相关；不等于零表示存在线性相关，大于零正相关，小于零负相关。协方差绝对值越大，相关程度越强。单变量方差公式表示变量各观测值相对其平均值的平均偏差，所以协方差表示x和y两变量观测值相对其各自均值所造成的共同平均偏差。第五节相关系数与回归系数的检验一、相关系数和回归系数的检验１、相关系数r的检验：H0：=0；H1：≠0检验统计量为t=221nr~t(n-2)，为简化计算，可使用相关系数检验表根据自由度和给定的α来反查临界相关系数。将计算出的样本r值与临界相关系数rα进行比较，若∣r∣≥rα，则y和x之间存在线性相关关系，r在显著性水平α下显著；若∣r∣＜rα，y和x不存在线性相关关系，r在显著性水平α下不显著。２、回归系数β的检验对回归系数的检验H0：β=0；H1：β≠0就是要确认线性回归方程是有意义的，β=0意味之间不存在线性相关关系。所以，H0：=0和H0：β=0是等价的。如果r通过了检验，也必然会导致β通过Ｆ检验。二、相关系数与回归系数的比较回归系数反映自变量的增量和因变量增量之间的关系。相关系数反映了真实数据和回归直线靠拢的程度。相同回归系数可有不同的相关系数，相同的相关系数可有不同的回归系数。补充说明：不能脱离样本量来判断相关程度。在回归分析或相关分析中，即使检验的结果是≠0或β≠0也不能得出X与Y之间存在因果关系的结论。因为严格的因果关系研究需要进行有对照组的随机试验，即使不能进行对照组试验，也要对观测数据进行多元回归分析才可能部分地控制外来影响，近似分析出可能的因果关系。