多元线性回归模型的检验

多元线性回归及应用经济计量学2016年9月主题答疑多元线性回归及应用一、多元线性回归模型的概念二、多元线性回归模型的矩阵表示三、多元线性回归模型的参数估计四、多元线性回归模型检验五、多元线性回归的预测六、多元线性回归模型应用实例目录一、多元线性回归模型的概念问题的提出：•现实生活中引起被解释变量变化的因素并非仅只一个解释变量，可能有很多个解释变量。•例如，产出往往受各种投入要素——资本、劳动、技术等的影响；销售额往往受价格和公司对广告费的投入的影响等。•所以在一元线性模型的基础上，提出多元线性模型——解释变量个数≥2一、多元线性回归模型的概念一元：一个因素X；多元：多个因素---X1,X2,…,Xk被解释变量还是一个：Y比如：被解释变量：某商品的需求量Y；解释变量：该商品的价格P、消费者收入DPI、替代商品价格P2；未考虑的量：消费偏好等；P23210UDPIPY（一）多元线性回归模型的引入（二）多元总体线性回归模型总体模型1、分量式Xki22110ikiiiuXXY2、总量式Xk22110UXXYk称之为变量Y关于变量X1,X2,…,Xk的k元总体线性回归模型，Y称为被解释变量，X1,X2,…,Xk称为解释变量，k称为解释变量个数，U称为随机扰动项，或随机项，或扰动项。一、多元线性回归模型的概念（三）多元样本线性回归模型由于经济变量的总体分布大多数是未知的，与一元模型类似，我们只能根据样本观察值进行统计推断，以此来估计多元总体回归方程和总体回归参数。这时导出的模型式为：n)1,2,...,(iˆˆˆˆki33221ikiiieXXXY称为样本回归参数，n称为样本容量。称ei为残差项，它是扰动项ui的估计量。总体模型是理论意义上的，是在做定性研究时所使用的，在做定量分析时具体使用的模型也即可操作的是样本模型。kˆ,,ˆ,ˆ,ˆ321一、多元线性回归模型的概念（四）多元样本线性回归模型经典假设1、解释变量X1,X2,…,Xk是非随机的；2、E(ui)=03、Var(ui)=σ2i=1,2,…,nCov(ui,uj)=0i≠j,i,j=1,2,…,n4、解释变量X1,X2,…,Xk线性无关；5、ui～N(0,σ2)对上述假设条件的理解基本上与一元线性回归模型类似，因此不再赘述。假设3中实际上包含了两条假设，这样写的原因是为了以后的多元线性回归模型经典假设的矩阵表示。以上假设1～5合称为多元线性回归模型的经典假设，也称为基本假设。满足经典假设的模型称为经典多元线性回归模型。一、多元线性回归模型的概念（五）多元样本线性回归模型解析表达式一、多元线性回归模型的概念ikikiiikiiiikkuXbXbXbbYniXXXYnuXbXbXbbY221102122110,,2,1),,,,(得：个样本观测值nknknnnkkkkuXbXbXbbYuXbXbXbbYuXbXbXbbY2211022222121021121211101二、多元线性回归模型的矩阵表示（一）多元总体线性回归模型的矩阵表示UXβYuuuXX1XX1XX1YYYn21k21knn22k221k21n21UβXY（二）多元样本线性回归模型的矩阵表示ˆeβXYeeeeˆˆˆˆXX1XX1XX1YYYn21k21knn22k221k21n21βXY二、多元线性回归模型的矩阵表示1、E(U)=02、E(UUˊ)=σ2In即扰动项的方差与协方差矩阵等于σ2与单位矩阵之积。3、秩(X)=k，且k≤n。（三）多元模型经典假设的矩阵表示二、多元线性回归模型的矩阵表示三、多元线性回归模型的参数估计对于多元线性回归模型，最常用的参数估计方法也是普通最小二乘方法（OLS）。其原理与一元线性回归模型的普通最小二乘估计的原理类似，也是使拟合误差平方和为最小。（一）矩阵式的普通最小二乘估计量设)ˆ()ˆ(12βXYβXYeeniieQ由极值原理可知)]ˆ()ˆ[(ˆˆQ0βXYβXYββ最后可得：)(ˆ1YXXXβ上式为多元线性回归模型矩阵式的普通最小二乘估计量（OLS）。由经典假设可知，X的秩等于k，而（X/X）为正定矩阵，于是（X/X）可逆，即满足解释变量线性无关的多元线性回归模型的普通最小二乘估计量有解。上面导出的是矩阵式的普通最小二乘解(OLS)，然而有时我们需要用到其分量方程组形式,即正规方程组,下面我们导出正规方程组。由极值原理可导出多元线性回归模型的正规方程组：（一）矩阵式的普通最小二乘估计量βˆXYXˆXXˆXXˆˆnXYXXˆXXˆXˆˆnYXˆXˆXˆˆnkii2kikkii33kii221i2ii2kiki2i332i221ikiki33i221经典一元线性回归模型的OLS估计量满足线性、无偏及方差最小性，即高斯——马尔可夫定理，对于经典多元线性回归模型的普通最小二乘估计量，这一性质仍然存在，换言之，对于满足经典假设的多元线性回归模型，采用OLS方法所得估计量也满足线性、无偏及方差最小性。1、线性性由OLS估计可知令由解释变量的非随机性可知M为非随机矩阵。则为M中的第j+1行与Y的对应元素乘积之和，即故为Yi的线性组合，即线性性成立。（二）普通最小二乘估计量的性质YXXXβ)(ˆ-1XXXM)(-1),,2,1(ˆkjjk,1,2,jˆ1,1jniiijYMjˆ2、无偏性由零均值及解释变量为非随机可知：（二）普通最小二乘估计量的性质)]()(E[()]()E[(])([)ˆE(1-1--1βUXXXβUXβXXXYXXXβE3、有效性（也称方差最小性）首先导出的方差与协方差矩阵：由于βˆ)()()()(ˆ1-1--1UXXXβUXβXXXYXXXβ于是OLS估计量的方差与协方差矩阵为：12121-1-1-1-)()()()(E)(])()E[(])ˆ()ˆ([)ˆ(XXXXIXXXUUXXXXXXUUXXXβββββnECovVarβˆ（二）普通最小二乘估计量的性质即的方差与协方差矩阵为与之积，因此估计量的方差为与的第j个对角线元素之积(j=1,2,…,k)。令则βˆ2XX1)(jˆ2XX1)(XXC1)(k,1,2,jC)ˆ(jj2jVar由于总体分布未知，于是也未知，令2kneˆ2i2可以证明为总体方差的无偏估计量。最小方差的证明省略。2ˆ2（三）偏回归系数的含义•多元回归模型中的回归系数称为偏回归系数•某解释变量前回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动（三）偏回归系数的含义iiiiuXXY33221YX3=3度量了在保持X2不变的条件下，X3改变一个单位Y的平均改变量。YX2=2度量了在保持X3不变的条件下，X2改变一个单位Y的平均改变量。（四）正规方程•由最小二乘法得到的用以估计回归系数的线性方程组，称为正规方程ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbYXbXbXbbn222110111222111022110ˆˆˆˆˆˆˆˆˆˆˆˆYXBXXˆ（四）正规方程•Y——被解释变量观测值nx1•X——解释变量观测值（含虚拟变量nx(k+1)）•X`X——设计矩阵（实对称(k+1)x(k+1)矩阵）•X`Y——正规方程右端nx1•——回归系数矩阵（(k+1)x1）•——高斯乘数矩阵，设计矩阵的逆•——残差向量（nx1）•——被解释变量的拟合（预测）向量nx1Bˆ1)(XXUˆYˆ正规方程的结构（五）、多元回归模型参数估计中样本容量•样本是一个重要的实际问题，模型依赖于实际样本。•获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。•最小样本容量：满足基本要求的样本容量（五）、多元回归模型参数估计中样本容量最小样本容量n≥k+1：•(X`X)-1存在|X`X|0X`X为k+1阶的满秩阵•R(AB)≤min(R(A),R(B))•R(X)≥k+1•因此，必须有n≥k+1•一般经验认为：n≥30或者n≥3(k+1)才能满足模型估计的基本要求。n≥3(k+1)时，t分布才稳定，检验才较为有效满足基本要求的样本容量：四、多元线性回归模型的检验（一）估计量的显著性检验及置信区间对于多元线性回归模型的参数估计量，其在统计上是否显著，也需要作显著性检验，即t-显著性检验，其检验方法与一元线性模型的参数显著性检验基本相同，所不同的是现在要对所有解释变量前的参数进行显著性检验。与一元线性回归模型的原理完全一样可导出：以95%的可能性落在区间j]Tˆ,Tˆ[/2ˆ/2ˆjjSSjj(j=1,2,…,k)上，称该区间为的置信区间，或称区间估计，置信度为95%jˆ（一）估计量的显著性检验及置信区间很显然，置信区间越小则可信度越高，而置信区间的半径中临界值变化不大，因此估计量的可信度主要取决于其标准差的估计量，标准差越小，则可信度越高，标准差越大，则可信度越低。这与t-检验的显著性是等价的，从T统计量的计算可知，标准差越小，则t-统计量的绝对值越大，即t-值通过临界值的可能性也大，从而t-检验显著的可能性也大。另一方面，从标准差的计算公式可知，标准差的大小主要取决于总体方差估计量的大小及对角线上的元素，而与解释变量的线性相关的程度有关，当总体方差估计量较大以及解释变量的线性相关程度较高时，参数估计量的标准差的估计量也就较大，这时会影响参数的显著性。1)(XX1)(XX（二）回归方程的显著性检验1、回归参数的显著性检验（t－检验）的假设检验。统计量来进行回归系数以下可用得统计量代替，未知。用标准化。一般有将列的元素。行第的第）为（其中布，由前面知道：先要找出回归系数的分tkntcccNjjjjjjjjjjj)(~tjjXX),,(~221'2（二）回归方程的显著性检验t-检验的具体过程:备择假设。反之则反。拒绝原假设，接受判断：若，查表，得临界值给出显著水平根据样本计算提出假设：),(|t|)4()()3(0t)2(,...,2,1j0:H0:H)1(2/2/jjjjj1j0kntkntccckjjjjjj（二）回归方程的显著性检验2、回归参数的显著性检验（F－检验）•回归系数的t－检验，检验了各个解释变量Xj单独对应变量Y是否显著；我们还需要检验：所有解释变量联合在一起，是否对应变量Y也显著？•这即是下面所要进行的F-检验。（二）回归方程的显著性检验2、回归参数的显著性检验（F－检验）方差分析表以下用表格的形式列出平方和、自由度、方差:平方和来源平方和自由度均方和源于回归K-1源于残差n-k总平方和n-1)1/(kESS2)(YYTSSi2)(iiYYRSS2)(YYESSi)1/(nTSS)/(knRSS（二）回归方程的显著性检验。反之则反。接受备择假设拒绝原假设，判断：若，查表，得给