第9章 线性回归模型的矩阵方法

第9章线性回归模型的矩阵方法1223323239.1(PRF):1,2,3,,(9.1.1),,,(|,,,)(9.1.1)iiikkiikiikikkYXXXuinXXXYEYXXXPRF变量线性回归模型变量总体回归模型可以写为：它给出以的固定值为条件的的均值或期望值，即。方程即是下述方程组：1122133111212213322212233..kkkknnnkknnY=β+βX+βX++βX+uY=β+βX+βX++βX+uY=β+βX+βX++βX+u（912）121311112223222223..11..31..kknnnknknYXXXβuYXXXβu=+YXXXβu=+yXβu方程（912）可以写为下列矩阵形式：（91）（914）111nnkkny=Xβ+u简写为：()0iEu()0Eu2()0ijEuuijij2()EuuI23,,,kXXX()kX为了假设检验2(0,)iuN向量u有一多维正态分布,即2(,)Nu0I标量符号矩陈符号对每个i(3.2.1)其中u和0都是n×1列向量且0是零向量(3.2.5)(3.2.2)其中I是n×n恒等矩阵是非随机的或固定的n×k矩阵X是非随机的,即它由固定数的一个集合构成X诸变量之间无准确的线性关系,即无多重共线性(7.1.7)其中k是X中的列数,且k小于观测次数n(4.2.4)X的秩是表9.1关于经典回归模型的假定9.2用矩阵表示的关于经典线性回归模型的假定1122321112122212212212()000nnnnnunnEuEuuEuEuEuuuuuuuuuuuuuEEuuuEuuuuuuu=0uu其中，是指2112122122212222000000000innnnnuvariance-covariancematrixEuEuuEuuEuuEuEuuEEuuEuuEuEuuuu得干扰项的（）：根据同方差性和无序列相关假定，有：方差-协方差矩阵22100001000001I12233129.3LSRF:ˆˆˆˆˆˆˆiiikkiinOkYXXXuYYYy=Xβ+u估计变量的样本回归函数（S）矩阵形式为：即：1213111223222223ˆ1ˆˆ1ˆ1ˆˆˆˆ111kknnknnkXXXuXXXuXXXunnkkny=Xβ+u2221221222221212ˆLSˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆiiiikkinninkOuuYXXuuuuuuuuuuuuuu变量的估计量也是从残差平方和最小化求得：就是使最小化，因为：ˆˆˆˆˆˆˆˆˆˆˆˆˆy=Xβ+uu=y-Xβuu=y-Xβy-Xβ=yy-2βXy+βXXββXyyXβ其中，是一个标量，它的转置就是它本身。21221221212222ˆˆˆˆˆˆˆˆ21ˆˆˆˆˆ2ˆikiiikkiiiikkiiuuYXXuYXXX将对、，，求偏微分得：212ˆˆˆˆ2ˆiikikkikikuYXXX令这些偏导数为零，整理得k个正规方程：1223321222323222132323333212233ˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆiikkiiiiiikikiiiiiiikikiiikikiikiikkikiinXXXYXXXXXXXYXXXXXXXYXXXXXXXYLLLLLLLLLLLLLLLLLLLLLLLLLLLLLL写成矩阵形式为：1223321222323222132323333212233ˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆiikkiiiiiikikiiiiiiikikiiikikiikiikkikiinXXXYXXXXXXXYXXXXXXXYXXXXXXXYLLLLLLLLLLLLLLLLLLLLLLLLLLLLLL写成矩阵形式为：12322212222223223132333233321223ˆ111ˆˆˆiikiniiiiikiniiiiikikkknkikiikiikiknXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXLLLLLLLLLLLLLLLLLLLLLLLLLLLLML123nYYYYM12322212222223223132333233321223ˆ111ˆˆˆiikiniiiiikiniiiiikikkknkikiikiikiknXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXLLLLLLLLLLLLLLLLLLLLLLLLLLLLML1232321311222322212232223123ˆ()1111111niikikiknnnknkkkknYYYYnXXXXXXXXXXXXXXXXXXXXXXXXyXX因为：MLLLLLLLLLLLLLLLLLLLLLLL22232233233223iiiikiiiiiikikikiikiikiXXXXXXXXXXXXXXXXXLLLLLLLLLLLLLLLLLLL-1-1-1ˆˆXXβ=XyXXXXXXβ=XXXy简写为：如果存在，则有：-1ˆ..11ˆˆˆˆˆkkkknnβ=XXXyuu=yy-2βXy+βXXβ即：（9311）这个结论也可以用矩阵方法直接推得：ˆˆˆ2ˆˆˆ-1uu-Xy+2XXββXXβ=Xyβ=XXXy令上式等于零，有：注11121212212ˆˆˆˆˆˆvarcovˆˆˆˆˆvarcov,cov,ˆˆˆˆˆcov,varcov,ˆˆˆˆˆcov,cov,varkkkkkEEELLLLLLLLLLLLLLLLLLL的方差协方差矩阵122iuXX其中，是的共同方差。ˆˆˆ-1-1-1-1-1-1β=XXXyy=Xβ+uβ=XXXXβ+u=XXXXβ+XXXu=β+XXXuβ-β=XX证明：把代入上式得：因此，ˆˆˆvar-cov(AB)BEEE-1-1-1-1Xuβ=β-ββ-β=XXXuXXXu=XXXuuXXX根据定义有：（3）注：A,-1-1-1XXXXXX2222ˆvar-covXEE-1-1-1-1-1β=XXXuuXXXuuI=XXXIXXX=XX非随机，（3）可化简为：的无偏估计量是：22ˆˆˆˆiunknknkuu其中，代表自由度。22221223312233ˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆiiiikikiiiikkiiiiiiuyyxyxYXXXuuYXXuuuu的简便算法：证明：（1）得：12233122332233ˆˆˆˆˆˆˆˆˆˆˆˆkkkkkiikYXXXYXXXuYYXXX（2）（3）（4）（4）代入（2）得：（）22332223332233ˆˆˆˆˆˆ(ˆˆˆiikkikiiikkiiiikkiXXXYYXXXXXXyxxx（）（）（））2223323223322233ˆˆˆ()ˆˆˆˆ()ˆˆˆˆ0ˆˆˆˆ()ˆˆˆiiiiiiikkiiiiiiiikiiiiiiikkiiiiiikuuuuyxxxuyuxuxuxyuyyxxxyyxyxy（）ikix22222222:i2iiii22iii2iynYyYYY2YYYY2YYnYY2YnYnYYnYnYTSSyy+++yy2证明：（）（）222233222SSˆˆˆ()ˆˆiiiiiikikiiikikiyyyxyxyxyxyxnYcorrectionformeanESSTSSR其中被称为均指校正值（）。ˆˆˆˆˆˆ((ˆˆˆˆˆˆˆˆˆˆˆuuyXβyXβ)yβXyXβ)yyyXββXy+βXXβyyβXyyβXXβy=Xβ+uy=βX+uQ)()(（）ˆˆˆˆˆˆˆˆˆˆyβX=uuuyyβXyuXβyyβXyXuβ代入上式得：（）（1）ˆˆˆˆˆˆˆˆ-1-1y=Xβ+uXXy=XXβ+Xuβ=XXXyXy=XXXXXy+Xu=Xy+XuXu=0Q两边左乘得：将代入上式得：有：22ˆˆˆSSˆˆnYnYuuyyβXyESSTSSRyyyyβXyβXy（2）（2）代入（1）得：于是有：（）OLSBLUEˆˆˆ-1-1β=XXXyXXXβyβ估计量的性质（1）是一个固定数矩阵，故是的线性函数，是一个线性估计量RF:ˆ-1y=Xβ+uβ=XXXXβ+u回顾P（2）（2）代入（1）得：（3）ˆEEE-1-1-1-1=XXXXβ+XXXu=β+XXXuβ=β+XXXu=β（4）对（4）两边取数学期望得：（）（）（）（5）可见，无偏性成立。*-1*-1*βββ=XXX+CyCβ=XXX+CXβ+u=β+CXβ令为的任意其他线性估计量，可以把它写为：（6）其中是一个常数矩阵。（2）代入（6），得；-1*-1*+XXXu+CuββCX=0ββ=XXXu+Cu（7）要求是的一个无偏估计量，则必有：因而，（7）式变为：（9）ˆ***-1-1-1*222var-covβ=Eβ-β