多元线性回归模型参数的最小二乘估计

§3.2多元线性回归模型参数的最小二乘估计一、一般模型的参数最小二乘估计设与总体线性回归模型（3.1.1）对应的样本线性回归模型为ikikiiixxxyˆˆˆˆ22110（3.2.1）i=1,2,…，n或表示为矩阵形式为ˆXYˆˆˆˆ10kn21其中相应的样本线性回归方程为（3.2.2）i=1,2,…，nxxxykikiiiˆˆˆˆˆ22110利用最小二乘法求参数估计量：设残差平方和为Q，则ˆ,,ˆ,ˆ,ˆ210k)ˆ(22yyQiii)ˆˆˆˆ(222110xxxykikiii我们的任务是寻求适当的使Q达到极小。根据多元函数的极值原理，应是下列方程组的解：ˆ,,ˆ,ˆ,ˆ210kˆ,,ˆ,ˆ,ˆ210k0)ˆˆˆˆ(2ˆ221100xxxyQkikiii0)ˆˆˆˆ(2ˆ1221101xxxxyQikikiii……………………0)ˆˆˆˆ(2ˆ22110xxxxyQkikikiiik得到正规方程组，整理可得正规方程组：yxxxnikikiiˆˆˆˆ22110yxxxxxxxiiikikiiii1112221110ˆˆˆˆ……………………yxxxxxxxkiikikkiikiiki222110ˆˆˆˆ(3.2.3)由（3.2.3）第一个方程，得xxxykkˆˆˆˆ22110（3.2.4）将正规方程组写成矩阵形式：ˆˆˆ1022111221121kkikiikiikiikiiiiikiiixxxxxxxxxxxxxxxnyxyxyikiiii1（3.2.3）′其中XXxxxxxxxxxxxxxxxnkikiikiikikiiiiiikiii22112121121YXyxyxyikiiii1ˆˆˆˆ10k于是正规方程组的矩阵形式为YXXXˆ)(（3.2.5）可得最小二乘法的参数估计式：YXXX)(ˆ1（3.2.6）这就是向量β的OLS估计量。其中(X′X)根据假定6，rk(X)=k+1，（X′X）为（k+１）阶方阵，所以(X′X)满秩，其逆矩阵(X′X)-1存在。二、中心化模型的参数最小二乘估计uxxxyikikiii22110（3.2.7）相应的样本线性回归模型可以表示为ikikiiixxxyˆˆˆˆ22110（3.2.8）对于样本容量为n的y的均值可分别表示为yuxxxykk22110（3.2.9）和xxxykkˆˆˆˆ22110（3.2.10）这里=０，可以看作是对参数施加一个限制条件。方程（3.2.7）减方程（3.2.9）得uxxxyikikiii2211（3.2.11）i=1,2,…，n方程（3.2.8）减方程（3.2.10）ikikiiixxxyˆˆˆ2211（3.2.12）i=1,2,…，n（3.2.11）和（3.2.12）是分别由n个方程组成的方程组。将它们写成矩阵形式：UXYˆXY（3.2.13）（3.2.14）其中yyyYn21xxxxxxxxxXknnnkk212221212111k21ˆˆˆˆ21kuuuUn21n21应用OLS,求残差平方和)ˆ()ˆ(2XYXYiˆˆˆ2XXYXYY其中用到是标量的性质。ˆXY将残差平方和（3.2.15）对求导，并令其为零：0ˆ22ˆ)(XXYX正规方程组YXXXˆ（3.2.16）解方程组（3.2.16）得YXXX)(ˆ1（3.2.17）xxxkixxxxxxxxxxxxXXkiiikikiiiiikiiiii2212221212121yxyxyxyyyxxxxxxxxxYXikiiiiinknkknn2121212222111211矩阵运算等价于行列式计算（对正规方程（3.2.16）应用克莱姆法则）：)()(ˆkDkDjjj=1,2,…，k（3.2.28）xxxykkˆˆˆˆ22110（3.2.29）xxxxxxxxxxxxxxxkDkiikiikikiiiiikiiiii2212221212121)(xyxxxxxxxyxxxxxxyxxxxkDkiikikiikiikiiiiiiikiiiiiiij221222221112121)(（j列）思考题：与一元回归类似有性质：1.2.和之间的样本协方差为零3.点总是位于OLS回归线上：yyˆyiˆi),,,,(21yxxxkxxxkkyˆˆˆˆ22110