§2.3多元线性回归模型的参数估计

§2.3多元线性回归模型的参数估计01-03-02重庆商学院经济系2学习内容LearningObjectives0.多元线性回归模型的一般形式1.OLS估计3.参数估计的性质4.正规方程5.样本容量问题6.多元线性回归模型的参数估计的实例01-03-02重庆商学院经济系3问题的提出*现实生活中引起被解释变量变化的因素并非仅只一个解释变量，可能有很多个解释变量。例如，产出往往受各种投入要素——资本、劳动、技术等的影响；销售额往往受价格和公司对广告费的投入的影响等。*所以在一元线性模型的基础上，提出多元线性模型——解释变量个数=201-03-02重庆商学院经济系4解决问题的思路在多元模型中要估计的乃是一个平面或超平面。选取最好“平面”的准则，仍然是实际点到拟合平面（通常仍称它为拟合直线）的纵向距离最小——拟合值尽可能逼近真值——使剩余（实际值Y减去拟合直线上对应的Y^值）的平方和最小。于是将问题转化为一个求极值的数学问题01-03-02重庆商学院经济系5一元模型及其数据的形式YXXXBYXBXXnnXXnXXXYXuBXYBBuuBXYYYuBXYuYYuXBYxxxxxxxxxxxyxyuuuxxxyyyuuxyiiiiiiiiniiinnniiii)(ˆˆ111,,111,minˆ,ˆˆˆˆˆˆˆˆ1222122121102121210ˆ注意模型：01-03-02重庆商学院经济系6多元模型的解析表达式uyyuyyxxxyuxxxyuxxxyuxxxyxxxyuxxxyiiiiiiikkiiinnkknnnkkkkikiiiiikkiiiniˆˆˆˆˆˆˆˆˆ2211022110222222110211122111012122110,,2,1，，，数据：01-03-02重庆商学院经济系7uuuxxxxxxxxxyyyuuuxxxxxxxxxyyynknkkknnnnknkkknnnNYYNBXYNXBYˆˆˆˆˆˆˆˆˆˆ21210212221212111212121021222121211121ˆ111ˆˆˆˆ11101-03-02重庆商学院经济系80.多元线性回归模型的一般形式uuuxxxxxxxxxyyynknkkknnnNBXYNXBY212102122212121112111101-03-02重庆商学院经济系9一、普通最小二乘估计0000ˆˆˆˆˆˆˆˆ210121212110QQQQxxyyyQknininiiikkiiiie01-03-02重庆商学院经济系100000ˆˆˆˆˆˆˆˆˆˆˆˆ1102110211101110xxxxyxxxxyxxxxyxxyikikkiikiiikkiiiiikkiiiikkii正规方程01-03-02重庆商学院经济系11xyxxxxyxxxxyxxxyxxikiikikkiiiiikkiiiiikkiiikkiˆˆˆˆˆˆˆˆˆˆˆˆ1102211011110110正规方程01-03-02重庆商学院经济系12YXBXXnnyxyxyxxxxxxxxxxxxxxxyxxxxxxxyxxxxxxxyxxxxxxxyxxxikiikiiiiikikikiikiikikiiiiiikiiikikkikikikiikikikiiiiiikikiiiiiikikiiˆ121ˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆ102211212112121111022221210212211210122110正规方程01-03-02重庆商学院经济系13yyyyyyxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxyyynnkkkkkkkkknkkknnnkkknnnNByyyYXnXXXXYˆˆˆˆˆˆ22111012212222121212112121222121211121222121211121ˆˆ11111101-03-02重庆商学院经济系14yyyYXnXXXXYxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxyyykkkkkkkknkkknnnkkknnn1221222212121211212122212121112122212121112111111101-03-02重庆商学院经济系15最小二乘法的矩阵表示1ˆ0ˆ0ˆˆˆˆ2ˆˆ)ˆˆˆˆ()ˆ)(ˆ()ˆ()ˆ(ˆˆˆ),0(~ˆˆˆ2112212kneeYXXXBBXXYXBQBXXBYXBYYYXBBXYBXXBYXBBXYYYBXYXBYQBXYBXYeeBXYYYEyyQNNNXBYBXYniniiiie？为什么01-03-02重庆商学院经济系16三、最小二乘估计量的性质1、线性（估计量都是被解释变量观测值的线性组合）2、无偏性（估计量的数学期望=被估计的真值）3、有效性（估计量的方差是所有线性无偏估计中最小的）01-03-02重庆商学院经济系171、线性（估计量都是被解释变量观测值的线性组合）YXXXB)(ˆ101-03-02重庆商学院经济系182、无偏性BNXEXXBNXXXXBXXXENXBXXXEYXXXEBE)()(])()[()]()[(])[()ˆ(1111101-03-02重庆商学院经济系193、有效性NXXXBNXXXXBXXXBNXBXXXXXXXXXXXNNEXXXNNEXXXXXXNNXXXEBNXBXXXBNXBXXXEBYXXXBYXXXEBBBBEBEBBEBEBCovxExExCovkk)()()()()()()())(()()()(])()[(]))())(()()[((])))(()[((])ˆ)(ˆ[(]))ˆ(ˆ)(ˆ(ˆ[()ˆ())(()(11111111111111122)1()1(注意：计中最小示的方差在所有无偏估马尔可夫定理，如此表根据高斯回忆：01-03-02重庆商学院经济系20Cov(B^)的统计含义？残差对应的自由度残差平方和1ˆ)()ˆ()(),(),(),(),(),()(),(),(),(),()()ˆ(222102121120100100ˆˆ1knyyXXBCovVarCoVCoVCoVCoVCoVVarCoVCoVCoVCoVVarBCoviikkkkkk01-03-02重庆商学院经济系21一致性参数估计量在小样本下不完全具有无偏性和有效性，但是随着样本容量增大，即当n時，参数估计量趋于参数真值——渐进无偏性，方差趋于所有线性无偏估计中的最小——渐进有效性，则称该估计量具有一致性。一致性是一种大样本属性。01-03-02重庆商学院经济系22偏回归系数的意义1、关于模型5项基本假定满足的条件下，OLS得到的回归系数具有三项优良性——线性、无偏和有效，是一个很好的估计量。2、多元回归模型中的回归系数称为偏回归系数。某解释变量前回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动。3、偏回归系数是有单位的。01-03-02重庆商学院经济系23四、正规方程1、正规方程的定义2、正规方程的解析表示3、正规方程的矩阵表示4、最小二乘法是广义矩估计法的特例01-03-02重庆商学院经济系24正规方程由最小二乘法得到的用以估计回归系数的线性方程组，称为正规方程。yxxxxxxxyxxxxxxxyxxxxxxxyxxxikiiikikkikikikiikikikiiiiiikikiiiiiikikiinˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆ211110222212102122112101221102101-03-02重庆商学院经济系25正规方程的矩阵表示YXBXXnnyxyxyxxxxxxxxxxxxxxxxxxxxxyxxxxxxxyxxxxxxxyxxxxxxxyxxxikiikiiiiikikikiikiikikiiiiiikiiiiiikiiikikkikikikiikikikiiiiiikikiiiiiikikiiˆ121ˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆ10221222212121211212111102222121021221121012211001-03-02重庆商学院经济系26正规方程的结构Y—被解释变量观测值nx1X—解释变量观测值（含虚拟变量nx(k+1)）X`X—设计矩阵（实对称(k