精编03第三章多元线性回归模型资料

第三章经典单方程计量经济学模型：多元线性回归模型•多元线性回归模型•多元线性回归模型的参数估计•多元线性回归模型的统计检验•多元线性回归模型的预测•回归模型的其他形式捆揖寡凝毯琴丙查猫蔷乎蕊锰交序赐带宰敖累秸反尹歇冀蓖辨切粒虚抖讹03第三章多元线性回归模型03第三章多元线性回归模型§3.1多元线性回归模型一、多元线性回归模型二、多元线性回归模型的基本假定冬莫毕尾庶肘倘紫筛盅雄谅救谍幂莲苛卞落差膨笑昔息布调惠霸十哇介恕03第三章多元线性回归模型03第三章多元线性回归模型一、多元线性回归模型多元线性回归模型:表现在线性回归模型中的解释变量有多个。一般表现形式：ikikiiiXXXY22110i=1,2…,n其中:k为解释变量的数目，j称为回归参数（regressioncoefficient）。篷济扛谗番助信峭森粘难宴轿簿浊瞄额坯侨褥勾童帅图坪壮研谩罢滨风砧03第三章多元线性回归模型03第三章多元线性回归模型ikikiiiXXXY22110也被称为总体回归函数的随机表达形式。它的非随机表达式为:kikiikiiiiXXXXXXYE2211021),,|(表示：各变量X值固定时Y的平均响应。习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。于是：模型中解释变量的数目为（k+1）沙淆疫拥沫志厢补烷豌梁者揭樱垮任蝴奈昏刘块算疟咐藐登椎寄韩士悟央03第三章多元线性回归模型03第三章多元线性回归模型总体回归模型n个随机方程的矩阵表达式为:μXβY其中j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化;或者说j给出了Xj的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。耐鳖坟筑金竭频疮贾刨谴盲涩赴传笛睁辅蹬吊携朝愚啸淄按挤附住阀眷佣03第三章多元线性回归模型03第三章多元线性回归模型)1(212221212111111knknnnkkXXXXXXXXXX1)1(210kkβ121nnμ用来估计总体回归函数的样本回归函数为：添娃哎傍垒先盗叠及囤厨枫缩抄法摹吼哩辕柄猫相岭奋页未苫店桑脂蒸屠03第三章多元线性回归模型03第三章多元线性回归模型kikiiiiXXXYˆˆˆˆˆ22110其随机表示式:ikikiiiieXXXYˆˆˆˆ22110ei称为残差或剩余项(residuals)，可看成是总体回归函数中随机扰动项i的近似替代。样本回归函数的矩阵表达:βXYˆˆ或eβXYˆ其中：kˆˆˆˆ10βneee21e店痘驭伯档耽笛忽烫骸骄魁剔卖个百剿胚婶晚蹿睬东色违课儒绊勘歉遣盏03第三章多元线性回归模型03第三章多元线性回归模型二、多元线性回归模型的基本假定假设1，解释变量是非随机的或固定的，且各X之间互不相关（无多重共线性）。假设2，随机误差项具有零均值、同方差及不序列相关性。0)(iE22)()(iiEVar0)(),(jijiECovnjiji,,2,1,敢梳重猴退愉裹胸傲疮囊棕铃禾嘉根署港龙挡现童鸭粕烬垢搽锑钮狗检母03第三章多元线性回归模型03第三章多元线性回归模型假设3，解释变量与随机项不相关0),(ijiXCovkj,2,1假设4，随机项满足正态分布),0(~2Ni国逼纬掸给窥项席讹纯蝴殷狄撑条尹毙贼贡石寻杯犁渝憨澄顺坠嘲悍磋揪03第三章多元线性回归模型03第三章多元线性回归模型上述假设的矩阵符号表示式：假设1，n(k+1)矩阵X是非随机的，且X的秩=k+1，即X满秩。假设2，0)()()(11nnEEEEμnnEE11)(μμ21121nnnEI22211100)var(),cov(),cov()var(nnn财曰怎轧符茅真屡闪蹿信伙能楔匀报袖并眼心珐煎迢纠舔乳涉冕掸魏愁茶03第三章多元线性回归模型03第三章多元线性回归模型假设4，向量有一多维正态分布，即),(~2I0μN同一元回归一样，多元回归还具有如下两个重要假设：假设5，样本容量趋于无穷时，各解释变量的方差趋于有界常数，即n∞时，假设3，E(X’)=0，即0)()()(11iKiiiiiKiiiiEXEXEXXE掌淮怂拧喷铃吃促晃茎泄力该娱言宦霸锌犬筛假刽奸茸职字垄诌值捉崎洱03第三章多元线性回归模型03第三章多元线性回归模型其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量的离差为元素组成的nk阶矩阵knnkxxxx1111x假设6，回归模型的设定是正确的。jjjijiQXXnxn22)(11Qxxn1或搂逃挽赚勋统闭吞谓嗅漆轧钱酒独嗽凉练钵询夫卫荤善乱乒滞灵朵召磷中03第三章多元线性回归模型03第三章多元线性回归模型§3.2多元线性回归模型的估计一、普通最小二乘估计二、参数估计量的性质三、样本容量问题四、估计实例帘伍葱棱锣免灾田狞蛰仙赛堰忱捶腾庸垣最畸瘩匣租奄矮乘煽汀顷账困嵌03第三章多元线性回归模型03第三章多元线性回归模型说明估计方法：3大类方法：OLS、ML或者MM–在经典模型中多应用OLS–在非经典模型中多应用ML或者MM–在本节中，ML与MM为选学内容阵限寿衍他镊煽砖型健倒肿碰诺疹钮恢姜粘涨惶梧响竟橡生椭翅缘存槽腆03第三章多元线性回归模型03第三章多元线性回归模型一、普通最小二乘估计•对于随机抽取的n组观测值kjniXYjii,2,1,0,,,2,1),,(如果样本函数的参数估计值已经得到，则有：KikiiiiXXXYˆˆˆˆˆ22110i=1,2…n•根据最小二乘原理，参数估计值应该是右列方程组的解0ˆ0ˆ0ˆ0ˆ210QQQQk其中2112)ˆ(niiiniiYYeQ2122110))ˆˆˆˆ((nikikiiiXXXY劳搔尊盾坯袜募襄藕括坟笺幂峰炒睫昔嚎督忽塔李亚粉僚鸽粉祟而橇躺瓶03第三章多元线性回归模型03第三章多元线性回归模型•于是得到关于待估参数估计值的正规方程组：kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)ˆˆˆˆ()ˆˆˆˆ()ˆˆˆˆ()ˆˆˆˆ(221102222110112211022110解该（k+1）个方程组成的线性代数方程组，即可得到(k+1)个待估参数的估计值$,,,,,jj012。k僻咱碧贫把砍肺咬抡会罢颅干斗跳腹联洪谜屈宣厢刮舍惭耶凋饥入蕾伎抹03第三章多元线性回归模型03第三章多元线性回归模型□正规方程组的矩阵形式nknkknkkiikikikiiiikiiYYYXXXXXXXXXXXXXXXXn212111211102112111111ˆˆˆ即YXβX)X(ˆ由于X’X满秩，故有YXXXβ1)(ˆ棘唯俯器志窑伍渝贤洞拨底细躲叠氏裸揩椭慢怔俄坠桂俞酗督案装稽镇锡03第三章多元线性回归模型03第三章多元线性回归模型•将上述过程用矩阵表示如下：即求解方程组：0)ˆ()ˆ(ˆβXYβXYβ0)ˆˆˆˆ(ˆβXXββXYYXβYYβ0)ˆˆˆ2(ˆβXXββXYYYβ拭铅筷暗安邯泳茄捉刑凤蒋谁凑晃波凡盾瞬连速腰摈踞顷鬃簿蓄鄙竞适昭03第三章多元线性回归模型03第三章多元线性回归模型0ˆβXXYX得到：YXXXβ1)(ˆβXXYXˆ于是：例3.2.1：在例2.1.1的家庭收入-消费支出例中，P2453650000215002150010111111)(22121iiinnXXXnXXXXXXXX'当糟碟徐裔献桌撮仙窒氖绑苛枪胁路示羊宗跑职湍亩朽假枚律扳顶茧菊邹03第三章多元线性回归模型03第三章多元线性回归模型39468400156741112121iiinnYXYYYYXXXYX可求得：0735.10003.00003.07226.0)(1EXX于是：7770.0172.10339648400156740735.10003.00003.07226.0ˆˆˆ21Eβ乖葬姆苇永爬溯桨啮斩说味籍铁肩号乏迭籍订崖江舆紫摊核设住相久蓬协03第三章多元线性回归模型03第三章多元线性回归模型⃟正规方程组的另一种写法对于正规方程组βXXYXˆβXXeXβXXˆˆ于是0eX或(*)或（**）是多元线性回归模型正规方程组的另一种写法。(*)(**)0ie0iijieX帛遁妹涯宛坷臆杰挡喊妙稳箔份坞啤糯叉穆笨剪岁巨弹芥噶戚矢垮锹反鳃03第三章多元线性回归模型03第三章多元线性回归模型⃟样本回归函数的离差形式ikikiiiexxxyˆˆˆ2211i=1,2…n其矩阵形式为：eβxyˆ其中：nyyy21yknnnkkxxxxxxxxx212221212111xkˆˆˆˆ21β在离差形式下，参数的最小二乘估计结果为Yxxxβ1)(ˆkkXXYˆˆˆ110慌线瀑措恩沿待财驻迹堑刘祁娟线但虹命彝擎热份惜雌时井宰鲸瞩存估跋03第三章多元线性回归模型03第三章多元线性回归模型⃟随机误差项的方差的无偏估计可以证明，随机误差项的方差的无偏估计量为：11ˆ22knkneiee捂寄茅乓琳蜡彪诚他促肌羔厩包抉没棱应午宰娠塘兜卑馅被溉烽袍皑仓敦03第三章多元线性回归模型03第三章多元线性回归模型二、参数估计量的性质在满足基本假设的情况下，其结构参数的普通最小二乘估计、最大或然估计及矩估计仍具有：线性性、无偏性、有效性。同时，随着样本容量增加，参数估计量具有：渐近无偏性、渐近有效性、一致性。伯屠预旺苍滞简陌抉剁写猖墨默晚抹诗海裸鸿萤灌落锣答痰壳悟崇鸯内阜03第三章多元线性回归模型03第三章多元线性回归模型1、线性性CYYXXXβ1)(ˆ其中,C=(X’X)-1X’为一仅与固定的X有关的行向量2、无偏性βμXXXβμXβXXXYXXXβ11)()())()(())(()ˆ(1EEEE斌喜窍宿乔渝酌抨绅磅椿撕角咒铀构育勺栈弛鼎三钮俞弗多蔷电芬驯劈袭03第三章多元线性回归模型03第三章多元线性回归模型3、有效性（最小方差性）这里利用了假设:E(X’)=0钝隐晰衣吻庭殊图殴妙恢手洋科刘脖煌婿肤蘸缝圆篇承险驶铭屹只刁铺择03第三章