多元回归分析――估计

多元回归分析——估计模型与简单回归的相似点多元回归的意义多元回归的最小二乘法多元回归的代数性质多元回归的统计性质遗漏变量拟合度多重共线性引子使用简单的回归分析，可以把因变量y解释成一个自变量x的函数。然而在实际的经验研究中使用简单回归分析的主要缺陷是，它很难得到x在其他条件不变情况下对y的影响：因为关键假定SLR.3（所有其他影响y的因素都与x不相关）通常都不现实。很自然，如果我们在模型中多增加一些有助于解释y的因素，那么，y的变动就能更多地得到解释。因此，多元回归分析可用于建立更好的因变量预测模型。多元回归分析(multipleregressionanalysis)允许我们明确地控制许多其他也同时影响因变量的因素，所以它更适合于其他条件不变情况下的分析。在使用非实验数据的情况下，这对检验经济理论和评价经济政策都很重要。多元回归模型能够容纳许多可能相关的解释变量，在简单回归分析可能误导的情况下，可以寄希望于多元回归模型来推断因果关系。多元回归分析的另外一个优点是，它可以用以添加相当一般化的函数关系。在简单的回归模型中，方程中只能出现单一个解释变量的一个函数。如我们将看到的那样，多元回归模型的灵活性则大得多。使用多元回归的动因先用两个例子来说明，如何用多元回归分析来解决简单回归所不能解决的问题。wage=β0+β1educ+β2exper+u……(3.1)其中exper是在劳动市场上以年计的工作经历。则工资wage由受教育水平和工作经历这两个解释变量或自变量及那些观测不到的其他因素来决定。我们首要感兴趣的，是在保持所有其他影响工资的因素不变情况下，educ对wage的影响；即我们只对参数β1感兴趣。与仅联系wage和educ的简单回归分析相比，方程(3.1)有效地把exper从误差项中取出并把它明确地放到方程之中。所以系数β2度量了exper在其他条件不变情况下对工资的影响，这点也有意义。就像在简单回归中一样，我们将不得不对(3.1)中的u如何与自变量educ和exper相关做出假定。但像我们在第3.2节中将看到的那样，有一点我们充满信心：因为(3.1)中明确地包含了工作经历，所以我们就能在保持工作经历不变的情况下，度量教育对工资的影响。如果将工作经历放到误差项的简单回归分析中，我们就不得不假定工作经历与受教育水平无关，显然这是一个脆弱的假定。第二个例子问题：解释在高中阶段对每个学生的平均开支(expend)对平均标准化考试成绩(avgscore)的影响。假设平均考试成绩取决于学校基金、平均家庭收入(avginc)及其他不可观测因素：avgscore=β0+β1expend+β2avginc+u…………(3.2)出于政策目的，所关心的系数是expend在其他条件不变情况下对avgscore的影响β1。通过在模型中明确包括avginc，我们就能控制其对avgscore的影响。由于平均家庭收入与每个学生的开支趋于相关，所以加入这个变量可能很重要。简单回归中，avginc被包括在误差项中，而avginc与expend可能相关，从而导致在两变量模型中对β1的OLS估计有偏误。前面两个例子已经说明，除主要关心的变量外，如何把其他的可观测因素也包括在回归模型中。一般地，我们可以把含有两个自变量的模型写作y=β0+β1x1+β2x2+u……(3.3)其中，β0是截距，β1度量了在其他条件不变情况下y相对x1的变化，而β2则度量了在其他条件不变情况下y相对x2的变化多元回归分析对推广变量之间的函数关系也有帮助。例如：假设家庭消费(cons)是家庭收入(inc)的一个二次函数：cons=β0+β1inc+β2inc2+u……(3.4)其中u包括了影响消费的其他因素，在这个模型中，消费只取决于收入这一个观测变量；所以看上去，一个简单的回归分析就可以对付。但简单回归不能处理这个模型，因为它包括了收入的两个函数inc和inc2（因此就有三个参数β0、β1和β2）。尽管如此，通过令x1=inc和x2=inc2，消费函数还是可以很容易地写成一个含两个自变量的回归模型。机械地看，用普通最小二乘法去估计方程(3.1)和(3.4)，应该没有什么差别。每个方程都可以写成像(3.3)那样的方程。但重要的差别在于，人们对参数的解释。(3.1)中，β1是educ在其他条件不变情况下对wage的影响。而方程(3.4)中的参数β1则没有这样的解释。换句话说，度量inc在保持inc2不变的情况下对cons的影响是毫无意义的，如果inc变化，则inc2也一定会变化！相反，相对收入变化的消费变化——即边际消费倾向——可近似为：换句话说，收入对消费的边际效应取决于β2、β1和收入水平。这个例子表明，在任何一个特定应用中，对自变量的定义都是至关重要的incinccons212在含有两个自变量的模型中，u与x1和x2如何相关的关键假定是，E(u︱x1,x2)=0……(3.5)意味着，对总体中x1和x2的任何值，非观测因素的平均都等于零。如何解释前面例子中条件均值为零的假定：在(3.1)中，这个假定是E(u︱educ,exper)=0。意味着，影响wage的其他因素都与educ和exper无关。因此，如果我们认为天生能力是u的一部分，那我们就需要假定，对工人总体中受教育和工作经历的各种组合，其平均能力水平都相同。这可能正确也可能不正确，但我们将看到，这正是为了判断普通最小二乘法是否导致无偏估计量而需要知道的问题。(3.2)的例子类似于工资方程。其零条件均值的假定为E(u︱expend,avginc)=0，它意味着，影响学生考试成绩的因素——学校或学生的个人特征——总体上与学生的平均开支和平均家庭收入无关。在(3.4)中的二次消费函数，对零条件均值假定的解释则略有不同。直接照写，(3.5)就变成了E(u︱inc,inc2)=0。因为一旦知道了inc，那就会知道inc2，所以在预期表达式中包括inc2项是多此一举：E(u︱inc,inc2)=0等价于E(u︱inc)=0。虽然在表述这个假定时让inc2和inc一起出现在预期项中并没有错，但E(u︱inc)=0更简明扼要。问题用定罪概率(prbconv)和宣判监禁的平均时间长度(avgsen)来解释城市谋杀率(murdrate)的一个简单模型：murdrate=β0+β1prbconv+β2avgsen+uu中包含了一些什么因素？你认为关键假定(3.5)有可能成立吗？因素包括了年龄和性别分布、警力规模(或更一般地，投入到与犯罪做斗争的资源)、人口和一般历史因素。这些因素当然有可能与prbconv和avgsen相关，这时就意味着(3.5)不成立。比如，某些在预防犯罪和执法方面投入较多气力的城市，其警力规模可能与prbconv和avgsen都相关。含有K个自变量的模型一旦开始多元回归，没有必要局限于两个自变量。多元回归分析允许多个可观测因素影响y。在上述工资的例子中，我们还可以包括在职培训的数量、现任工作的任期、个人能力的某种度量，甚至是像兄弟姐妹的个数或母亲受教育程度等人口变量。在学校基金的例子中，额外的变量可能包括对教师质量和学校规模的某种度量。多元回归分析模型y=0+1x1+2x2+...kxk+u0112211110111,,,1iiikikiknnnkknyxxxyxxyxyxxyx一般的多元线性回归模型(multiplelinearregressionmodel，也称为多元回归模型)在总体中可以写成y=β0+β1x1+β2x2+β3x3+…+βkxk+u……(3.6)其中β0为截距(intercept)，β1是与x1相联系的参数，β2是与x2相联系的参数，等等。由于有k个自变量和一个截距项，所以方程(3.6)包含了k+1个(未知的)总体参数。为了表达上的简便，把这种不同于截距的参数称为斜率参数(slopeparameter)，尽管它们并不一定表示斜率。[如方程(3.4)，其中β1和β2本身都不是斜率，但它们一起决定了消费与收入之关系的斜率。]多元回归的术语类似于简单回归的术语。恰如简单回归中一样，变量u表示误差项(errorterm)或干扰项(disturbance)。它包括除x1，x2，x3，…，xk之外仍影响y的一些因素。无论在我们的模型中包含了多少个解释变量，总有一些因素我们无法包括进来，而所有这些因素就包括在u中。多元线性回归模型中的“线性”一词，意味着方程(3.6)是其诸参数βj的一个线性函数。多元线性回归的许多运用中都涉及到主要变量之间的非线性关系。多元回归与简单回归的相似点0仍然是截距1到k都成为斜率参数u仍然是误差项（或称扰动项）仍然需要做一个条件期望为0的假设，现在假设：E(u|x1,x2,…,xk)=0仍然最小化残差的平方和，所以现在有k+1个一阶条件课堂问题设想CEO的薪水(salary)与企业的销售量和CEO在这个企业的任期相关：log(salary)=β0+β1log(sales)+β2ceoten+β3ceoten2+u……(3.7)定义y=log(salary)，x1=log(sales)，x2=ceoten和x3=ceoten2，得一多元回归模型(k=3)。试解释参数。参数β1是(其他条件不变情况下)薪水对销售量的弹性。如果β3=0，那么在其他条件不变情况下，100β2就表示ceoten增加一年导致salary提高的百分数。当β3≠0时，ceoten对salary的影响则复杂一些。关键假定用条件预期的形式可以表示为E(u︱x1,x2,…,xk)=0……(3.8)(3.8)要求不可观测的误差项中所有的因素都与解释变量无关。它还意味着，已经正确地表述了被解释变量和解释变量之间的函数关系。任何一个导致u与某个自变量相关的问题，都会导致(3.8)式不成立。假定条件(3.8)式还表明OLS是无偏的，而如果方程中省略了一个关键变量，所得到的结论便会产生偏误。多元回归模型的关键假定普通最小二乘法的操作和解释即将解决的问题：将普通最小二乘法用于一个特定的数据集时，在计算和代数上会有些什么特征及讨论如何解释所估计的方程。如何得到OLS估计值？先考虑对含有两个自变量模型的估计。被估计的OLS方程在形式上与简单回归情况下的方程相似：22110ˆˆˆˆxxy011110111201110111ˆˆˆ()0ˆˆˆ()0ˆˆˆ()0ˆˆˆ()0(3.13)niikikiniiikikiniiikikinikiikikiyxxxyxxxyxxxyxx(3.13)通常被称为OLS一阶条件(firstorderconditions)。像在简单回归模型中一样，OLS一阶条件也可以通过矩法得到：在假定条件(3.8)下，E(u)=0，E(xju)=0，其中j=1，2，...，k。(3.13)就是这些总体矩在样本中的对应样本矩。易见即便只是对中等大小，通过手算来求解(3.13)也是十分繁重的任务。不过，借助现代的计算机和统计与计量软件，对较大的n和k，也能很快解出这些方程。注意：目前必须只能这样假定(3.13)只能得到的唯一解。这是规范设定模型的常见情形。与简单回归分析相同，(3.11)被称为OLS回归线(OLSregressionline)或样本回归方程(sampleregressionfunction,简记为SRF)。把称为OLS截距估计值(OLSinterceptestimate)，而把，...，称为OLS斜率估计值(OLSslopeestimate)（与自变量对应）。说“将y对x1,x2……xk进行了一个OLS回归”或“将y对x1,x2……xk进行回归”，是使用普通最小二乘法而得到(3.13)OLS方程(Equation)的简单说