含定性变量的回归模型

第9章含定性变量的回归模型9.1自变量中含有定性变量的回归模型9.2自变量定性变量回归模型的应用9.3因变量是定性变量的回归模型9.4Logistic(逻辑斯蒂)回归9.5多类别Logistic回归9.6因变量是顺序变量的回归9.7本章小结与评注§9.1自变量中含有定性变量的回归模型一、简单情况首先讨论定性变量只取两类可能值的情况，例如研究粮食产量问题，y为粮食产量，x为施肥量，另外再考虑气候问题，分为正常年份和干旱年份两种情况，对这个问题的数量化方法是引入一个0-1型变量D，令：Di=1表示正常年份Di=0表示干旱年份§9.1自变量中含有定性变量的回归模型yi=β0+β1xi+β2Di+εiE(yi|Di=0)=β0+β1xiE(yi|Di=1)=(β0+β2)+β1xi§9.1自变量中含有定性变量的回归模型例9.1某经济学家想调查文化程度对家庭储蓄的影响，在一个中等收入的样本框中，随机调查了13户高学历家庭与14户中低学历的家庭，因变量y为上一年家庭储蓄增加额，自变量x1为上一年家庭总收入，自变量x2表示家庭学历，高学历家庭x2=1,低学历家庭x2=0，调查数据见表9.1：§9.1自变量中含有定性变量的回归模型序号y（元）x1（万元）x212352.3023463.2133652.8044683.5156582.6068673.21710852.602389503.902498654.802598664.6026102354.8027101404.20表9.1ANOVA290372875.9242145186437.96287.425.00039856639.705241660693.321330229515.63026RegressionResidualTotalModel1SumofSquaresdfMeanSquareFSig.§9.1自变量中含有定性变量的回归模型建立y对x1、x2的线性回归ModelSummary.938a.879.8691288.68Model1RRSquareAdjustedRSquareStd.ErroroftheEstimatePredictors:(Constant),X2,X1a.§9.1自变量中含有定性变量的回归模型Coefficients-7976.8091093.445-7.295.0003826.129304.591.92112.562.000-3700.330513.445-.529-7.207.000(Constant)X1X2BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.两个自变量x1与x2的系数都是显著的，判定系数R2=0.879，回归方程为：=-7976+3826x1-3700x2yˆ§9.1自变量中含有定性变量的回归模型这个结果表明，中等收入的家庭每增加1万元收入，平均拿出3826元作为储蓄。高学历家庭每年的平均储蓄额少于低学历的家庭，平均少3700元。如果不引入家庭学历定性变量x2，仅用y对家庭年收入x1做一元线性回归，得判定系数R2=0.618，拟合效果不好。§9.1自变量中含有定性变量的回归模型家庭年收入x1是连续型变量，它对回归的贡献也是不可缺少的。如果不考虑家庭年收入这个自变量，13户高学历家庭的平均年储蓄增加额为3009.31元，14户低学历家庭的平均年储蓄增加额为5059.36元，这样会认为高学历家庭每年的储蓄额比低学历的家庭平均少5059.36-3009.31=2050.05元，而用回归法算出的数值是3824元，两者并不相等。§9.1自变量中含有定性变量的回归模型用回归法算出的高学历家庭每年的平均储蓄额比低学历的家庭平均少3824元，这是在假设两者的家庭年收入相等的基础上的储蓄差值，或者说是消除了家庭年收入的影响后的差值，因而反映了两者储蓄额的真实差异。而直接由样本计算的差值2050.05元是包含有家庭年收入影响在内的差值，是虚假的差值。所调查的13户高学历家庭的平均年收入额为3.8385万元，14户低学历家庭的平均年收入额为3.4071万元，两者并不相等。§9.1自变量中含有定性变量的回归模型二、复杂情况某些场合定性自变量可能取多类值，例如某商厦策划营销方案，需要考虑销售额的季节性影响，季节因素分为春、夏、秋、冬4种情况。为了用定性自变量反应春、夏、秋、冬四季，我们初步设想引入如下4个0-1自变量：其它春季,0,111xx其它季,0夏,122xx其它季,0秋,133xx其它季,0冬,144xx§9.1自变量中含有定性变量的回归模型可是这样做却产生了一个新的问题，即x1+x2+x3+x4=1，构成完全多重共线性。解决这个问题的方法很简单，我们只需去掉一个0-1型变量，只保留3个0-1型自变量即可。例如去掉x4，只保留x1、x2、x3。对一般情况，一个定性变量有k类可能的取值时，需要引入k-1个0-1型自变量。当k=2时，只需要引入一个0-1型自变量即可。§9.1自变量中含有定性变量的回归模型三、单因素方差分析设yij是正态总体N(μj，σ2)，的样本j=1,…,c,i=1,2,…,nj原假设为：H0:μ1=μ2=…=μc记εij=yij-μj,则有εij～N(0，σ2)，进而有yij=μj+εij，i=1,2,…,nj，j=1,…,c，（9.39）记，aj=μj-μ，则（9.39）式改写为：yij=μ+ai+εij，i=1,2,…,ni，j=1,…,c，（9.39）§9.1自变量中含有定性变量的回归模型引入0-1型自变量xij,将（9.40）式表示为yij=μ+a1xi1+a2xi2+…+acxic+εij其中1j当0,x1j当,1i11ix2j当0,x2j当,1i22ixcxicj当0,xcj当,1ic…§9.1自变量中含有定性变量的回归模型其中还存在一个问题，就是c个自变量x1,x2,…，xc之和恒等于1，存在完全的复共线性。为此，剔除xc，建立回归模型yij=μ+a1xi1+a2xi2+…+ac-1xic-1+εiji=1,2,…,nj，j=1,…,c，回归方程显著性检验的原假设为：H0:a1=a2=…=ac-1=0§9.1自变量中含有定性变量的回归模型由aj=μj-μ=μj-可知cjjc11H0:a1=a2=…=ac-1=0与H0:μ1=μ2=…=μc是等价的线性回归的F检验与单因素方差分析的F检验是等价的。§9.2自变量定性变量回归模型的应用一、分段回归例9.2表9.3给出某工厂生产批量xi与单位成本yi(美元)的数据。试用分段回归建立回归模型。序号yX(=x1)x212.5765015024.4340034.52400041.3980030054.75300063.555707072.4972022083.774800§9.2自变量定性变量回归模型的应用x（（（（900800700600500400300200y（（（（（（5.04.54.03.53.02.52.01.51.0图9.1单位成本对批量散点图§9.2自变量定性变量回归模型的应用由图9.1可看出数据在生产批量xp=500时发生较大变化，即批量大于500时成本明显下降。我们考虑由两段构成的分段线性回归,这可以通过引入一个0-1型虚拟自变量实现。假定回归直线的斜率在xp=500yi=β0+β1xi+β2(xi-5)Di+εi来拟合，其中500x当0,D500x当,1Diiii§9.2自变量定性变量回归模型的应用引入两个新的自变量xi1=xixi2=(xi-5)Di这样回归模型转化为标准形式的二元线性回归模型：yi=β0+β1xi1+β2xi2+εi(9.3)（9.3）式可以分解为两个线性回归方程：当x1≤500时，E(y)=β0+β1x1当x1＞500时，E(y)=(β0-500β2)+(β1+β2)x1§9.2自变量定性变量回归模型的应用§9.2自变量定性变量回归模型的应用用普通最小二乘法拟合模型(9.3)=5.895-0.00395x1-0.00389x2利用此模型可说明生产批量小于500时，每增加1个单位批量，单位成本降低0.00395美元；当生产批量大于500时，每增加1个单位批量，估计单位成本降低0.00395+0.00389=0.00784(美元)。yˆ§9.2自变量定性变量回归模型的应用以上只是根据散点图从直观上判断本例数据应该用折线回归拟合，这一点还需要做统计的显著性检验，这只需对（9.2）式的回归系数β2做显著性检验。Coefficients5.895.6049.757.000-3.954E-03.001-.611-2.65.045-3.893E-03.002-.388-1.69.153(Constant)XX2BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.§9.2自变量定性变量回归模型的应用对β2的显著性检验的显著性概率Sig=0.153，β2没有通过显著性检验，不能认为β2非零。用y对x做一元线性回归，计算结果为：Coefficients6.795.32420.963.000-6.318E-03.001-.976-10.90.000(Constant)XBStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.§9.2自变量定性变量回归模型的应用二、回归系数相等的检验例9.3回到例9.1的问题，例9.1引入0-1型自变量的方法是假定储蓄增加额y对家庭收入的回归斜率β1与家庭年收入无关，家庭年收入只影响回归常数项β0，这个假设是否合理，还需要做统计检验。检验方法是引入如下含有交互效应的回归模型：yi=β0+β1xi1+β2xi2+β3xi1xi2+εi(9.8)其中y为上一年家庭储蓄增加额，x1为上一年家庭总收入，x2表示家庭学历，高学历家庭x2=1,低学历家庭x2=0。§9.2自变量定性变量回归模型的应用回归模型（9.8）式可以分解为对高学历和对低学历家庭的两个线性回归模型，分别为：高学历家庭x2=1,yi=β0+β1xi1+β2+β3xi1+εi=（β0+β2）+（β1+β3）xi1+εi低学历家庭x2=0，yi=β0+β1xi1+εi§9.2自变量定性变量回归模型的应用要检验两个回归方程的回归系数(斜率)相等，等价于检验H0：β3=0，当拒绝H0时，认为β3≠0，这时高学历与低学历家庭的储蓄回归模型实际上被拆分为两个不同的回归模型。当接受H0时，认为β3=0，这时高学历与低学历家庭的储蓄回归模型是如下形式的联合回归模型：yi=β0+β1xi1+β2xi2+εi§9.2自变量定性变量回归模型的应用Coefficients-8763.9361270.878-6.896.0004057.151359.284.97711.292.000-776.9392514.459-.111-.309.760-787.564663.367-.443-1.187.247(Constant)X1X2X3BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.§9.3因变量是定性变量的回归模型在许多社会经济问题中，所研究的因变量往往只有两个可能结果，这样的因变量也可用虚拟变量来表示，虚拟变量的取值可取0或1。一、定性因变量的回归方程的意义设因变量y是只取0，1两个值的定性变量，考虑简单线yi=β0+β1xi+εi(9.12)在这种y只取0，1两个值的情况下，因变量均值E(yi)=β0+β1xi有着特殊的意义。§9.3因变量是定性变量的回归模型由于yi是0-1P(yi=1)=πiP(yi=0)=1-πiE(yi)=1(πi)+0