31回归分析的基本思想及其初步应用.

回归分析的基本思想及其初步应用两个变量的关系不相关相关关系函数关系线性相关非线性相关现实生活中两个变量间的关系:相关关系：对于两个变量，当自变量取值一定时，因变量的取值带有一定随机性的两个变量之间的关系.函数关系中的两个变量间是一种确定性关系相关关系是一种非确定性关系函数关系是一种理想的关系模型相关关系在现实生活中大量存在，是更一般的情况ˆˆ,ab表示有一组具体的数据估计得到的截距和斜率;121()()ˆ()niiiniixXyYbXXˆaYbXa,b,y表示真实值;ybxa表示有真实值a,b所确定的值.ˆˆˆybxa表示有估计值所确定的值.ˆˆ,ab这种方法称为回归分析.两个具有线性相关关系的变量的统计分析：（1）画散点图；（2）求回归直线方程(最小二乘法)：（3）利用回归直线方程进行预报；回归分析是对具有相关关系的两个变量进行统计分析的一种常用方法.ˆˆˆybxa121()()ˆ()niiiniixXyYbXXˆaYbX(,)XY为样本点的中心样本点：1122(,),(,),...,(,)nnxyxyxy某大学中随机选取8名女大学生，其身高和体重数据如下表所示.编号12345678身高/cm165165157170175165155170体重/kg4857505464614359求根据女大学生的身高预报体重的回归方程，并预报一名身高为172cm的女大学生的体重.体重010203040506070150155160165170175180身高体重体重解：取身高为解释变量x，体重为预报变量y，作散点图：样本点呈条状分布，身高和体重有较好的线性相关关系，因此可以用回归方程来近似的刻画它们之间的关系.121()()ˆ()niiiniixXyYbXXˆaYbX由得：ˆˆ0.849,85.712ba故所求回归方程为：ˆ0.84985.712yx因此，对于身高172cm的女大学生，由回归方程可以预报其体重为：ˆ0.84917285.71260.316()ykgˆ0.849b是斜率的估计值，说明身高x每增加1个单位时，体重y就增加0.849个单位，这表明体重与身高具有正的线性相关关系.如何描述它们之间线性相关关系的强弱？相关系数相关系数的性质(1)|r|≤1．(2)|r|越接近于1，相关程度越强；|r|越接近于0，相关程度越弱．•注:b与r同号•问题：达到怎样程度，x、y线性相关呢？它们的相关程度怎样呢？niii=1nn22iii=1i=1(x-x)(y-y)r=(x-x)(y-y)2_n1i2i2_n1i2in1i__iiynyxnxyxnyxniii=1nn22iii=1i=1(x-x)(y-y)(x-x)×(y-y)r相关系数ｒ＞０正相关；ｒ＜０负相关．通常：r∈[-1,-0.75]--负相关很强;r∈[0.75,1]—正相关很强;r∈[-0.75,-0.3]--负相关一般;r∈[0.3,0.75]—正相关一般;r∈[-0.25,0.25]--相关性较弱;对r进行显著性检验某大学中随机选取8名女大学生，其身高和体重数据如下表所示.编号12345678身高/cm165165157170175165155170体重/kg4857505464614359求根据女大学生的身高预报体重的回归方程，并预报一名身高为172cm的女大学生的体重.故所求回归方程为：ˆ0.84985.712yxr=0.798表明体重与身高有很强的线性相关性，从而说明我们建立的回归模型是有意义的.ˆ0.84917285.71260.316()ykg认为她的平均体重的估计值是60.316kg.因为所有的样本点不共线，所以线性函数模型只能近似地刻画身高和体重之间的关系，即：体重不仅受身高的影响，还受其他因素的影响，把这种影响的结果用e来表示，从而把线性函数模型修改为线性回归模型：y=bx+a+e.其中，e包含体重不能由身高的线性函数解释的所有部分.线性回归模型yabxe其中a和b为模型的未知参数，e是y与之间的误差，通常e为随机变量，称为随机误差.ybxa均值E(e)=0，方差D(e)=σ20线性回归模型的完整表达式为：2()0,()ybxaeEeDe线性回归模型适用范围比一次函数的适用范围大得多.当随机误差e恒等于0时，线性回归模型就变成一次函数模型.即：一次函数模型是线性回归模型的特殊形式，线性回归模型是一次函数模型的一般形式.随机误差是引起预报值与真实值y之间的误差的原因之一，其大小取决于随机误差的方差.ˆy和为截距和斜率的估计值，它们与真实值a和b之间存在误差是引起预报值与真实值y之间的误差的另一个原因.ˆaˆbˆy随机误差e的主要来源：（1）用线性回归模型近似真实模型（真实模型是客观存在的，但我们并不知道到底是什么）所引起的误差.可能存在非线性的函数能更好的描述y与x之间的关系，但我们现在却用线性函数来表述这种关系，结果就产生误差，这种由于模型近似所引起的误差包含在e中.（2）忽略了某些因素的影响.影响变量y的因素不止变量x一个，可能还有其他因素，但通常它们每一个因素的影响可能都比较小，它们的影响都体现在e中.（3）观测误差.由于测量工具等原因，得到的y的观测值一般是有误差的，这样的误差也包含在e中.以上三项误差越小，则回归模型的拟合效果越好.在线性回归模型中，e是用预报真实值y的误差，它是一个不可观测的量，那么该怎样研究随机误差，如何衡量预报的精度？y由于随机误差e的均值为0，故采用方差来衡量随机误差的大小.2eyy随机误差ˆˆeyye的估计量样本点：1122(,),(,),...,(,)nnxyxyxy相应的随机误差为：,1,2,...,iiiiieyyybxain随机误差的估计值为：ˆˆˆˆ,1,2,...,iiiiieyyybxainˆie称为相应于点的残差.(,)iixy22111ˆˆˆˆ(,)(2)22niieQabnnn的估计量2为ˆˆ(,)Qab称为残差平方和.残差分析在研究两个变量间的关系时，首先要根据散点图来粗略判断它们是否是线性相关，是否可以用线性回归模型来拟合数据.然后，可以通过残差来判断模型拟合的效果，判断原始数据中是否存在可疑数据.这方面的分析工作称为残差分析.12ˆˆˆ,,,neee0.382-2.8836.6271.137-4.6182.4192.627-6.373残差5943616454505748体重/kg170155165175170157165165身高/cm87654321编号下表为女大学生身高和体重的原始数据以及相应的残差数据：ˆe以纵坐标为残差，横坐标为编号，作出图形（残差图）来分析残差特性.-8-6-4-2024680246810编号残差系列1由图可知，第1个样本点和第6个样本点的残差比较大，需要确认在采集这两个样本点的过程中是否有人为的错误.如果数据采集有错误，就予以纠正，然后重新利用线性回归模型拟合数据;如果数据采集没有错误，则需要寻找其他原因.如何刻画模型拟合的精度？相关指数：22121ˆ()1()niiiniiyyRyy在含有一个解释变量的线性模型中，R2恰好等于相关系数r的平方.R2取值越大，则残差平方和越小，即模型的拟合效果越好.R2=0.64，表明：“女大学生的身高解释了64％的体重变化”，或者说“女大学生的体重差异有64％是由身高引起的”.建立回归模型的基本步骤：（1）确定研究对象，明确哪个变量是解释变量，哪个变量是预报变量;（2）画出确定好的解释变量和预报变量的散点图，观察它们之间的关系（是否存在线性关系）；（3）由经验确定回归方程的类型（如观察到数据呈线性关系，则选用线性回归方程y=bx+a）；（4）按一定规则估计回归方程中的参数（如最小二乘法）；（5）得出结果后分析残差图是否异常（个别数据对应残差过大，或残差呈现不随机的规律性等），若存在异常，则检查数据是否有误，或模型是否合适等.一只红铃虫的产卵数y和温度x有关，现收集了7组观测数据列于下表，试建立y与x之间的回归方程.325115662421117产卵数y/个35322927252321温度x/0C解：收集数据作散点图：050100150200250300350010203040温度产卵数系列1在散点图中，样本点没有分布在某个带状区域内，因此两个变量不呈现线性相关关系，所以不能直接利用线性回归方程来建立两个变量之间的关系.根据已有的函数知识，可以发现样本点分布在某一条指数函数曲线的周围，其中c1和c2是待定参数.21cxyce令z=lny，则变换后样本点应该分布在直线z=bx+a（a=lnc1，b=c2）的周围.利用线性回归模型建立y和x之间的非线性回归方程.当回归方程不是形如y=bx+a时，我们称之为非线性回归方程.5.7844.7454.1903.1783.0452.3981.946z35322927252321X所得线性回归方程为：ˆ0.2723.849zx21cxycea=lnc1，b=c2所以红铃虫的产卵数对温度的非线性回归方程为：(1)0.2723.849ˆxye050100150200250300350010203040温度产卵数系列1若看成样本点集中在某二次曲线y=c3x2+c4的附近.作变换t=x2，建立y与t之间的线性回归方程：y=c3t+c4.325115662421117y12251024841729625529441t050100150200250300350050010001500温度的平方产卵数系列1(2)ˆ0.367202.543yty关于x的二次回归方程为：(2)2ˆ0.367202.543yx(2)2ˆ0.367202.543yx(1)0.2723.849ˆxye利用残差计算公式：0.2723.849(1)(1)ˆˆ,1,2,,7ixiiiieyyyei(2)(2)2ˆˆ0.367202.543,1,2,,7iiiiieyyyxi77.968-58.265-40.104-41.000-5.83219.40047.69634.675-13.3819.230-8.9501.875-0.1010.557325115662421117Y35322927252321X(1)ˆie(2)ˆie由残差平方和：21ˆˆniiQe(1)(2)ˆˆ1550.538,15448.431.QQ故指数函数模型的拟合效果比二次函数的模拟效果好.或由条件R2分别为0.98和0.80，同样可得它们的效果.给定样本点：1122(,),(,),...,(,)nnxyxyxy两个含有未知参数（a、b为未知参数）的模型：(1)(,)yfxa(2)(,)ygxb如何比较它们的拟合效果：（1）分别建立对应于两个模型的回归方程(1)ˆˆ(,)yfxa(2)ˆˆ(,)ygxbˆˆ,ab分别是参数a和b的估计值.（2）分别计算两个回归方程的残差平方和(1)(1)2(2)(2)211ˆˆˆˆ()()nniiiiiiQyyQyy（3）若，则的拟合效果好；(1)(2)ˆˆQQ(1)ˆˆ(,)yfxa反之，的拟合效果好.(2)ˆˆ(,)ygxb