82回归分析的基本思想及其初步应用

例1从某大学中随机选取8名女大学生，其身高和体重数据如表1-1所示。编号12345678身高/cm165165157170175165155170体重/kg4857505464614359求根据一名女大学生的身高预报她的体重的回归方程，并预报一名身高为172cm的女大学生的体重。案例1：女大学生的身高与体重解：1、选取身高为自变量x，体重为因变量y，作散点图：2、从散点图还看到，样本点成条状分布，身高和体重有比较好的线性相关关系，因此可以用线性回归方程y=bx+a来近似的刻画它们之间的关系。由数学三的知识可知根据最小二乘法估计和就是未知参数a和b的最好估计，ab根据最小二乘法估计和就是未知参数a和b的最好估计，ab于是有b=12210.849niiiniixynxyxnx85.712aybx所以回归方程是0.84985.712yx所以，对于身高为172cm的女大学生，由回归方程可以预报其体重为0.8497285.71260.316()ykg(,)xy称为样本点的中心探究：身高为172cm的女大学生的体重一定是60.316kg吗？如果不是，你能解析一下原因吗？探究：身高为172cm的女大学生的体重一定是60.316kg吗？如果不是，你能解析一下原因吗？答：身高为172cm的女大学生的体重不一定是60.316kg，但一般可以认为她的体重在60.316kg左右。从散点图还看到，样本点散布在某一条直线的附近，而不是在一条直线上，所以不能用一次函数y=bx+a描述它们关系。我们可以用线性回归模型来表示：y=bx+a+e，其中a和b为模型的未知参数，e称为随机误差。显然身高为172cm的女大学生的体重不一定是60.316kg，但一般可以认为她的体重在60.316kg左右，散点图中的样本点和回归直线的相互位置说明了这一点:思考产生随机误差项e的原因是什么？随机误差e的来源(可以推广到一般）：1、其它因素的影响：影响身高y的因素不只是体重x，可能还包括遗传基因、饮食习惯、生长环境等因素；2、用线性回归模型近似真实模型所引起的误差；3、身高y的观测误差。函数模型与回归模型之间的差别函数模型：abxy回归模型：eabxy线性回归模型y=bx+a+e增加了随机误差项e，因变量y的值由自变量x和随机误差项e共同确定，即自变量x只能解析部分y的变化。在统计中，我们也把自变量x称为解析变量，因变量y称为预报变量。(1,2,....)ˆˆˆˆˆiiiiiiybxainyyybxaiiiii随机误差e其估计值为:ee称为相应点(x,y)的残差思考：如何发现数据中的错误？如何衡量模型的拟合效果？在实际应用中，我们用回归方程中的估计（1）中的bx+a，由于随机误差e=y-(bx+a),所以，对样本点而言axbyyyye对回归模型进行统计检验表1-4列出了女大学生身高和体重的原始数据以及相应的残差数据。在研究两个变量间的关系时，首先要根据散点图来粗略判断它们是否线性相关，是否可以用回归模型来拟合数据。残差分析与残差图的定义：然后，我们可以通过残差来判断模型拟合的效果，判断原始数据中是否存在可疑数据，这方面的分析工作称为残差分析。12,,,neee编号12345678身高/cm165165157170175165155170体重/kg4857505464614359残差-6.3732.6272.419-4.6181.1376.627-2.8830.382我们可以利用图形来分析残差特性，作图时纵坐标为残差，横坐标可以选为样本编号，或身高数据，或体重估计值等，这样作出的图形称为残差图。残差图的制作及作用。•坐标纵轴为残差变量，横轴可以有不同的选择；•若模型选择的正确，残差图中的点应该分布在以横轴为心的带形区域；•对于远离横轴的点，要特别注意。身高与体重残差图异常点•错误数据•模型问题几点说明：第一个样本点和第6个样本点的残差比较大，需要确认在采集过程中是否有人为的错误。如果数据采集有错误，就予以纠正，然后再重新利用线性回归模型拟合数据；如果数据采集没有错误，则需要寻找其他的原因。另外，残差点比较均匀地落在水平的带状区域中，说明选用的模型计较合适，这样的带状区域的宽度越窄，说明模型拟合精度越高，回归方程的预报精度越高。思考：如何刻画预报变量（体重）的变化？这个变化在多大程度上与解析变量（身高）有关？在多大程度上与随机误差有关？那么，在这个总的效应（总偏差平方和）中，有多少来自于解析变量（身高）？有多少来自于随机误差？假设随机误差对体重没有影响，也就是说，体重仅受身高的影响，那么散点图中所有的点将完全落在回归直线上。但是，在图中，数据点并没有完全落在回归直线上。这些点散布在回归直线附近，所以一定是随机误差把这些点从回归直线上“推”开了。在例1中，残差平方和约为128.361。因此，数据点和它在回归直线上相应位置的差异是随机误差的效应，称为残差。)iiyy(iiieyy=例如，编号为6的女大学生，计算随机误差的效应（残差）为：61(0.84916585.712)6.627对每名女大学生计算这个差异，然后分别将所得的值平方后加起来，用数学符号21()niiiyy称为残差平方和，它代表了随机误差的效应。表示为：由于解析变量和随机误差的总效应（总偏差平方和）为354，而随机误差的效应为128.361，所以解析变量的效应为解析变量和随机误差的总效应（总偏差平方和）=解析变量的效应（回归平方和）+随机误差的效应（残差平方和）354-128.361=225.639这个值称为回归平方和。我们可以用R2来刻画回归的效果，其计算公式是22121()11()niiiniiyyRyy残差平方和。总偏差平方和2221121()()()nniiiiiniiyyyyRyy总偏差平方和残差平方和回归平方和总偏差平方和总偏差平方和显然，R2的值越大，说明残差平方和越小，也就是说模型拟合效果越好。在线性回归模型中，R2表示解析变量对预报变量变化的贡献率。R2越接近1，表示回归的效果越好（因为R2越接近1，表示解析变量和预报变量的线性相关性越强）。如果某组数据可能采取几种不同回归方程进行回归分析，则可以通过比较R2的值来做出选择，即选取R2较大的模型作为这组数据的模型。总的来说：R2是度量模型拟合效果的一种指标。在线性模型中，它代表自变量刻画预报变量的能力。1354总计0.36128.361残差变量0.64225.639随机误差比例平方和来源从表中可以看出，解析变量对总效应约贡献了64%，即R2≈0.64，可以叙述为“身高解析了64%的体重变化”，而随机误差贡献了剩余的36%。所以，身高对体重的效应比随机误差的效应大得多。用身高预报体重时，需要注意下列问题：1、回归方程只适用于我们所研究的样本的总体；2、我们所建立的回归方程一般都有时间性；3、样本采集的范围会影响回归方程的适用范围；4、不能期望回归方程得到的预报值就是预报变量的精确值。事实上，它是预报变量的可能取值的平均值。——这些问题也使用于其他问题。涉及到统计的一些思想：模型适用的总体；模型的时间性；样本的取值范围对模型的影响；模型预报结果的正确理解。一般地，建立回归模型的基本步骤为：（1）确定研究对象，明确哪个变量是解析变量，哪个变量是预报变量。（2）画出确定好的解析变量和预报变量的散点图，观察它们之间的关系（如是否存在线性关系等）。（3）由经验确定回归方程的类型（如我们观察到数据呈线性关系，则选用线性回归方程y=bx+a）.（4）按一定规则估计回归方程中的参数（如最小二乘法）。（5）得出结果后分析残差图是否有异常（个别数据对应残差过大，或残差呈现不随机的规律性，等等），过存在异常，则检查数据是否有误，或模型是否合适等。.,317.2之间的回归方程与试建立中观察数据列于表组现收集了有关和温度一只红铃虫的产卵数例xyxy31表325115662421117/y35322927252321C/0个产卵数温度05010015020025030035020222426283032343641.1图温度产卵数.41.1据作散点图根据收集的数解所以不能相关关系线性个变量不呈线因此两带状区域内某个布在有分并没样本点在散点图中,,,.cc,ecy,.21xc12是待定参数和其中的周围指数函数曲线某一条可以发现样本点分布在根据已有的函数知识系立两个变量之间的关建来直接利用线性回归方程.xy,.)cb,clna(abxz,ylnz..cc,2121了间的非线性回归方程之和型来建立就可以利用线性回归模这样的周围直线换后样本点应该分布在则变令系变为线性关过对数变换把指数关系我们可以通和参数问题变为如何估计待定现在.,abxy线性回归方程我们称之为非时当回归方程不是形如图的样本数据表的数据可以得到变换后由表,4131.,,51.1.4151.1用线性回归方程来拟合因此可以一条直线的附近变换后的样本点分布在看出中可以从图中数据的散点图给出了表784.5745.4190.4178.3045.3398.2946.1z35322927252321x41表01234567202224262830323436产卵数的对数温度51.1图.843.3272.0ˆ41xz到线性回归方程中的数据得由表回归方程为数对温度的非线性因此红铃虫的产卵6eyˆ843.3x272.01.,,,.,41.1,243423非线性回归方程之间的与从而得到之间的线性回归方程与立然后建即令变换因此可以对温度变量做数为待定参和其中的附近次曲线中样本点集中在某二可以认为图另一方面xytyxtcccxcy.61.1,51是相应的散点图图应的温度的平方是红铃虫的产卵数和对表325115662421117y12251024841729625529441t51表...,,,61.1423下面介绍具体方法到还可以通过残差分析得这个结论之间的关系与来拟合二次曲线即不宜用合它回归方程来拟此不宜用线性因直线的周围不分布在一条的散点图并与可以看出中从图xycxcyty0501001502002503003504005006007008009001000110012001300温度的平方数卵产61.1图中用线性回归模型拟合表的二次回归方程关于下面建立的指数回归方程关于前面已经建立了方程归需要建立两个相应的回残差为比较两个不同模型的51.,.,xyxy7.54.202x367.0yˆxy,54.202t367.0yˆty,222的二次回归方程为关于即的线性回归方程关于得到的数据的残差计算公式分别为和则回归方程列的数据行第第表示表用的拟合效果和个回归方程可以通过残差来比较两76,1151.76ixi;7,,2,1i,eyyˆyeˆ843.3x272.0i1ii1i.7,,2,1i,54.202x367.0yyˆyeˆ2ii2ii2i.76,76.61的拟合效果好型的拟合效果比模因此模型的残差的绝对值小模型的残差的绝对值显然比模型从表中的数据可以看出残差的两个回归方程的给出了原始数据及相应表965.77268.58107.4041003835.5397.19693.47eˆ928.32153.14889.8149.9760.1617.0518.0eˆ325115662421117y35322927252321x2161表.76.432.15448ˆ,673.1450ˆ7661.,..,.,21型的拟合效果远远优于模因此模型的残差平方和分别为和算出模型容易由表拟合的效果越好残差平方和越小的模型合效果的大小来判断模型的拟两个模型的残差