数学建模9.3 一元线性回归

一、回归分析的基本的思想三、可化为一元线性回归的问题四、小结第三节一元线性回归二、一元回归的数学模型变量之间的关系确定性关系相关关系2πrS确定性关系身高和体重相关关系一、回归分析的基本思想相关关系的特征是:变量之间的关系很难用一种精确的方法表示出来.由于存在测量误差等原因,确定性关系在实际问题中往往通过相关关系表示出来;另一方面,当对事物内部规律了解得更加深刻时,相关关系也有可能转化为确定性关系.回归分析——处理变量之间的相关关系的一种数学方法,线性回归分析非线性回归分析回归分析一元线性回归分析多元线性回归分析它是最常用的数理统计方法.之自变量与普通变量因变量设随机变量)()(xY.间存在着相互关系是随机变量，由于Y的确对于x图）（如有它的分布Y.,,2121度曲线的概率密处分别是图中YxxCCxY1x2x1C2C)(2x二、一元线性回归的数学模型定值，,因为对随机变量)(YE).(x,)(时当Ec])[(2cE作为的函数中以回归函数所以在一切)(xx.]))([(2为最小均方误差xYE,的近似Y.)(一般未知实际问题中的x,)(时取确定的值表示当xxxyF的所对应的Y.达到最小分布函数(4)利用回归函数进行预测与控制等等.(3)对回归函数中的参数或者回归函数本身进行假设检验;特别对随机变量Y的观察值做出点预测和区间预测.(2)讨论回归函数中参数的点估计、区间估计;回归分析的任务:(1)根据试验数据估计回归函数;的独立处对分别是在YxxxYYYnn,,,,,,2121设,,,,21nxxxx的一组不完全相同的值对.观察结果.),(,),,(),,(2211是一个样本称nnYxYxYx对应的样本值记为问题的一般提法.)(xxY的回归函数关于利用样本来估计.)(的形式首先推测x).,(,),,(),,(2211nnyxyxyx否则，在直角坐标系中描出可将每对观察值),(iiyx.这种图称为散点图求解步骤1.推测回归函数的形式方法一根据专业知识或者经验公式确定;方法二作散点图观察.在一些问题中，.)(的形式可以由专业知识知道x它的相应的点，温度x(oC)得率Y(%)10011012013014015016017018019045515461667074788589例1测得数据如下.品得率Y(%)的影响,对产温度)(0Cx为研究某一化学反应过程中,是普通变量，这里自变量x.是随机变量Y画出散点图如下，,观察散点图.)(的形式具有线性函数bxax的回关于的问题称为求利用样本来估计xYx)(特别，,)()(bxaxx为线性函数：若.)(回归问题的问题称为求一元线性此时估计x.)(xxY的回归函数为关于设.归问题bxax)(一元线性回归问题),,(2bxaNYx～的每一个值有假设对于2.建立回归模型),(bxaY记一元线性回归模型的线性函数x.,,2的未知参数都是不依赖于xba那么).,0(2N～,bxa.,,2的未知参数是不依赖于xba随机误差Y的每一个值在某个区间内假设对于)(xY～),(2bxaN.,,2的未知参数都是不依赖于其中xba记)(bxaY作这样的正态假设，对YY,bxa～),0(2N.,2xba都不依赖于及其中未知参数上式称为一元,线性回归模型相当于假设.称为回归系数其中b3.未知参数a,b的估计iY.),(,,),(,),(2211nnYxYxYx得到样本,),(2iibxaNY～于是的联合密度函数为知nYYY,,,21,1xnx个不全相同的值的取,2x，做独立试nx,验,iibxa，～),0(2Ni.相互独立各i.,,2,1ninYYY,,,21由的独立性，L221)(21expπ21iinibxay.)(21exp)π21(122niiinbxay.,ba知参数用最大似然估计估计未,,,,21nyyy对于任意一组观察值就是样本的似然函数，L要取最大值，niiinbxayL122)(21exp)π21(的平方和部分最小，只要上式右端方括弧中.)(),(12取最小值niiibxaybaQaQniiibxay1)(20bQniiiixbxay1)(20即只需函数根据)(1bxnaniibxaxniinii)()(1211niiyniiiyx1niiniiniixxxn1211不全相同，由于ix2112-niiniixxnniixxn12)(0方程组的系数行列式得方程组,)())((121niiniiixxyyxxaˆ其中bˆniniiininiiniiiixxnyxyxn1212111))((niiniixnbyn11ˆ1xbyˆ,11niixny.11niiyn后，的估计在得到babaˆ,ˆ,，对于给定的xx的估计，作为回归函数取bxaxxba)(ˆˆ即xbaˆˆ)(x，的经验回归函数关于称为xYyˆxbaˆˆxbaˆˆ记，yˆ方程，的经验回归方程关于称为xY简称回归方程，其图形称为回归直线.yˆ),(ˆxxby，对于样本值),(),,(),,(2211nnyxyxyx回归直线通).,(yx过散点图的几何中心xySyySxxSbˆaˆ,)(1211niiniixnxniixx12)(niiyy12)(,)(1211niiniiynyniiiyyxx1))((),)((1111niiniiniiiyxnyx,xxxySS.ˆ)1(111bxnynniinii例2述的条件,例1中的随机变量Y符合一元线性回归模型所求Y关于x的线性回归方程.xyxyx2y210011012013014015016017018019014504551546166707478858967310000121001440016900196002250025600289003240036100218500202526012916372143564900547660847225792147225450056106480793092401050011840132601530016910101570xxS214501012185008250xyS67314501011015703985bˆxxxySS48303.0aˆ48303.0145010167310173935.2回归直线方程yˆx48303.073935.2或yˆ)145(48303.03.67x在MATLAB中求解x=100:10:190;y=[45,51,54,61,66,70,74,78,85,89];polytool(x,y,1,0.05)源程序程序运行结果回归图形参数传送置信区间帮助})]({[2bxaYE,2越小iyˆ)(2E2)]([)(ED.2.小似导致的均方误差就越的近作为用回归函数Ybxax)(利用回归函数bxax)(的关系就愈有效与去研究随机变量xY，为了估计2引入残差平方和ixxyˆ，ixbaˆˆ的估计、未知参数24.ˆ处的残差为iiixyyeQniiixbay12)ˆˆ(niiiyy12)ˆ(残差平方和处的函数值是经验回归函数在ixxbaˆˆ)(x.的偏差的平方和处的观察值与iiyxeQniiiyy12)ˆ(niiixxbyy12)](ˆ[)()(ˆ2)(112yyxxbyyiniiniiniixxb122)()ˆ(xxxyyySbSbS2)ˆ(ˆ2xxxySSbˆ由eQ.ˆxyyySbSbˆ的估计量为ab,niiniiixxYYxx121)())((,)()(121niiniiixxYxxniiniixnbYn11ˆ1aˆxbYˆ,11niixnx其中.11niiYnYYYS　xYS的表达式中在xyyySS,,),,2,1(niYyii改为将xYYYSS,并把它们分别记为,)(12niiYY.))((1niiiYYxx的相应的统计量为残差平方和eQ2eQ　)(2eQEeQxYYYSbSˆ服从分布残差平方和eQ～),2(2n)2(nQEe,2n.22的无偏估计量为22nQe.ˆ21xYYYSbSn例3求例2中方差的无偏估计.解yyS211)(1niiniiyny2673101472251.1932,3985xyS又知48303.0ˆbeQxyyySbSˆ23.72ˆ)2(nQe823.7.90.0,2236.7)(1012iieresidualsQ.9030.082236.7ˆ25.线性假设的显著性检验Y:检验假设bˆ,,ˆ相互独立并且eQb,bxa～).,0(2N:0H:1Hb,0b.0检验法来进行检验使用t),,(2xxSbN～22ˆ)2(n2eQ～).2(2n,00bH为真时当,0)ˆ(bbE并且txxSbbˆˆ)2(ˆ)2(ˆ222nnSbbxx～),2(nt即～).2(nt此时txxSbˆˆ～),2(nt的拒绝域为得0HxxSbˆˆ).2(2nt,0:0bH拒绝,0:0bH接受回归效果不显著的原因分析:,)1(取值的影响Y;)()2(的关系不是线性的与xYE.)3(不存在关系与xY.认为回归效果显著.认为回归效果不显著;他不可忽略的因素及随机误差外还有其除x而存在其他.关系例4解,48303.0ˆb已知)2(205.0nt取显著性水平为0.05.检验例2中的回归效果是否显著,,8250xxS,90.0ˆ2查表得)8(025.0t.3060.2的拒绝域为假设0:0bHtxxSbˆˆ,3060.2t825090.048303.0,25.46.,0:0认为回归效果显著拒绝bH6.系数b的置信区间的置信区间为的置信水平为系数1b.ˆ)2(ˆ2xxSntb,例如825090.03060.248303.0.作区间估计对系数b,当回归效果显著时.95.01的置信区间的置信水平为中求例b).50712.0,45894.0(的置信区间b的置信区间a7.回归函数函数值的点估计和置信区间0000ˆˆ)(ˆˆˆˆ)(ˆˆxbaxyxxbaxy的函数值在,)ˆ(00bxaYE因为.0的某一指定值是自变量设xx用经验回归函数.ˆˆ)(ˆ00的点估计作为xbax0ˆy考虑相应的估计量0ˆY.ˆˆ0xba.所以估计量是无偏的)(ˆ0x,ˆˆ0xbabxax)(.ˆˆ)(ˆ00的置信区间求xbaxxxSxxnbxaY2000)(1)(ˆ22ˆ)2(n.ˆ,0相互独立YQe～),1,0(N2eQ～),2(2n)2(ˆ)2()(1)(ˆ222000nnSxxnbxaYxx～),2(ntxxSxxnbxaY2000)(1ˆ)(ˆ～),2(nt的置信区间为的置信水平为得到1)(00bxaxxxSxxnntY2020)(1ˆ)2(ˆ.)(1ˆ)2(ˆˆ2020