工业系统工程回归分析

19.8.101相关和回归分析研究系统的相互联系、测定其联系的紧密程度、揭示其变化的具体形式和规律性的统计方法，是构造各种系统模型、进行系统结构分析、预测和控制的重要工具。19.8.102【主要内容】一、相关和回归分析的基本概念二、一元线性回归分析三、多元线性回归分析四、非线性回归分析19.8.103一、相关和回归分析的基本概念⒈出租汽车费用与行驶里程：总费用=行驶里程每公里单价2.家庭收入与恩格尔系数：家庭收入高，则恩格尔系数低。函数关系确定性关系相关关系非确定性关系比较下面两种现象间的依存关系19.8.104函数关系和相关关系现象间的依存关系大致可以分成两种类型：函数关系指现象间所具有的严格的确定性的依存关系相关关系指客观现象间确实存在，但数量上不是严格对应的依存关系函数关系与相关关系之间并无严格的界限：有函数关系的变量间，由于有测量误差及各种随机因素的干扰，可表现为相关关系；对具有相关关系的变量有深刻了解之后，相关关系有可能转化为或借助函数关系来描述。19.8.105函数关系指变量之间存在着确定性依存关系。当一个或一组变量每取一个值时，相应的另一个变量必然有一个确定值与之对应。2:rS圆面积例函数关系可以用一个确定的公式，即函数式),,,(21nxxxfy来表示。19.8.106相关关系指变量之间存在着非确定性依存关系。即当一个或一组变量每取一个值时，相应的另一个变量可能有多个不同值与之对应。例、根据消费理论，商品需求量Q与商品价格P、居民收入I之间具有相关关系：21bbIaPQ相关关系，可用模型来表示。),,,(21nxxxfy19.8.107相关分析和回归分析研究现象之间相关关系的两种基本方法：就是用一个指标来表明现象间相互依存关系的密切程度就是根据相关关系的具体形态，选择一个合适的数学模型，来近似地表达变量间的平均变化关系。相关分析回归分析19.8.108相关系数与判定系数在直线相关的条件下，用以反映两变量间线性相关密切程度的指标，用r表示2222222)(yynxxnyxxynnyynxxnyyxxSSSryxxy相关系数19.8.109相关系数与判定系数相关系数r的取值范围：-1≤r≤1r0为正相关，r0为负相关；|r|=0表示不存在线性关系；|r|＝1表示完全线性相关；0|r|1表示存在不同程度线性相关：|r|0.4为低度线性相关；0.4≤|r|＜0.7为显著性线性相关；0.7≤|r|＜1.0为高度显著性线性相关。19.8.1010r2越接近于1，表明x与y之间的相关性越强；r2越接近于0，表明两个变量之间几乎没有直线相关关系.相关系数与判定系数是相关系数的平方，用r2表示；用来衡量回归方程对y的解释程度。102r判定系数取值范围：判定系数19.8.1011【例】计算工业总产值与能源消耗量之间的相关系数及判定系数资料9520.09757.09757.0625261751691655086166259163788716)(26175,55086,37887,625,916,162222222222ryynxxnyxxynryxxyyxn解：已知结论：工业总产值与能源消耗量之间存在高度的正相关关系，能源消耗量x的变化能够解释工业总产值y变化的95.2﹪。19.8.1012二、一元线性回归分析1、标准的一元线性回归模型2、一元线性回归模型的估计3、一元线性回归模型的检验4、一元线性回归模型预测19.8.1013一元回归简单回归多元回归复回归线性回归非线性回归一元线性回归SimpleLinearregression按自变量的个数分按回归曲线的形态分回归分析的种类19.8.10141、标准的一元线性回归模型(一)总体回归函数Ｙt＝β1＋β2Ｘt＋utut是随机误差项，又称随机干扰项，它是一个特殊的随机变量，反映未列入方程式的其他各种因素对Ｙ的影响。(二)样本回归函数:ｔ＝１，２，...nｅt称为残差，在概念上，ｅt与总体误差项ut相互对应；ｎ是样本的容量。tteXY21ˆˆ19.8.1015样本回归函数与总体回归函数区别总体回归线是未知的，只有一条。样本回归线是根据样本数据拟合的，每抽取一组样本，便可以拟合一条样本回归线。总体回归函数中的β1和β2是未知的参数，表现为常数。而样本回归函数中的是随机变量，其具体数值随所抽取的样本观测值不同而变动。总体回归函数中的ut是Ｙt与未知的总体回归线之间的纵向距离，它是不可直接观测的。而样本回归函数中的ｅt是Ｙt与样本回归线之间的纵向距离，当根据样本观测值拟合出样本回归线之后，可以计算出ｅt的具体数值。t21ˆˆ和19.8.1016误差项的标准假定假定１：误差项的期望值为零:Ｅ（ut）＝０。假定２：误差项的期望值为常数:Var(ut)＝。假定３：误差项之间不存在序列相关,协方差为零:Cov(utus)＝０(ｔ≠ｓ)。假定４：自变量是给定变量，与误差项线性无关。假定５：随机误差项服从正态分布。满足以上标准假定的一元线性回归模型，称为标准的一元线性回归模型。219.8.10172、一元线性回归模型的估计一元线性回归方程的几何意义)(YEX截距斜率一元线性回归方程的可能形态2为正2为负2为0xyˆˆ21ˆ19.8.1018XYEY21ˆ总体一元线性回归方程:以样本统计量估计总体参数斜率（回归系数）截距截距β1表示在没有自变量x的影响时，其它各种因素对因变量y的平均影响；回归系数β2表明自变量x每变动一个单位，因变量y平均变动b个单位。样本一元线性回归方程：xyˆˆ21ˆ估计的一元线性回归方程19.8.1019①回归系数的估计总体回归函数样本回归函数min)ˆ(0ˆ2yyyy19.8.1020回归系数的估计---最小二乘法22122)ˆˆ()ˆ(tttttXYYYeQ0)ˆˆ(221＝－ttXY0)ˆˆ(221tttXYX－ttttttYXXXYXn22121ˆˆˆˆ标准方程组19.8.1021根据整理方程求解可得：XYnXnYXXnYXnttttttttYX221222ˆˆˆ)(ˆ19.8.1022上述进行回归分析的方法可称为：最小平方法通过使残差平方和为最小来估计回归系数的一种方法，又称最小二乘法。19.8.1023【分析】因为工业总产值与能源消耗量之间存在高度正相关关系(r=0.9575），所以可以拟合工业总产值对能源消耗量的线性回归方程。,55086,37887,625,916,162xxyyxn由计算表知解：设线性回归方程为xy21ˆ【例】建立工业总产值对能源消耗量的线性回归方程。资料19.8.10245142.6169167961.0166257961.091655086166259163788716212222xyxxnyxxyn线性回归方程为：xy7961.05142.6ˆ结果表明，其他条件不变时，能源消耗量每增加100000吨，工业总产值将增加7961万元。19.8.1025②总体方差的估计222netS0te0ttXe该式中，分母是自由度，其中ｎ是样本观测值的个数，２是一元线性回归方程中回归系数的个数。在一元线性回归模型中，残差ｅt必须满足:因而失去了两个自由度，所以其自由度为ｎ－２。Ｓ2的正平方根又称做回归估计标准误差。19.8.1026回归估计标准误差(S)是因变量各实际值与其估计值之间的平均差异程度，表明其估计值对各实际值代表性的强弱；其值越小，回归方程的代表性越强，用回归方程估计或预测的结果越准确。19.8.102722)ˆ(2122nxyyynyyS回归估计标准误差S的简化计算：19.8.1028【例】计算前面拟合的工业总产值对能源消耗量回归方程的回归标准差.亿元，且知解：已知457.227961.0,5142.626175,37887,625,16212212nxyyySyxyyn19.8.1029③最小二乘估计量的性质残差之和为零所拟合直线通过样本散点图的重心误差项与解释变量不相关β1与β2分别是总体回归系数的无偏估计量β1与β2均为服从正态分布的随机变量))(,(~ˆ)))(1(,(~ˆ22222211xxNxxxnNee0e),(yx0))((xxee2211)ˆ()ˆ(EE19.8.10303、一元线性回归模型的检验①回归模型的检验的种类理论意义检验一级检验二级检验19.8.1031①回归模型的检验的种类理论意义检验主要涉及参数估计值的符号和取值区间。如果它们与实质性科学的理论以及人们的实践经验不相符，就说明模型不能很好地解释现实的现象。常常会遇到理论意义检验不能通过的情况，主要原因是：–社会经济的统计数据无法像自然科学中的统计数据那样通过有控制的实验去取得;–观测的样本容量偏小，不具有足够代表性;–不满足标准线性回归分析所要求的假定条件。19.8.1032一级检验又称统计学检验，它是利用统计学的抽样理论来检验样本回归方程的可靠性。–分为拟合程度评价和显著性检验。–一级检验是对所有现象进行回归分析时都必须通过的检验。二级检验又称经济计量学检验，对标准线性回归模型的假定条件能否得到满足进行检验，包括序列相关检验、异方差性检验等。19.8.1033②拟合程度的评价拟合程度，是指样本观测值聚集在样本回归线周围的紧密程度。判断回归模型拟合程度优劣最常用的数量指标是可决系数(又称决定系数或判定系数)。可决系数是建立在对总离差平方和进行分解的基础上的。10名学生的身高与体重散点图4045505560657075158160162164166168170172174176178身高（X）体重（Y）yyˆyytyytˆyyˆ2)(yySSTt2)ˆ(yySSEt2)ˆ(yySSR误差平方和回归平方和总离差平方和19.8.1035222)()(yyntSSTyy2222)()()ˆ(xxnyxxyntSSRyy2212)(())ˆ((xyyySSEtt总离差平方和回归平方和残差平方和ＳＳＴ＝ＳＳＲ＋ＳＳＥ19.8.1036222)()ˆ(11yyyySSTSSESSTSSRr可决系数是对回归模型拟合程度的综合度量，可决系数越大，模型拟合程度越高。可决系数越小，则模型对样本的拟合程度越差。可决系数19.8.1037③显著性检验回归分析中的显著性检验包括两方面的内容:–对各回归系数的显著性检验，通常采用t检验;–对整个回归方程的显著性检验，通常采用在方差分析基础上的F检验。在一元线性回归模型中，由于只有一个解释变量，对回归系数的t检验与对整个方程的F检验是等价的。回归系数的显著性检验，就是根据样本估计的结果对总体回归系数的有关假设进行检验。19.8.1038)ˆ,(~)(2111111ˆNZ)2(~ˆˆ2ˆntSiiti总体分布形式检验统计量)ˆ,(~)(2222222ˆNZ【例】对工业总产值与能源消耗量之间的回归系数进行显著性检验。2ˆ0:0:,05.0,162120HHn提出假设：解：已知6662.160478.00ˆˆ7961.0ˆ2222St0478.0537.51457.2ˆ:2