6多元线性回归分析

上海交大工业工程与管理系苗瑞[e-mail]多元回归分析[e-mail]:13671789106苗瑞、博士、副教授上海交通大学机械与动力工程学院工业工程与管理系上海交大工业工程与管理系苗瑞[e-mail]主要内容1.标准的多元线性回归模型2.多元线性回归模型的估计3.多元线性回归模型的检验4.多元线性回归模型预测上海交大工业工程与管理系苗瑞[e-mail]本讲目标1.了解并掌握多元回归模型的基本理论2.理解并掌握多元回归模型的估计方法3.掌握多元回归模型的检验方法4.了解多元回归模型的预测5.学会用Minitab建立模型上海交大工业工程与管理系苗瑞[e-mail]多元线性回归分析多元回归研究的是随机变量y与多个变量x1,x2,…,xp(p≥2)的相关关系，这里仅讨论多元线性回归模型：),0(~,2110Nxbxbbypp上海交大工业工程与管理系苗瑞[e-mail]多元线性回归分析多元线性回归模型：ppxbxbbEy110),0(~Y,,,221Nxxxp是随机变量，是确定变量，),0(~,2110Nxbxbbypp上海交大工业工程与管理系苗瑞[e-mail]多元线性回归分析ppxbxbbEy110为回归系数，，称：为回归平面方程，称：，则它可改写为：记pppppbbbxbxbbxbxbbEy10110110YYY上海交大工业工程与管理系苗瑞[e-mail]多元线性回归分析2inn2n21n10n22222121021121211101,0N~ppppppxbxbxbbyxbxbxbbyxbxbxbby组观测值是设（nn,,2,1i),,,,ii2i1iyxxxp上海交大工业工程与管理系苗瑞[e-mail]多元线性回归分析npnnpnnppbbbyyyxxxxxxxxx211021212222111211,,,111BYXXBY上海交大工业工程与管理系苗瑞[e-mail]，，，，和估计估计npbbb2122100N~,B问题1：估计B和SIGMA问题2：预测，包括点估计和区间估计多元线性回归分析上海交大工业工程与管理系苗瑞[e-mail]多元线性回归分析设是一个样本，和一元线性回归的情况一样，可用最小二乘法估计参数，令取Q分别关于的偏导数，并令它们等于零得：),,,(,),,,,21111211nnpnnpyxxxyxxx（niippiiniixbxbbyEyyQ1211012)()(pbbb，，，10上海交大工业工程与管理系苗瑞[e-mail]多元线性回归分析的估计值解此方程组，得到pniijippiijniippiibbbpjxxbxbbybQxbxbbybQ10011001100B,,2,1,0)(20)(2上海交大工业工程与管理系苗瑞[e-mail]多元线性回归分析niipinipipipniiipniiipniipniiinipiipniiiniiniiniiniippniiniiyxxxbxxbxxbxbyxxxbxxbxbxbyxbxbxbnb1112211110111112121211110111221110ˆˆˆˆˆˆˆˆˆˆˆˆ将上式简化得——正规方程组上海交大工业工程与管理系苗瑞[e-mail]xxxxxxxxnATnpnnppnppppnnipipiniiipniipnipiiniiniiipnii212222111211321131211111111112111111111111上海交大工业工程与管理系苗瑞[e-mail]多元线性回归分析YXyyyxxxxxxxxyxyxyTnnppppnniipiniiinii21321131211111111111正规方程组的等号右边可改写为：上海交大工业工程与管理系苗瑞[e-mail]多元线性回归分析pnnpnnppbbbyyyxxxxxxxxx1021212222111211,,111BYXYXXBXTT上海交大工业工程与管理系苗瑞[e-mail]上式称为正规方程组的矩阵形式，假设存在，则上式的解即为未知参数（b0,b1,…,bp）的估计—经验回归系数。于是经验回归平面方程：YXXXBTTpbbb110)(ˆˆˆˆppxbxbbyˆˆˆˆ1101)(XXT上海交大工业工程与管理系苗瑞[e-mail]xbxbxbbyn2n21n10n222212102121211101ˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆppxbxbxbybˆˆˆˆ22110的关系式，，与pbbbbˆˆˆˆ210niiniijiynypjxnx11ˆ1,,2,1,1上海交大工业工程与管理系苗瑞[e-mail]多元线性回归分析参数估计的一些统计性质：•由于每个均是的线性组合，由于服从正态分布，故也服从正态分布Bˆpbbbˆ,,ˆ,ˆ10nyyy,,,21nyyy,,,21ibˆ上海交大工业工程与管理系苗瑞[e-mail]110)(ˆˆˆˆBXBXBEEbEbEbEETTTTTTpXXXXXXYXXXB11110)()()(ˆˆˆˆ的分布Bˆ的期望Bˆ上海交大工业工程与管理系苗瑞[e-mail]110)(ˆˆˆˆppppppbDbbbbbbbDbbbbbbbDCOVˆˆ,ˆcovˆ,ˆcovˆ,ˆcovˆˆ,ˆcovˆ,ˆcovˆ,ˆcovˆˆ101110100B的协方差阵Bˆ上海交大工业工程与管理系苗瑞[e-mail]1211001100211001121100110011002001011010100ˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆˆ,ˆcovˆ,ˆcovˆ,ˆcovˆˆ,ˆcovˆ,ˆcovˆ,ˆcovˆˆXXBEBBEBEbEbbEbbEbbEbbEbbEbEbEbEbEbbEbEbEbbEbEbEbbEbEbEbEbEbbEbEbEbbEbEbEbbEbEbEbEbDbbbbbbbDbbbbbbbDCOVTTppTpppppppppppppppppB上海交大工业工程与管理系苗瑞[e-mail]多元线性回归的显著性检验•对于Y对的线性回归模型：),0(~,2110Nxbxbbypppxxx,,,21否则线性回归模型显著即线性回归模型不显著,0:010pbbbH上海交大工业工程与管理系苗瑞[e-mail]总离差平方和•经验回归平面方程组观测值是设（nn,,2,1i),,,,ii2i1iyxxxpppxbxbbyˆˆˆˆ110niiyny11上海交大工业工程与管理系苗瑞[e-mail]总离差平方和：SST:TotalSumofSquaresniiniiiniiiiniiniiiniiiiniiYYYYYYYYYYYYYYYYYYSST1212112121212ˆˆˆˆ2ˆˆˆˆ上海交大工业工程与管理系苗瑞[e-mail]•残差平方和：SSE:ErrorSumofSquares•反映除去Y对之间的线性关系以外的因素引起的数据的波动niiiYYSSE12ˆpxxx,,,21nyyy,,,21上海交大工业工程与管理系苗瑞[e-mail]回归平方和：SSR:RegressionSumofSquares•反映线性拟合值与它们的平均值的总偏差，即由的变化引起的数据的波动，niiYYSSR12ˆpxxx,,,21nyyy,,,21niiniiYnYnY111ˆ1当SSR=0，则每个回归值相等，回归值不随的变化而变化，这也反映了pxxx,,,21010pbbb上海交大工业工程与管理系苗瑞[e-mail]•SST=SSR+SSE•总离差平方和=回归平方和+残差平方和•SSR愈大，线性关系愈显著SSESSRSST222111上海交大工业工程与管理系苗瑞[e-mail]的分布下面给出niiYYSST122211上海交大工业工程与管理系苗瑞[e-mail]2n21n10n22222121021121211101ppppppxbxbxbbyxbxbxbbyxbxbxbby组观测值是设（nn,,2,1i),,,,ii2i1iyxxxpnixbxbxbbypp,,2,1ii2i21i10i亦即：上海交大工业工程与管理系苗瑞[e-mail]2n21n10n22222121021121211101ppppppxbxbxbbyxbxbxbbyxbxbxbby组观测值是设（nn,,2,1i),,,,ii2i1iyxxxpp22110yxbxbxbbp上海交大工业工程与管理系苗瑞[e-mail]ninipnipppniixxbxxbxxbxbxbxbbxbxbxbbYYSST12i212ipip2i2211i1212p2211