《试验设计与数据处理》讲稿-第4章

1第4章试验数据的回归分析4.1基本概念–方差分析研究两个变量间的显著性问题–回归分析处理变量之间相关关系的问题——由试验结果建立数学模型(1)确定性关系—对应关系、函数关系。其变量称确定性变量。(2)相关关系—对应的变量称随机变量。没有一一对应的函数关系，但有统计规律—散点图、回归方程•一元回归分析——研究单因素与试验指标间相关关系•多元回归分析——研究多因素与试验指标间相关关系•线性回归、非线性回归——相关关系为线性或非线性24.2一元线性回归分析—最简单的线性回归分析4.2.1一元线性回归方程的建立设有一组试验数据xi，yi(i=1，2，…，n)，其中x是自变量，y是因变量。若x，y符合线性关系，或已知经验公式为直线形式，即：称为变量x，y的一元线性回归方程。ˆiiyabxˆiy•a,b称为回归系数；•是由xi代入回归方程的计算值，称为回归值。3一元线性回归方程的建立（续）ˆiyˆiiieyy与yi之间的偏差称为残差，用ei表示，则有：残差平方值（考虑到残差有正有负）之和为：222111ˆ()[()]nnneiiiiiiiiSSQeyyyabx•显然，只有残差平方和最小时，回归方程与试验值的拟合程度最好。•残差平方和SSe为a，b的函数，即：SSe=f(a,b)为使SSe值到达极小，根据极值原理，只要对上式分别对a，b求偏导数，并令其等于零，求解方程组即可求得a，b之值————最小二乘法原理。4一元线性回归方程的建立（续）根据最小二乘法，可以得到：112()02()0niiiniiiiQyabxaQyabxxb112111nniiiinnniiiiiiinxyabxxxy对方程组求解，即可得到回归系数a,b的计算式：正规方程组aybx11112222111()()()()nnnniiiiiiiiiinnniiiiiinxyxyxynxybnxxxnx5一元线性回归方程的建立（续）为了方便计算，令：于是：22211()()nnxxiiiLxixxnx11()()nnxyiiiiiiLxxyyxynxyxyxxLbL4.2.2一元线性回归效果的检验——检验回归方程的可靠性或可信性相关系数检验法、F检验即方差分析法、残差分析法64.2.2.1相关系数检验法•相关系数用于描述变量x与y的线性相关程度的系数：•回归系数b与相关系数r的关系为：xyxxxyLrLL22211()()nnyyiiiiLyyynyxyxyxxxxxxyyyyxxxyLLLLrbLLLLL•b与r有相同的符号•决定系数——相关系数的平方r27相关系数的特点：0≤|r|≤1完全线性相关完全线性相关有一定的线性关系有一定的线性关系无线性关系无线性关系8相关系数检验：相关系数r越接近1，x与y的线性相关程度越高，然而r的大小未能回答其值达到多大时，x与y之间才存在线性相关，所以须对相关系数r进行显著性检验：（1）根据给定的显著性水平a和试验数据组数n（n＞2），从附录5（P.208）查取相关系数临界值rmin。表中，m为自变量的个数：一元回归m=1;二元回归m=2（2）显著性检验：如果|r|≥rmin线性相关显著；如果|r|＜rmin线性相关不显著。更确切地检验：如果|r|≥rmin(0.01)线性相关非常显著;如果rmin(0.05)≤|r|＜rmin(0.01)线性相关显著;如果|r|＜rmin(0.05)线性相关不显著。94.2.2.2F检验—方差分析法(1)计算离差平方和回归平方和—回归值与算术平均值的偏差21ˆ()nRiiSSyyˆiyy21()nTiyyiSSyyL总离差平方和—试验值yi与其算术平均值的偏差y残差平方和—试验值yi与回归值的偏差21ˆ()neiiiSSyyˆiy三种平方和之间有下述关系：SST＝SSR＋SSeSSR还可以用更简单的公式计算:2xyRxxxxxyxxLSSbLbLbLL10(2)计算自由度1.总离差平方和SST的自由度为：dfT=n－12.回归平方和SSR的自由度为：dfR=13.残差平方和SSe的自由度为：dfe=n－2显然，三种自由度之间的关系为：dfT=dfR+dfe(3)计算均方——离差平方和/自由度RRRSSMSdf回归平方和的均方eeeSSMSdf残差平方和的均方(4)F检验服从自由度为(dfR,dfe)的F分布ReMSFMS11表4-3一元线性回归方差分析表1.若FF0.01(dfR,dfe)，称x与y有非常显著的线性关系，用两个“**”号表示2.若F0.05(dfR,dfe)FF0.01(dfR,dfe)，称x与y有显著的线性关系，用一个“*”号表示；3.若FF0.05(dfR,dfe)，则称x与y没有明显著的线性关系，回归方程不可信。差异源SSdfMSF显著性回归SSR1MSR=SSRMSR/MSe误差SSen-2MSe=SSe/(n-2)总和SSTn-1124.2.2.3残差分析试验值yi与回归值的偏差称为残差：ˆiiieyyˆiy——用残差来估算试验值的范围残差的标准误差可按下式计算：s211122neiisSSenn或ˆeSMS如果试验的随机误差服从正态分布，则：试验值yi落在之内的概率为95％；试验值yi落在之内的概率为99％。ˆ2iysˆ3iys可见，残差标准差越小，说明曲线拟合得越好。s134.3多元线性回归分析—多个变量的线性回归分析设试验指标(因变量)y与多个试验因素（自变量）xj,(j=1，2，…，m）之间的近似函数关系式为：则上式称为因变量y关于自变量x1，x2，…，xm的多元线性回归方程，其中b1，b2，…，bm称为偏回归系数1122ˆmmyabxbxbx设y有n组试验数据x1i,x2i,…,xmi,yi(i=1,2，…,n),如果将自变量x1i，x2i，…，xmi，代入上述回归方程，就可以得到对应的函数计算值，即回归值。残差平方和为：ˆiy22112211ˆ()()nniiimmiiQyyyabxbxbx4.3.1多元线性回归方程14偏回归系数的确定：根据最小二乘法原理,要使Q达到最小,应满足以下条件：mjbQaQj,,2,1,0,011221111211121211111112211222221111111221nnnniimmiiiiiinnnnniiiimimiiiiiiiinnnnniiiimimiiiiiiiinmiimiimiinabxbxbxyaxbxbxxbxxxyaxbxxbxbxxxyaxbxxbxx211111nnnnmimimiiiiiibxxxy由此可以得到如下的正规方程组:15方程组的解就是偏回归系数注意：为了使正规方程组有解，要求n≥m，即试验次数应大于自变量的个数。4.3.2多元线性回归方程的显著性检验4.3.2.1F检验法总平方和：回归平方和：残差平方和：21()nTiiSSyy21()nRiiSSyy21ˆ()neiiTRiSSyySSSS16表4-8多元线性回归方差分析表差异源SSdfMSF显著性回归SSRmMSR=SSR/mMSR/MSe误差SSen-m-1MSe=SSe/(n-m-1)总和SSTn-11.若FF0.01(dfR,dfe)，称y与x1，x2，…，xm有非常显著的线性关系，用两个“**”号表示2.若F0.05(dfR,dfe)FF0.01(dfR,dfe)，称y与x1，x2，…，xm有显著的线性关系，用一个“*”号表示；3.若FF0.05(dfR,dfe)，则称y与x1，x2，…，xm没有明显著的线性关系，回归方程不可信。174.3.2.2相关系数检验法12211ˆ()()ˆ()()niiinniiiiyyyyRyyyy•一元线性回归:相关系数r—反映变量y与x的线性相关程度•多元线性回归:复相关系数R—反映变量y与多个变量xj之间的线性相关程度•复相关系数R的定义式：•多元线性回归方程的决定系数：复相关系数的平方R2。—反映了回归平方和SSR在总离差平方和SST中所占的比重。/RTRSSSS18复相关系数R的特点：0≤R≤1(与一元线性回归类似)•当R=1时，y与x1，x2，…，xm存在严格的线性关系；•当R=0时，y与x1，x2，…，xm不存在任何线性相关关系，但可能存在其他非线性关系；•当0＜R＜1时，变量间存在一定程度的线性相关关系。•当m=1，复相关系数R与一元线性相关系数r相等。修正自由度的决定系数2211(1)1nRRnm显著性检验：如果|r|≥rmin(0.01)y与x1，x2，…，xm有非常显著的线性关系;如果rmin(0.05)≤|r|＜rmin(0.01)有显著的线性关系;如果|r|＜rmin(0.05)线性相关不显著。194.3.3偏回归系数的显著性检验——因素主次的判断方法“最优”回归方程的条件：(1)回归方程的残差平方和最小；(2)对y有显著影响的变量不能遗漏；(3)回归方程中含有变量应尽可能少。用偏回归平方和SSj来判断：(1)计算偏回归平方和SSj：SSj愈大，表示xj对y影响程度就愈大。jjjySSbLjjjeeMSSSFMSMS服从自由度为(1,dfe)的F分布11()()()jnnjjyjiijiiiiLxxyyxynxy式中：(2)F检验：1,2,,jm204.4非线性回归分析已经学过“线性回归分析”方法：一元、多元线性回归“非线性回归分析”“线性回归分析”转化要解决两个问题：一、如何确定非线性函数的具体形式？不同的非线性函数有不同的线性化形式二、如何估计函数中的参数？“线性回归分析”已经解决——仍然是最小二乘法关键：将非线性问题线性化处理214.4.1一元非线性回归分析转化为一元线性回归问题的具体做法：①根据试验数据，在直角坐标中画出散点图；②根据散点图，推测y与x之间的函数关系；③选择适当的变换，使之变成线性关系；④用线性回归方法求出线性回归方程；⑤返回到原来的函数关系，得到要求的回归方程。——转化为一元线性回归22常用非线性函数的线性化变换234.4.2一元多项式回归常用非线性函数线性化容易复杂非线性函数线性化难任何复杂的一元连续函数都可用高阶多项式近似表达，因此，对于较难直线化的一元函数，可用多项式来拟合：212mmyabxbxbx如果令Xl=x，X2=x2，…，Xm=xm，则上式可以转化为多元线性方程：1122mmyabXbXbX——转化为多元线性回归244.4.3多元非线性回归——转化为多元线性回归本章要求：•掌握回归分析的基本概念和方法•熟练Excel中“工具分析库”