回归正交试验设计

王中来：回归正交试验设计1回归正交试验设计一、概述（1）回归分析与正交试验设计的主要优缺点回归分析的主要优点是可以由试验数据求出经验公式，用于描述自变量与因变量之间的函数关系。它的主要缺点是毫不关心试验数据如何取得，这样，不仅盲目地增加了试验次数，而且试验数据还往往不能提供充分的信息。因此，有些工作者将经典的回归分析方法描述成：“这是撒大网，捉小鱼，有时还捉不到鱼”。所以说，回归分析只是被动地处理试验数据，并且回归系数之间存在相关关系，若从回归方程中剔除某个不显著因素时，需重新计算回归系数，耗费大量的时间。正交试验设计的主要优点是科学地安排试验过程，用最少的试验次数获得最全面的试验信息，并对试验结果进行科学分析（如方差分析），从而得到最佳试验条件，但是它的主要缺点是试验结果无法用一个经验公式来表达，从而不便于考察试验条件改变后，试验指标将作如何变化。（2）回归正交试验设计回归正交试验设计，实际上就是将线性回归分析与正交试验设计两者有机地结合起来而发展出的一种试验设计方法，它利用正交试验设计法的“正交性”特点，有计划、有目的、科学合理地在正交表上安排试验，并将试验结果用一个明确的函数表达式即回归方程来表示，从而达到既减少试验次数、又能迅速地建立经验公式的目的。根据回归模型的次数，回归正交试验设计又分为一次回归试验设计和二次回归试验设计。王中来：回归正交试验设计2二、一次回归正交试验设计（一）一次回归正交试验设计的概念一次回归设计研究的是一个因素z（或多个因素z1，z2，……）与试验指标y之间的线性关系。当只研究一个因素时，其线性回归模型：y＝β0＋β1z＋e(1)其回归方程为：zy10(2)式中0、1称为回归系数，e是随机误差，是一组相互独立、且服从正态分布Ｎ（０，σ２）的随机变量。可以证明，0、1和y是β０、β１和y的无偏估计，即Ｅ（0）＝β０，Ｅ（1）＝β1，Ｅ（y）＝y一次回归正交试验设计是通过编码公式x＝f(z)即变量变换，将式（２）变为：xbby10(3)且使试验方案具有正交性，即使得编码因素Ｘ的各水平之和为零：miix10(4)式中m是因素x的水平数。在回归分析中，回归系数的计算公式为：王中来：回归正交试验设计3xbyb10xxxyllb1（5）式中：NiiyNy11，NiixNx11NiNiNiiiixxxNxxxl112122)(1)((6)NiNiNiiNiiiiiixyyxNyxyyxxl11111))((式中：xxl——x偏差平方和；xyl——x偏差与y偏差的乘积之和Ｎ——试验总数因此，在一次回归正交试验设计中，由于试验方案具有正交性，则有：yb0NiiNiiixyxb1211（7）(miNiiixx11,00∵正交表各水平的出现次数相同！)显然，回归正交试验设计大大简化了计算，同时，编码因素x的水平数王中来：回归正交试验设计4一般不大于3，使试验方案制定的目的性明确，便于安排试验，可减少试验次数。（二）回归正交试验设计的一般步骤1、确定因素的变化范围，对因素水平进行编码如前所述，回归正交试验设计的基本点是，利用正交试验设计安排试验，运用回归分析方法处理数据，从而减少试验次数，迅速得到回归方程。而连接这两种方法的“桥梁”是对因素的水平进行编码。试验前，每个因素各水平的取值，必须满足编码的要求，数据处理时才能大大简化计算。因此，编码是回归正交试验设计的关键环节，也是回归正交试验设计与一般的正交试验设计的主要区别。所谓因素的水平编码，就是对因素水平的取值作适当的线性变换，构造因素水平与“编码”的一一对应关系，编码后，使因素各水平变换成最简单的整数字码，如-1，+1；-1，0，+1；等等。通过编码使计算大大简化。欲研究p个因素z1，z2,…,zp与指标y的数量关系，须先要确定它们的变化范围。对因素zj,用z1j和z2j分别表示其变化的下界值与上界值，即因素zj的变化区间为[z1j，z2j]。若试验在z1j和z2j上进行，则分别称z1j和z2j为因素的下水平（用-1表示）和上水平（用+1表示），并称它们的算术平均值：)(2121jjojzzz(8)为因素的基准水平或零水平（用O表示），而称它们差值的一半：)(2112jjjzz(9)为因素的变化区间。王中来：回归正交试验设计5为使具有正交性，须对因素zj作线性变换，即令：jjjjzzx0(10)将式（8）和式（9）代入式（10），得：jjjjjjzzzzzx1221)(2或者1)(2122jjjjjzzzzx(11)显然，当zj=z1j时，xj=x1j=-1；当zj=zoj时，xj=xoj=0；当zj=z2j时，xj=x2j=+1.于是，因素的水平值zj与编码xj，建立了一一对应的关系。通常，因素的水平编码多在表格上进行，如表1所示。表1因素水平编码表因素z1z2…zp编码记号x1x2…xp下水平（-1）z11z12…z1P零水平（0）z01z02…z0P上水平（+1）z21z22…z2P变化间距△1△2…△P王中来：回归正交试验设计6通过编码，y对变量z1，z2，…,zp的回归问题就转化为y对变量x1,x2,…,xp的回归回题。因此，可以在以x1,x2,…,xp为坐标轴的编码空间选择试验点，进行试验设计与回归分析。这时，回归系数的计算变得十分简单[见式（7）]。2、选择合适的正交表一次回归正交试验设计，一般选Ln(mk)型等水平正交表，如L4(23)、L8(27)、L12(211)、L9(34)、L27(313)等二水平或三水平正交表。为符合对因素进行编码的需要，对2k型（二水平）正交表，将表中的1、2分别用-1、+1代换；对3k型（三水平）正交表，将表中的1、2、3分别用-1、0、+1代换；对4k型（四水平）正交表，将表中的1、2、3、4分别用-2、-1、+1、+2代换；等等。经过变换后，正交表中的-1、+1、-2、+2等既表示因素水平，又表示因素水平变化的数量大小。同时，交互作用列可直接由表中相应元素列的对应水平相乘得到，故原交互作用列表失去作用。显然，变换前后的两种正交表之间并无本质差别，故仍用原符号L4（23）、L8（27）等表示。变换后的二水平正交表L4（23）,如表2所示。表2L4（23）因素试验号x1x2x1x2111121-1-13-11-14-1-11王中来：回归正交试验设计73、回归系数的计算设p个变量x1,x2,…,xp与y之间存在线性相关关系，y=0+1x1+2x2+…+pxp+e(12)式中随机误差e相互独立，且eN(0,2)。若用正交试验法做N次试验，则有iippiiiexxxy22110(13)（i=1,2,…,N）其结构矩阵为：NpNNppxxxxxxxxxX...1......1...1212222111211(14)对于Ln(2k)型二水平正交表，上式中的xij均为+1或-1（i=1,2,…,N;j=1,2,…,p）。因为回归正交试验设计满足正交性要求，故矩阵Ⅹ中除常数列（即第1列）外，任何一列元素之和为零；任两列对应元素的乘积之和为零；任一列的平方和为N，即：),...,2,1(,),,...,2,1,(,0),...,2,1(,01211pjNxjipjixxpjxNkkjNkkjkiNkkj(15)王中来：回归正交试验设计8信息矩阵（即系数矩阵）为A=X’X=NNNNxxxNNkkpNkkNkk12122121(16)相关矩阵为：C=A-1=NNN111（17）由上可见，因为回归正交试验设计具有正交性特点，所以信息矩阵和相关矩阵都是对角矩阵，这使计算工作量大大减少。常数项矩阵为：pNkkkpNkkkNkkkNkkBBBByxyxyxyYXB210112111'(18)于是参数的最小二乘估计b=A1B,即王中来：回归正交试验设计9b0=,110yyNNBNkkpjyxNNBbNkkkjjj,...,2,1,11(19)∴回归方程为：ppxxxy...22210=ppxbxbxbb...22110(jjb)(20)用式（10）将式（20）复原成原变量z1,z2,pz,的回归方程：ppppppzbzbzbbzzbzzbzzbby'22'11'0'020222101110......（21）式中：pppzbzbzbbb0022201110'0...(22)),...,2,1(,'pjbbjjj回归系数0,1,2,p...,可列表计算，如表3所示。表中的2jjjjbNBbQ为变量xj的偏回归平方和，回归系数bj的绝对值大小反映了xj作用的大小。一般把bj与零相差不大的因子剔除，归入误差项，而不必重新计算系数与方差检验。经正交试验设计后，回归系数之间的相关性消除了。这是因为相关矩阵C是对角矩阵，从回归方程中剔除某一变量时，其余回归系数不变。王中来：回归正交试验设计10表3一次回归正交试验设计计算表变量试验号x0x1x2…xpyy211x11x12…xp1y1y2121X21x22…xp2y2y22…N1X1Nx2NxNpyNy2NBjNkky1Nkkkyx11Nkkkyx12…Nkkkpyx1Nkky1Nkky12bj=NBjNB0NB1NB2…NBpSTNkky12-NB20Qj=bjBjNB20NB21NB22…NBp2SQ=pzjQ1SQTeSS4、回归方程和回归系数的显著性检验(1)回归方程的显著性检验总偏差平方和（ST）及其自由度（fT）：ST=NkNkkNkkkNByyNyyy112021222)(，（23）fT=N－1回归平方和（SQ=S回）及其自由度(fQ=f回)SQ=PjjQ1（24）王中来：回归正交试验设计11pfQ剩余平方和（Se=S剩）及其自由度（fe=f剩）：Se=ST－SQfe=N－p－1(25)对回归方程（20）的显著性检验，采用F检验，即用统计量)1(pNSpSfSfSFeeQQ剩回（26）对给定显著性水平,若)1,(pNpFF则认为在显著性水平下回归方程显著。(2)回归系数的显著性检验在一次回归正交试验设计中，由于满足正交条件的要求，故变量xj的偏回归平方和为：),...,2,1(,pjBbBQjjjjj由计算表可知，变量xj的偏回归平方和22jjjjjNBNBQ(27)检验回归系数j是否显著,仍利用统计量pjpNSQFjj,...,2,1)1(，剩(28)检验原理与方法，同回归方程的检验相似。对回归方程及回归系数的检验，可在表上进行，如表4所示。王中来：回归正交试验设计12表4一次回归正交试验设计的方差分析表方差来源偏差平方和自由度平均偏差平方和F比1xQNB2111Q1)11pNSQ（剩2xQNB2221Q2)12pNSQ（剩pxQNBpp21Qp)1pNSQp（剩回归SpQQQ21回ppS回)1pNSpS（剩回剩余回总剩SSSN-p-1)1pNS（剩总计NBySNkk2012总N-1应该指出的是，在要求不太高的工程实际中