试验设计的效率探讨

关于试验设计的效率及有关问题张建方中国科学院研究生院数学系OntheEfficiencyofExperimentalDesignandItsSomerelatedProblemsJianfangZhangDepartmentofMathematics,GraduateUniversityofChineseAcademiaofScience,Beijing100049,China.Email:[e-mail]内容提要1.前言2.一般效率的含义及定义3.关于试验设计效率及其评估4.关于试验设计效率的一些基本原理及存在问题5.对一些试验设计效率问题的若干补充6.结语1.前言•效率是试验设计的一个追求，但实际上它是一个抽象和模糊的概念。例如：a)同一个试验问题常可以用几种试验设计方法，但往往难以说清楚哪种试验设计方法好或效率高。b)即使对于相同的数学模型和准则，也常难以说清楚因素水平个数、试验点个数和重复次数究竟多少为最佳？那么，又怎能很好地来追求试验设计的效率呢？•在某个数学模型或某种准则下最优的试验设计方法有时在实际应用中的效率往往不是很高，有的甚至会出现效率低下或难以接受的尴尬情形。例如：a)若系统优化问题采用（例如D-）回归最优设计方法，先建立二次建模，再对模型求最优化，则试验次数会不必要地多。b)均匀设计的试验点数与各因素的水平个数都相等，这使得主效应之间互相相关或混杂；且当因素增多时，主效应之间的相关或混杂就会增大。•各种试验设计方法都是在追求某种效率！•如何来解释上面提到的各种现象？•到底什么是试验设计的效率？•怎样来追求试验设计的效率？•说明：a)这些问题很大很难很重要，不指望能完全回答清楚，而是希望搞清楚较确定的部分，探索不确定部分的一些规律。b)本文主要是提供一些基本观点和看法，出发点是为了更好地解决实际试验问题。2.效率的含义及定义•效率＝产出／投入投入除了成本之外，还包括投入方式及过程。•效益＝产出－投入•效率与效益的关系效益＝投入×（效率－1）a)效率最大时，效益才达到最大。b)效率低时，就会产生投入的浪费。c)投入的好坏看效率，投入追求效率。d)追求效率，才能不断进步，取得更大效益。•效率（和效益）的分布与可靠性a)投入是可控的，产出是随机的。因此，效率也是随机的，具有概率分布。b)对效率高低的描述，除了概率分布，还可以给予一个置信下限的可靠性度量值。c)效率的概率分布虽然是唯一的，但所描述的情况有很多，即置信下限和置信度的可靠性度量有很多。这是为什么效率这个概念有些抽象和模糊的一个主要原因。•整体效率与局部效率a)整体投入过程是由一系列局部投入过程所组成。所以，效率有整体效率和局部效率之分。b)整体效率达到最大的必要条件是所有的局部效率都达到最大。c)局部效率（的度量）应该与整体效率相配合，共同达到最大。否则就会产生如前言中所说的矛盾现象。d)局部效率多数可能很难度量。•几种相对效率的度量或定义：a)相对效率＝实际效率／最大效率b)相对效率＝实际效益／最大效益c)若投入给定，则相对效率＝实际产出／最大产出d)若产出或效益给定，则相对效率＝最少投入／实际投入e)等等。各种定义各有自己的含义和应用场合。•效率或效益的值只能在事后获得，事前估计或预测很难。但是，事前提高效率或效益应该是有办法和规律可寻的。•效率是试验设计的一个追求，也是试验设计好坏的主要标志。•一般所追求的试验设计效率，是指用尽可能少的试验次数和批数等投入，来获得满足试验目的的最佳试验结果。但这种理解还不够全面。•要研究试验设计的效率，就需要搞清楚什么是试验设计的投入和产出。•按照试验进行的过程，影响试验设计效率的内容主要包括十个方面：3.关于试验设计的效率及其评估i.对试验问题的调研；ii.试验目的的确定和问题的提法；iii.响应值的选取；iv.试验因素的选取；v.试验区域或因素变化范围的确定；vi.进行试验的因素水平的选取；vii.试验处理方案或试验点的设计；viii.试验的实施；ix.试验结果的分析和推断；x.对推断结果的试验验证。•对试验设计过程的几点看法：a)越靠前的过程及其因素就越显得重要。b)各个过程对试验设计效率的影响一般不是简单的可加关系，而经常是非线性和有交互作用的关系。c)整个过程存在着很多定性问题和人为影响等不确定性因素的作用。d)整个过程是属于探索性的，允许多次循环和分批试验，不断改进，最终达到目的。e)尽管很复杂，但其效率问题也是可以讨论和研究，或可以进行改进和优化。I.对试验问题的调研和确认（前期工作）a.试验目的的确定和问题的提法；b.响应值的选取；c.试验因素的选取；d.试验区域或因素变化范围的确定。II.试验处理方案的设计和实施（中期工作）（包括对进行试验的因素水平的选取）III.试验结果的分析、推断和验证（后期工作）•为了简化对投入和产出的评估，这十个方面又可以分为三大方面：•试验设计整体效率最大化的思路：试验设计是由一系列过程及其循环和分批试验所组成，其好坏或整体效率就取决于这一系列过程及其循环和分批试验的好坏或局部效率，因此需要对这一系列过程及其循环和分批试验的局部效率进行评估，建立起这些局部效率对整体效率之间理想的递增影响关系。通过对这些局部效率实施最大化，则就有可能实现试验设计整体效率的最大化。对循环和分批试验的局部效率进行评估！？•关于试验设计的投入成本：a)传统试验设计的不足：投入成本通常是用试验的次数和批数来衡量，调研和试验结果分析等成本被忽略或不计。b)试验次数分为不同试验点的个数和相同试验点的重复次数，重复试验又分为不同单元的重复和相同单元的重复，它们的试验成本是不同的。c)试验批数有的成本高，有的成本低；有时前后批数的成本可能不一样。d)试验批数之外其它循环的成本基本上可以忽略。e)试验方案设计和试验结果分析的成本可以包括在试验批数的成本之中。f)对于计算机试验，试验批数的成本就等于试验方案设计和试验结果分析的计算成本。•关于试验设计的产出：a)试验设计的整体产出可以通过对试验的最终结果的好坏评估来获得。b)由于评估标准经常是不唯一的，所以，对试验结果的好坏评估并不是一件不简单的事情。评估标准应该是问题提法的一部分，并允许在循环中进行调整或改进。c)对试验设计的局部产出的评估多数很难，但可以考虑用循环的方法由粗糙到精细逐步地加以改进。•试验设计方法的通用性和使用效率：a)试验设计的效率跟方法的通用性，即难易程度和可使用范围有关。通用性强或使用效率高的方法的特征：简单且可使用范围广。若把效果相近的试验设计方法分成A、B和C三类，则A－方法难；被使用范围窄，使用效率低。B－方法难度中等；被使用范围和使用效率都是中等。C－方法容易；被使用范围广，使用效率高。a)方法的通用性和使用效率还跟试验问题本身和使用者的知识及能力水平有关。问题容易，则使用效率高；使用者水平高，则通用性强。•关于试验设计的前期工作—问题调研和确认a)前期工作影响到所使用的数学模型和准则以及统计分析方法的合理性。b)前期工作需要成本、技术和经验，是试验设计效率的基础，其潜力非常大。c)前期方面工作的随意性很大，其好坏差异很大，但一般重视不够。d)这方面的内容很少，研究非常少，尤其缺少在试验结果的分析、推断和验证之后，如何来进行改进。实际上这方面有不少工作可以做。4.关于试验设计效率的一些基本原理及存在问题•关于试验设计的目的a)试验问题大致可以分为两大类：i.建立响应曲面的数学模型；ii.求系统的最优化条件。b)建立响应曲面的数学模型通常是为系统优化服务，所以，第二类问题实际上是试验设计的主要问题或目的。c)其它试验问题基本上都可以作为子问题归入到这两类问题之中。例如，处理间的比较和参数设计问题都属于第二类问题，筛选试验只是这两类问题的初期试验问题；等等。•关于系统优化问题的提法：a)系统优化问题有两类提法，即i.最优型：望目，望小，望大。ii.满意型：把望目、望小和望大分别转化为置信区间、置信上限和置信下限。而且，在试验的循环过程中，允许对其进行修改。b)最优型试验问题不利于试验设计的效率。c)满意型试验问题应该是正宗的提法。d)对于满意型试验问题，要追求试验设计的效率，只需在满足试验目的条件下，尽可能地减少投入成本即可。•关于试验范围和试验时因素水平的选取a)试验范围增大时，响应值的信息随试验范围成比例地增加，而试验投入的增加相对要慢，因此，试验效率一般会提高。b)若只做一批试验，则一般水平个数多时，试验效率低；少时则高。c)对于分批试验，各批试验应做水平个数少的试验；前面批试验不好的水平在后面批试验中被新水平取代。多批试验联合起来就考察了多个水平，未被考察的水平通常属于希望不大的被淘汰之列。d)如果因素的水平个数固定，而增加因素的变化范围，则试验设计的效率虽然能得到提高，但其增加速度跟响应值的复杂性成反向关系。•关于筛选设计或筛选试验a)筛选设计是在试验初期先用超饱和设计等方法做一批试验次数少的筛选试验，从众多因素中筛选出重要因素。b)筛选设计是应用因素效应的稀疏性原理和满足一些特定条件，并使用逐步回归来筛选因素，也是响应曲面建模的配套技术，其效率很高。但特定条件会限制应用范围，不满足时试验所获取的主效应信息会不完备，而逐步回归可能漏掉重要因素，因此在总体上其通用性不强。a)也可以做其它形式的筛选试验，例如：凭经验和专业知识，直接挑选试验因素。做正交试验，分批筛选因素和试验范围。•关于响应曲面建模和系统优化a)响应曲面模型的优点是可以研究因素与响应值之间的各种关系，包括预测。b)响应曲面建模的缺点：响应曲面本身不能太复杂，试验区域较小或不宜太大，试验点数通常不宜太少或适宜较多。c)远离系统优化区域所建立的响应曲面模型对解释系统或改进系统的用处不大。d)响应曲面方法虽然是一种分批试验的系统优化方法，但容易陷入局部最优，因而效率不高。e)关于系统优化，控制因素越多、试验区域越大，试验的布点越均衡分散，试验设计效率就越高，就越有利于全局最优化。•关于试验设计循环和分批试验a)在试验设计的十个过程中，i-vii都有可能因信息不足而出现失误或存在不足，viii-x所提供的新信息可以用来弥补和改进i-vii，因此自然地需要进行试验设计的循环。b)循环提高了试验设计的产出和效率。c)分批试验是循环的一个环节。d)一般试验设计教科书，除了响应曲面方法，对分批试验几乎不讲，这是很遗憾的。e)中国教科书[张里千]强调做分批试验，认为试验的分批是提高试验设计效率的关键之一，并提出了试验优化的基本原理和分批试验的基本方法，即“由稀到密，分批走着瞧，有苗头处着重加密，过稀处适当加密。”•关于噪声因素a)Fisher的三原则——重复、随机化和区组，都是为了控制误差或噪声因素的干扰，提高因素效应的估计和比较的效率。b)田口的噪声因素概念及其使用主要是为了控制响应值的波动，是对试验设计的一个重大贡献，是提高试验设计效率的关键之一。c)噪声因素虽然是随机变量，但其波动或标准差的大小却是可控和不控的参数或因素。如果控制噪声因素波动大小的成本高，或噪声因素对响应值的影响较小，则可以把它作为误差因素来处理；否则就把噪声因素的波动大小作为控制因素来进行试验。d)如何进行重复试验对试验效率有较大的关系。•关于对最后推断结果的试验验证a)验证试验是试验设计所不可缺少的一个环节。推断结果对统计学家来说是一个完成任务的成果；但对实际工作者来说则至多是一个样品，必须要通过最终的试验验证，才能算是成果。b)验证试验的效率是很高的。推断结果是带有置信度的，其好坏跟所依赖和建立的模型好坏有关。模型有系统误差，则置信度就不可信了。验证试验的投入是很少的，但对推断结果的置信度或可靠性是起决定性作用的。5.对一些试验设计效率问题的若干补充•关于试验问题的提法提出问题是解决问题的第一步。提出问题决定了解决问题所可能使用的方法和成功的程度。它要求同时具有专业和试验设计两方面知识，并进行深入的调查研究。两者结合尤为重要。否则往往因问题提法不准确和不恰当