数据处理-论文

1/13《实验设计与数据处理》课程总结与体会本文主要是总结了数据处理和实验设计两部分内容的一些概念、方法，详细地介绍其中方法的步骤和原理，并对数据处理方法和实验设计方法在实际实验应用中，各举了一个例子。最后，还总结了自己对这门课程的一些体会。一、数据处理1、数据处理的目的通过误差分析，评判试验数据的可靠性；确定影响试验结果的因素主次，抓住主要矛盾，提高试验效率；确定试验因素与试验结果之间存在的近似函数关系，并能对试验结果进行预测和优化；研究试验因素对试验结果的影响规律，为控制试验提供思路；确定最优试验方案或配方。2、数据处理的有关概念及其计算方法（1）真值在某一时刻和某一状态下，某量的客观值或实际值，在科学实验中，经常将多次试验值的平均值作为真值得近似值。（2）平均值平均值的种类很多，常用的平均值及其算法和使用条件如下：①算术平均值等精度试验值，试验值服从正态分布②加权平均值适合不同试验值的精度或可靠性不一致时③对数平均值若数据的分布具有对数特性，则宜使用对数平均值④几何平均值当一组试验值取对数后所得数据的分布曲线更加对称时，宜采用几何平均值。⑤调和平均值常用在涉及到与一些量的倒数有关的场合如果1/2≤x1/x2≤2时，可用算术平均值代替（3）各种误差的定义及其计算和使用条件①绝对误差绝对误差＝试验值－真值②相对误差③算术平均误差可以反映一组试验数据的误差大小④标准误差当试验次数n无穷大时，总体标准差：试验次数为有限次时，样本标准差：121...ninixxxxxnn绝对误差相对误差真值11nniiiixxdnn222111()()/nnniiiiiixxxxnnn2/13表示试验值的精密度，标准差↓，试验数据精密度↑小误差比大误差出现机会多；正、负误差出现的次数近似相等，当试验次数足够多时，误差的平均值趋向于零；可以通过增加试验次数减小随机误差，但随机误差不可完全避免的。（4）精密度，反映了随机误差大小的程度，可以通过增加试验次数而达到提高数据精密度的目的精密度判断方法：极差：标准差和方差：方差↓，精密度↑（5）试验数据误差的统计检验①随机误差的检验随机误差的大少可用实验数据的精密度来反映，而精密度也可以用方差来检验，所以对测试结果进行方差检验，即可判断各试验或结果的随机误差之间的关系。检验检验，就是试验数据的总体方差已知的情况下，对试验数据的随机误差或精密度进行检验。检验步骤：如果数据服从正态分布，则统计量为：且服从自由度为的分布，则通过查临界值，（为显著性水平，一般取0.05或0.1）来进行检验。1’双侧检验：当，则判断两方差无显著差异，否则有显著差异2’左侧（尾）检验：当，则判断该方差与原总体方差无显著减小，否则有显著减小3’右侧（尾）检验:当，则判断该方差与原总体方差无显著增大，否则有显著增大②系统误差的检验t检验法目的：检验服从正态分布数据的算术平均值是否与给定值有显著差异检验步骤：若试验数据服从正态分布，先计算统计量：服从自由度为的t分布,将t与临界值进行比较1’双侧检验：当，则判断两方差无显著差异，否则有显著差异(给定值可以是真值、期望值或标准值）22221111()()/111nnnniiiiiiiidxxxxnsnnnmaxminRxx2222(1)ns1dfn22()df22212222(1)()df22()df0xtns2tt3/132’左侧（尾）检验：当且断该方差与原总体方差无显著减小，否则有显著减小3’右侧（尾）检验:当且，则判断该方差与原总体方差无显著增大，否则有显著增大③秩和检验法目的：两组数据或两种试验方法之间是否存在系统误差、两种方法是否等效等，不要求数据具有正态分布步骤：设有两组试验数据，相互独立，n1，n2分别是两组数据的个数，总假定n1≤n2；将这个试验数据混在一起，按从小到大的次序排列；每个试验值在序列中的次序叫作该值的秩；将属于第1组数据的秩相加，其和记为R1（R1—第1组数据的秩和）。如果两组数据之间无显著差异，则R1就不应该太大或太小检验：查秩和临界值表：根据显著性水平和n1，n2，可查得R1的上下限T2和T11’如果R1＞T2或R1＜T1，则认为两组数据有显著差异，另一组数据有系统误差2’如果T1＜R1＜T2，则两组数据无显著差异，另一组数据也无系统误差④异常值的检验处理原则为：在试验过程中，若发现异常数据，应停止试验，分析原因，及时纠正错误；试验结束后，在分析试验结果时，如发现异常数据，则应先找出产生差异的原因，再对其进行取舍；在分析试验结果时，如不清楚产生异常值的确切原因，则应对数据进行统计处理；若数据较少，则可重做一组数据；对于舍去的数据，在试验报告中应注明舍去的原因或所选用的统计方法。⑤拉依达（）检验法方法：对可疑数据xp，若，则剔除这一数据，可疑数据应逐一检验。首先检验偏差最大的数。剔除一个数后，如果还要检验下一个数，应重新计算平均值及标准偏差。S取值方法：3s为界时，要求n＞10；2s为界时，要求n＞5（6）有效数字的运算①加、减运算与其中小数点后位数最少的相同；②乘、除运算各乘、除数中有效数字位数最少的为准；③乘方、方运算其底数的相同：例如：2.42=5.8；④对数运算：与其真数的相同如ln6.84＝1.92；lg0.00004＝－4；⑤在4个以上数的平均值计算中，平均值的有效数字可增加一位；⑥所有取自手册上的数据，其有效数字位数按实际需要取，但原始数据如有限制，则应服从原始数据；0ttt0tttPauta32pxxss或4/13⑦一些常数的有效数字的位数可以认为是无限制的；⑧一般在工程计算中，取2～3位有效数字；3、试验的方差分析方差分析是一种用于检验试验中有关因素对试验结果影响的显著性的检验方法。试验指标衡量或考核试验效果的参数。因素则是影响试验指标的条件。可控因素是水平因素的不同状态或内容。（1）单因素试验的方差分析①目的：检验一个因素对试验结果的影响是否显著性②单因素试验方差分析基本步骤1’计算平均值：组内平均值：2’计算离差平方和总离差平方和SST:表示了各试验值与总平均值的偏差的平方和,反映了试验结果之间存在的总差异组间离差平方和SSA:反映了各组内平均值之间的差异程度,由于因素A不同水平的不同作用造成的组内离差平方和SSe:反映了在各水平内，各试验值之间的差异程度,由于随机误差的作用产生3’计算自由度总自由度：dfT＝n－1组间自由度：dfA＝r－1组内自由度：dfe＝n－r三者关系：dfT＝dfA＋dfe4’计算平均平方均方＝离差平方和除以对应的自由度MSA——组间均方MSA——组间均方:5’F检验服从自由度为（dfA,dfe）的F分布,对于给定的显著性水平，从F分布表查得临界值，dfe)如果FA＞，dfe)，则认为因素A对试验结果有显著影响否则认为因素A对试验结果没有显著影响111inrijijxxn11iniijjixxn211()inrTijijSSxx22111()()inrriiAiijiSSxxnxx211()inrieijijSSxxAAeMSFMS组间均方组内均方5/136’方差分析表差异源SSdfMSF显著性组间（因素A）SSAr－1MSA＝SSA／（r－1）MSA／MSe组内（误差）SSen－rMSe＝SSe／（n－r）总和SSTn－1若FA＞F0.01(dfA，dfe)，称因素A对试验结果有非常显著的影响，用“**”号表示；若F0.05(dfA，dfe)＜FA＜F0.01(dfA，dfe)，则因素A对试验结果有显著的影响，用“*”号表示；若FA＜F0.05(dfA，dfe)，则因素A对试验结果的影响不显著(2)双因素试验的方差分析双因素试验的方差分析，是用来讨论两个因素对试验结果影响的显著性，又称为二元方差分析。①双因素无重复试验方差分析的基本步骤1’计算平均值：总平均：Ai平均：Bj平均：2’计算离差平方和总离差平方和：因素A引起离差的平方和：因素B引起离差的平方和：误差平方和：3’计算自由度SSA的自由度：dfA＝r－1SSB的自由度：dfB＝s－1SSe的自由度：dfe＝（r－1）（s－1）SST的自由度：dfT＝n－1＝rs－1dfT＝dfA＋dfB＋dfe111rsijijxxrs11siijjxxs11rjijixxr211rsTijABeijSSxxSSSSSS22111()()srriiAjiiSSxxsxx22111()()rssjjBijjSSxxrxx211()rsijeijijSSxxxx6/134’计算均方5’F检验FA服从自由度为（dfA,dfe)的F分布；FB服从自由度为（dfB,dfe)的F分布；对于给定的显著性水平，查F分布表：（dfA,dfe)，（dfB,dfe)若FA＞（dfA,dfe)，则因素A对试验结果有显著影响，否则无显著影响；若FB＞（dfB,dfe)，则因素B对试验结果有显著影响，否则无显著影响；4、试验数据的回归分析回归分析是处理变量之间相关关系的统计方法。目的是确定回归方程：变量之间近似的函数关系式，进而检验回归方程的显著性，对试验结果进行预测。（1）一元线性回归方程的建立设有一组试验数据（如表），若x，y符合线性关系a，b——回归系数残差平方和：由最小二乘法原理得：①一元线性回归效果的检验1’相关系数检验法相关系数，用来描述变量x与y的线性相关程度，用r表示。定义式：相关系数特点如下：－1≤r≤1；当r＝±1：x与y有精确的线性关系；r＜0：x与y负线性相关r＞0：x与y正线性相关；r≈0时，x与y没有线性关系，但可能存在其它类型关系；相关系数r越接近1，x与y的线性相关程度越高；试验次数越少，r越接近1；1AAAASSSSMSdfr1BBBBSSSSMSdfs(1)(1)eeeeSSSSMSdfrsAAeMSFMSBBeMSFMSiiyabx11112222111()()()()nnnniiiiiiiiiinnniiiiiinxyxyxynxybnxxxnxaybxxyxxyyLrLL7/13（2）多元线性回归分析由于在实际解决问题是，往往是由多个因素影响，所以设多元线性回归方程：，在根据一元线性回归分析的原理求出相关系数。（3）多元线性回归方程显著性检验取用，上文中以介绍的F检验法或t检验法。二、试验设计1、优选法优选法：根据生产和科研中的不同问题，利用数学原理，合理地安排试验点，减少试验次数，以求迅速地找到最佳点的一类科学方法。其适用于试验指标与因素间不能用数学形式表达或者表达式很复杂的情况。其中，可分为单因素优选法和双因素优选法。（1）单因素优选法试验指标f(x)是定义区间(a，b)的单峰函数，为了用尽量少的试验次数，来确定f(x)的最大值的近似位置（取值范围），这时应用单因素优选法。其方法有很多，如来回调试方法、黄金分割法（0.618法）、分数法、对分法、抛物线法、分批试验法（分为均分法、比例分割法）和逐步提高法（爬山法）。下面就重点来介绍一下，黄金分割法、分批试验法和抛物线法。①黄金分割法将第一个试验点x1安排在试验范围内的0.618处，得试验结果y1=f(x1)，再在x1的对称点x2。做一次试验，得到试验结果y2=f(x2);比较y1=f(x1)和y2=f(x2)哪个大，如果y1=f(x1)大，就去掉（a,x2）,如下图。在留下的区间求x1的对称点，如此一直做到达到要求为止。②抛物线法在三个试验点x1，x2，x3，且x1＜x2＜x3，分别得试验值y1，y2，y3，根据Lagrange插值法可以得到一个二次函数：设