代理模型对比分析

代理模型对比分析制作人：张超代理模型性能代理模型的好坏主要通过下面几个方面进行衡量1.准确性：在设计空间上，模型预测系统响应的能力2.鲁棒性：指针对不同问题，实现良好准确性的能力3.效率性：构建代理模型和预测响应值所需计算能力的多少4.透明度：变量和响应值之间的函数关系，函数关系越明确，透明度越高5.概念简洁度：易于实施。简单的代理模型应该使用较少的输入和步骤并且容易适应每个问题模型分类多项式响应面模型（PR）径向基函数模型（RBF）Kriging模型（KG）多元自适应样条回归模型（MARS）变量的多少函数非线性程度变量个数是2或者3变量个数10个以上高阶非线性低阶非线性（当使用一阶或者二阶多项式响应面模型，二乘回归系数大于等于0.99）设计模型对比试验为了测试模型性能的情况，考虑多种情况，针对变量多少，函数非线性程度，数据干扰程度，产生了14个问题。“嘈杂”和“平滑”数据平滑，波动小数据波动大（加入个局部变量ε）左图，根据变量的不同，产生了14个问题，其中13个是不同的测试函数，第14个，是关于车辆设计的实际问题。为了测试样本数量的多少对代理模型的影响，我们用拉丁超立方（LHD）进行抽样，并设计三种情况分别是稀缺样本集、小型样本集和大型样本集。并且用蒙特卡洛方法生成了用于测试模型准确性的点。测试模型准确性我们通过下面三个参数来确定模型的准确性。1.R2是评估模型好坏程度的参数，其值越大，代理模型就越准确2.相对平均绝对误差（RAAE），它的值越小，代理模型就越准确。3.相对最大绝对误差（RMAE），它的值越小，代理模型就越准确。虽然有些模型有较好的R2和RAAE，但是RMAE过大，说明设计空间有一个区域有较大误差。准确度指标的平均值准确度指标的方差针对不同的非线性，不同的问题尺寸和不同的样本量，三个准确度指标。方差值越小，模型的准确度越高。RBF和KG在平均值上表现出了良好的性能，但KG是在RAAE和RMAE中比RBF更好，MARS表现不佳（后面会给出解释）。通过平均值和方差来看，RBF被证明是最好的在准确性和稳健性方面。不同问题情况下的R2平均值不同问题情况下的R2方差通过上面两个图片我们可以看出：对于高阶非线性和多变量问题，RBF在平均准确度方面表现最佳。适用于低阶非线性和多变量问题，KG在平均水平方面表现最佳。对于高阶非线性和少变量问题，RBF表现最佳。对于低阶非线性和少变量问题，PR表现最佳。通过下面两个图片我们可以看出：下面两个图我们控制了一个变量，来观察每个模型的情况对于高阶非线性问题，RBF表现良好对于低阶非线性问题，KG和PR的平均准确度非常接近，但是KG的稳健性略好于PR通过图片我们还能看出，低阶比高阶非线性问题模型效果更好高阶和低阶非线性问题，对于KG和PR的影响是比较大的。对于变量多少的问题在变量较少的时候，RBF表现最佳在变量较多的时候，RBF和KG表现都可以，RBF更好一点通过图片可以看出，变量的多少对RBF的影响不大，但是对于KG的影响很大不同样本集下的R2平均值不同样本集下的R2方差对于稀缺的样本集，RBF，KG和PR的平均准确度接近但是RBF的表现效果最佳，样本容量的大小对MARS的影响很大，样本当使用小样本和稀缺时，MARS的准确度很低（小于0.45）。这个是因为样本容量很小的时候，MARS预测性差。这个解释了，为什么前面MARS为什么表现得很差的原因。在大样本的情况下的时候，MARS、RBF和KG差距很小在多变量和高阶非线性问题情况下，不同样本集下R2的平均值在多变量和高阶非线性问题情况下，不同样本集下R2的方差我们开始考虑代理模型构建过程中最困难的情况，就是多变量和高度非线性问题，对于大小样本两种情况，MARS表现都是最佳的。但是在稀少样本情况下，情况变得很糟糕，而RBF的平均性能表现得比较好。在稀少样本的情况下，RBF表现最佳。R2–“平滑”与“嘈杂”的问题通过图片可以看出，KG对于噪声非常敏感，因为它是插值模型。PR表现最佳，因为它给出一个平滑的代理模型。MARS和RBF表现良好。MARS，PR，RBF在PCPentiumIII500MHz机器上进行测试的，而KG是在SunUltra60工作站上运行的。构建模型：PR是最高效的方法在模型构建和预测方面。KG需要一个K阶优化找到最大似然估计系数，所以计算时间会很长。预测过程：KG和RBF是比较慢的，是因为在预测过程中，必须计算空间距离总结抽样方法对模型的影响：在没有选择合适的抽样方法的时候，对KG模型的影响很大。在小样本采样的时候，RBF采用全因子采样效果会更好。PR：在数据波动时，PR表现得最好，建模耗时最短，较好的透明度，具有简单性。低阶非线性表现良好，高阶准确性较差。RBF：在小样本和稀少样本情况下，表现很好。样本对模型的影响最小，具有简单性。KG：数据噪声干扰较大，计算时间较长，实验设计方法对模型影响很大。MARS：对于高阶非线性和大样本情况表现良好。但是，小样本情况很差。模型具有较好的透明度。