基于不同的损失函数SVM的优化形式

第三次作业针对不同的损失函数SVM的优化形式姓名：侯艳巧班级：研2—118学号：1102121349学院：电子工程学院导师：吴建设电话：[phone]损失函数在模式分类的决策中,使错误率达到最小是重要的。但在实际问题中，如诊断、癌细胞识别等，有时需要考虑一个比误判率更为广泛的概念——风险。例如，对于故障诊断，如果把正常状态诊断为故障状态，就可能会进行一些不必要的维修，造成一定的损失；而如果把真正的故障状态诊断为正常状态，则会延误维修工作，可能会造成设备的损坏，带来更大的甚至不可挽回的损失。显然，后者的损失比前者要大得多。因此，在进行故障诊断、癌细胞识别等问题的研究时，就应该考虑到这一点。传统的最小风险Bayes故障决策就是把各种分类错误而引起的损失考虑进去的决策规则。在将SVM应用到这些问题时也应该将这些因素考虑进去。SVR损失函数1).不敏感损失函数(,(,))|(,)|Lyfyfxx0|(,)||(,)|ifyfyfothersxxε-支持向量回归机——ε-SVR算法(1)设已知训练集11,,,,lllTxyyyxx，其中,,1,2,,niixyRilyxR。(2)选择适当的正数ε和C；选择适当的核,,Kxx。(3)构造最优化问题0*2****,11112minlllliijjiiiiiiiijiiaRyaaaaxxaaaas.t.**10,0,,1,2,,liiiiiCillaaaa*0,,1,2,,iCillaa(4)求得支持向量01*liiiiaxa。根据KKT条常，有*0iiaa成立，也就是只有支持向量对应的拉格朗日乘子不等于零。因此，可以只采用训练样本中的少数支持向量就可以实现函数估计。(5)选取不同的核函数,ijKxx作为内积的回旋，实现输入空间中不同类型的线性决策面的学习机器。对于非线性回归问题，可以通过非线性变换将输入向量影像到高维特征空间，转化为类似的线性回归问题加以解决，为了避免高维特征空间中的“维数灾难问题”，采用Hilbert空间中内积的回旋形式，用输入空间的—个核函数等效高维特征空间的内积形式。(6)构造决策函数1,liiifxKxbx*,1,2,,iiiilaa其中b按下列方式计算，选择位于开区(0,C/l)中的ja或*ka，若是选到的是ja，则1,lijijibKyxx。若选到的是*ka，则1,lijikibKyxx。综上所述，采用支持向量机解决回归函数估计问题，必须首先确定3个自由参数：ε不敏感值和正则化参数C以及核参数(多项式核的阶、径向基核的宽度参数、样条生成核的样条阶数，等等)，然后采用上述支持向量回归估计算法进行回归估计。通过控制C和ε两个参数，可以控制支持向量机的推广能力。ε--支持向量回归机中的稀疏性定理1设***11,,,,Tllaaaaa是最优化问题的解，则(1)若*0iiaa，则相应的样本点,iiyx一定在ε-带的内部或边界上。(2)若*0,,0iiClaa，或*0,iiClaa，则相应的样本点,iiyx一定在ε--带的边界上。(3)*0,iiClaa或*,0iiClaa，则相应的样本点,iiyx一定在定在ε-带的外部或边界上。推论(1)若样本点,iiyx在ε-带的内部，则*0iiaa。从(1)中可以看出，所有在ε-带内部的样本点,iiyx都对应*0iiaa，即它们都不是支持向量。显然，它们对决策函数没有贡献。换句话说，去掉这些样本点，不会对最终的决策函数造成影响。反过来说，只有那些对应于*00iiaa或者的样本点,iiyx，才会影响决策函数。这一事实所体现的稀疏性将有可能简化我们的计算。显然，这个优点与所采用ε的不敏感损失函数密切相关。2).Huber损失函数(,(,))Lyfx22|(,)|,|(,)|21|(,)|,|(,)|2ccyfifyfcyfifyfcxxxxHuber-SVR的参数与高斯输入噪声间的近似线性关系0Huber-SVR当SVR中的损失函数取Huber函数时，构成Huber-SVR。其模型如下:211min,2liiiC(1),..,,1,2,,0HuberiiiiiHuberiiiiiiiffstffilyyxxLyyxxL将Huber函数2/4,22,HuberfxyfxyfxyfxyL（）其他代入上述约束条件，则上述模型可以进一步化为如下的二次规划问题：211111122,minllllijiiijjijiiKCyyx1,1,2,0iliiCCIl其中K(.,.)是核函数。在求出上式中的参数α后，即可求得回归函数f(x)。Huber-SVR的贝叶斯框架在参数估计中，贝叶斯方法是一种把待估计参数看作具有某一已知分布的随机变量，从而进行参数估计的、将先验信息数学形式化的方法。通常称这一已知分布为先验分布。由于利用了先验信息，则当先验信息与实际情形比较一致时，贝叶斯估计要优于极大似然估计。当将这一思想应用于SVR时，就有了SVR的贝叶斯框架，由此可以推导出SVR损失函数的参数与输入样本噪声之间的关系。下面对此作简要介绍。对于给定的样本集11,,,,,,nllDxyRyyxxR考虑用,1,2,Tiiiilyx进行回归时的权参数估计问题。其中，ix服从分布P(·)，i服从分布Φ(·)。对应于y的密度函数记为p(y/x)=)(Tiiyx。为简化问题，假定所有的ix具有0均值。求解上述问题的Huber-SVR贝叶斯框架要点如下：(1)Huber损失函数导致以下的对应于Y的概率密度函数：|,,,,expHuberiipCfxyyxL(3)其中，μ是Huber损失函数的参数，β是用于控制噪声水平的参数，,C是归一化系数。则1|,,exp,llHuberiiipDfCyxL(4)(2)权参数ω的先验分布为2exp22p(5)其中，α为某一常数。(3)权参数叫的后验分布为|,,|,,pDPDP则2log|,,,2pD1log,lTHuberiiilCyxL+常数(6)于是，估计权参数的问题就变成了对于给定的,的值求ω的最大后验估计问题。由此可以进一步推导出损失函数的参数与输入噪声之间的关系。3).Guass损失函数2(,(,))((,))LyfyfxxGaussian损失函数的支持向量回归机设训练集11,,,,llTyyxx中的样本点是由一个基本函数依赖关系truef和噪声产生的，即iitrueifyx(4)当噪声的密度函数ip已知，则在最大似然意义下，最优的损失函数是,,lniiiiiCfpfyyxxx(5)本文采用高斯函数进行降噪处理，此时噪声的密度函数为Gaussian函数，则有21exp22iiiipfpyx(6)由式(5)知211,,22iiiiiiCffyyxxx(7)此时，基于Gaussian损失函数的SVR为*22*2*21,,11,2mindlliiibRClRRs.t.,1,2,,iiibilyx*,1,2,,iiibilyx*0,0,1,2,,il(8)式中：ω为d维列向量；C(C0)为惩罚系数；***11,,,,ll为松弛变量．0基于Gaussian损失函数的SVR模型算法步骤为步骤1设已知训练集11,,,,llTyyxx，其中,,1,2,,diiRilyxR．步骤2选择适当正数ε和C，以及核函数,iiKyx，本文核函数选为径向基函数．步骤3构造并求解最优化问题******2*2,111,1,,2minllliijjijiiiiiijiiaaKayaaaaaxxaaaas.t.*10liiiaa*0,1,2,,icilla得到最优解***1;,1,,iiaaaaa步骤4构造决策函数*1,liiiifxKxbaax式中：b按下式计算，选择位于开区间(0，C／l)中的2个分量ja或*ka，若选到的是ja，则*1liiijiibyaaxx若选到的是*ka，则从上述分析中可以看出：采用结构风险最小化原则的SVR模型克服了神经网络模型存在的全局搜索能力差或易收敛于局部最小等缺陷，取得了较好的预测效果，Gaussian损失函数的引入弥补了SVR模型无法对序列内噪声进行有效处理的不足，从而进一步提高了模型的预测精度．针对运行时间开销主要取决于模型*1liiikkibyaaxx参数的寻优阶段，应用GA进行Gaussian—SVR模型参数的优选，缩短模型寻优阶段的时间，提高寻优效率，更适合于系统一定时段内，利用新的数据进行模型参数的自动更新．4).Laplace损失函数(,(,))|(,)|Lyfyfxxr范数一支持向量回归机参数r的选择问题目前尚未见到研究结果．r范数损失函数统一了Laplace损失函数和平方损失函数，因此，从理论上研究r范数损失函数中参数r与输入噪声之间的关系，具有普遍的理论意义和实际指导意义。研究r范数-支持向量回归机中参数r的选择问题．基于将SVR的优化问题转换成最大后验估计问题的思想，推导出r范数一支持向量回归机后验估计最大化的条件，研究了输入噪声为高斯噪声的情形，并求出了该情形下鲁棒的r范数-支持向量回归机中参数r的选择方法．1r-SVR与最大后验估计当r=1时即所谓的Laplace损失函数1．1r范数一支持向量回归机r—SVR首先给定r范数--支持向量回归机，r--SVR的基本概念．考虑用线性函数,fxxb来逼近下列数据集：11,,,,,,dnnDxyRyyxxR0其中n为样本数目,若使用r范数损失函数,rrfxyfxyL则最优回归函数可通过下式求得:21min,2iiC,(1),1,2,;..0.riiilstfxy其中：C为设定常数，1,2,12,,,iill表示约束系统输出的松弛变量。于是，r范数损失函数与式(1)共同构成了r范数--支持向量回归机r—SVR．1．2最大后验估计问题(MAP)形如式(1)的最小化问题可以解释成对于给定值r和β，求ω的最大后验估计问题．对于已知数据集1,niDiiyx考虑用,1,2,Tiiiinyx（2）估计权参数的回归问题．这里，ix服从p(·)分布，i表示噪声服从分布，则相应的y的密度函数可记为|Tpyxyx．注意，式(2)中也可以用ix代替ix，为简单起见，这里选用式(2)的表示法，但不影响下面的结论．