最小二乘支持向量机公式

设D=(,)|1,2,kkxykN,其中nkxR为输入数据，kyR为输出类比。在权w空间中最小二乘支持向量机分类问题可以描述如下：21,,11(,,)22minNTkkwbeabewwe（1）约束条件：[()]11,,TkkkywxbekN（2）定义拉格朗日函数：1(,,,)(,,)[()]1TkkkkkkLwbewbeywxbe（3）其中，拉格朗日乘子kR。对上式进行优化。即对w，b，ek，αk的偏导数等于0。110()0000[()]10NkkkkNkkkkkkTkkkkLwyxwLybLeeLywxbee（4）上式可化为求解下面的矩阵方程：00000000000TTwIZbYeIIIZYI（5）即100TTYbIYZZI（6）其中，1122(),(),(),TTTTNNZxyxyxy12,,,,[1,1,,1],TNYyyyI1212,,,,,,,TNNeeee。同时将Mercer条件代入到TZZ,可得：()()(,)Tklklklklklyyxxyyxx（7）因此，式（1）的分解可以通过解式（6）和式（7）获得。最小二乘支持向量机分类决策函数为1()sgn(,)Nkkkkyxyxxb（8）其中：(,)是核函数，目的是从原始空间抽取特征，将原始空间中的样本映射为高维特征空间中的一个向量，以解决原始空间中线性不可分的问题。