感知器准则函数

感知器准则函数对于任何一个增广权向量a，对样本y正确分类，则有：aTy0对样本y错误分类，则有：aTy0定义一准则函数JP(a)(感知准则函数)：感知器准则()()kTPYJyaay被错分类的规范化增广样本集恒有JP(a)≥0，且仅当a为解向量，Yk为空集（不存在错分样本）时，JP(a)=0，即达到极小值。确定向量a的问题变为对JP(a)求极小值的问题。梯度下降算法梯度下降算法：对(迭代)向量沿某函数的负梯度方向修正，可较快到达该函数极小值。感知器准则()()()kppYJJyaaya(1)()()()kkpkYkkrJkryaaaay算法(stepbystep)感知器准则1.初值:任意给定一向量初始值a(1)2.迭代:第k+1次迭代时的权向量a(k+1)等于第k次的权向量a(k)加上被错分类的所有样本之和与rk的乘积3.终止:对所有样本正确分类任意给定一向量初始值a(1)a(k+1)=a(k)+rk×Sum(被错分类的所有样本)所有样本正确分类得到合理的a完成分类器设计NY梯度下降算法计算实例有两类的二维数据，其中第一类的两个样本为(1,4)t和(2,3)t，第二类的两个样本为(3,2)t和(4,1)t。假设初始的a=(0,1,0)t，n(k)=1利用批处理感知器算法求解线性判别函数g(y)=aty的权向量a。首先对每个样本增加一维为增广样本。然后规范化第二类的样本为：(-3,-2,-1)t和(-4,-1,-1)t。梯度下降算法计算实例计算错分的样本集：g(y1)=(0,1,0)(1,4,1)t=4（正确）g(y2)=(0,1,0)(2,3,1)t=3（正确）g(y3)=(0,1,0)(-3,-2,-1)t=-2（错分）g(y4)=(0,1,0)(-4,-1,-1)t=-1（错分）对错分的样本集求和：(-3,-2,-1)t+(-4,-1,-1)t=(-7,-3,-2)t修正权向量a：a=(0,1,0)t+(-7,-3,-2)t=(-7,-2,-2)t再计算错分的样本集：g(y1)=(-7,-2,-2)(1,4,1)t=-17（错分）g(y2)=(-7,-2,-2)(2,3,1)t=-22（错分）g(y3)=(-7,-2,-2)(-3,-2,-1)t=27（正确）g(y4)=(-7,-2,-2)(-4,-1,-1)t=32（正确）对错分的样本集求和：(1,4,1)t+(2,3,1)t=(3,7,2)t修正权向量a：a=(-7,-2,-2)t+(3,7,2)t=(-4,5,0)t再计算错分的样本集：g(y1)=(-4,5,0)(1,4,1)t=16（正确）g(y2)=(-4,5,0)(2,3,1)t=7（正确）g(y3)=(-4,5,0)(-3,-2,-1)t=2（正确）g(y4)=(-4,5,0)(-4,-1,-1)t=11（正确）全部样本正确分类，算法结束a=(-4,5,0)t。