第二章感知机

第二章感知机蔡天任5/31统计学习方法李航目录2.1感知机模型2.2感知机学习策略2.2.1数据集的线性可分性2.2.2感知机学习策略2.3感知机学习方法2.3.1感知机学习算法的原始形式2.3.2算法的收敛些2.3.3感知机学习算法的对偶形式01介绍1957年Rosenblatt提出，是神经网络和支持向量机的基础。02定义感知机是二分类的线性分类模型2.1感知机模型感知机模型如下：f(x)=sign(w*x+b)感知机的几何解释：线性方程：对应于特征空间中的一个超平面S,其中w是超平面的法向量，b是超平面的截距。nR0wxb2.2感知机学习策略2.2.1数据集的线性可分性感知机原则上只能解决线性可分的分类问题。数据集TT={(x1,y1)(x2,y2)……(xN,yN)}ifexistS:w∙x+b=0将数据集完全正确划分到超平面两侧，则可称数据集T线性可分。2.2感知机学习策略2.2.2感知机学习策略所有误分类点到超平面s的总距离：（其中M为误分类集合）1()iiixMywxbw2.3感知机学习算法Hypothesis:h(x)=sign(w·x+b)Costfunction:Goal:minL(w,b)(,)()iiixMLwbywxb2.3感知机学习算法2.3.1感知机学习算法的原始形式Stochasticgradientdescent随机选取一个误分类点updatew,b:s.t.L0(,)iiixMLwbyxw(,)iixMLwbyb(,)arg(()0)iiiixyywxbiiiwwyxbby2.3感知机学习算法2.3.2算法的收敛性•定理可以证明，误分类次数k是有上界的，经过有限次搜索可以找到将训练集完全正确分开的分离超平面。•感知机学习算法存在很多解，需要对分离超平面增加约束条件。2.3感知机学习算法2.3.3感知机学习算法的对偶形式不失一般性，假设w和b初始值均为0。•对误分类点通过ifupdaten:•最后学习到的w，b可以表示为(,)iixyiiiwwyxbbyiiiwyxiiby()iin其中1niiiiwayx1niiibay2.3感知机学习算法感知机模型：Step1:首先置Step2:在训练集中选取Step3:转向2直到没有误分类点。1()()Njjjjfxsignyxxb0,0b(,)iixy1(,)arg(()0)NiiijjjijxyyxyxxbiiibbyifTHANKS！