指导老师高新波

2020/2/21NEURALNETWORKSANDFUZZYSYSTEMSCHAPTERFOURSYNAPTICDYNAMICS1:UNSUPERVISEDLEARNING讲课人：李良群指导老师：高新波2020/2/22学习学习就是对信息进行编码,其目的就是通过向有限个例子（训练样本）的学习来找到隐藏在例子背后（即产生这些例子）的规律（如函数形式）。三种学习方式：2020/2/23编码我们使用行为（behavioristic）编码准则，如果输入激励为，而响应为，则该系统对激励－响应进行了学习。输入输出对表示函数的一个样本，函数f将n维矢量X映射到p维矢量Y。ixiy(,)iixy(,)iixy:npfRR2020/2/24学习过程如果对所有的输入都有响应，那么我们就说系统对函数进行了学习若输入系统就会得到响应，则表明系统近似或部分的对函数进行了学习，即系统把相似的输入映射为相似的输出，由此估计出一个连续的函数。/XX/YYfXXYfX2020/2/25学习与改变当样本数据改变系统参数时，系统会对这些改变进行自适应或自组织的学习。在神经网络中表现为突触的改变，而不是神经元的改变（尽管有时神经元也学习新的状态）。注：突触的改变就是权值的学习过程，而神经元的改变只是网络的演化。当激励改变了记忆介质并使改变维持相当长一段时间后，我们就说系统学会了。这也说明了传统的解释学习是半永久的变化。例如，如果我们通过了微积分的考试，那么可以说我们学会了微积分，并且可以持续这种“会“的状态一段时间。2020/2/26学习与量化量化的必要性通常系统只能对样本模式环境中一小部分样本进行学习，而可能的样本数量使无穷的。系统的存储量是有限的，这就要求系统要通过学习学会用新的样本模式替换旧的样本模式，从而形成样本模式的内部表达或模型。从而可用学会的模型来定义量化模式。2020/2/27学习与量化量子化量子化，把样本模式空间分成k个区域：量子化区域决策组。被学习的原型矢量在一个足够大的模式空间中定义了个突触点。当且仅当某个在中移动时，系统才进行学习。矢量量子化规则矢量量子化可以按照不同的规则进行优化。原型可以扩展以使矢量量子化均方误差最小或使某些数字性能规则最优。更一般的，量子化矢量可以估计样本模式的未知的概率分布，即可从原型矢量的分布可以统计的代表样本模式的未知分布。nRnRmnRim2020/2/28无监督和有监督学习对于两种学习方式，描述样本模式x在样本空间中的连续分布的概率密度函数都是未知，只有通过学习来更精确的估计。无监督学习对不作任何的假设，并且只是利用最少限度的信息。优点：利用“无标志”的模式样本，“盲目”处理模式样本，其计算复杂度小，速度快，适用于高速环境。缺点：精确度低nRpxpxpxX2020/2/29无监督和有监督学习对于有监督学习，它假设了一种样本模式分组结构或性能。有监督学习算法还依赖于每个学习样本的分组隶属度信息，即，假设分成：所以算法可以检查出错误分组或计算出“错误”信息或矢量。优点：精确度较高。缺点：速度较慢，计算较复杂。pxnR12ji,,...,,ijKDDDXDXD而并且2020/2/210在神经网络中的区别有监督学习利用在所有可能的突触值的联系空间中估计出的梯度下降，来估计依赖于的未知均方性能的测度梯度。监督器利用分组隶属度信息来确定数字误差信号或矢量，以引导估计出的梯度下降。无监督学习类似与生物突触，利用神经信号的局部信息来改变参数，而不利用分组隶属度信息来处理未标志的原始数据。它自适应的把样本模式分成模式簇，突触扇入矢量估计样本模式的分组轨迹，这个过程依赖于未知概率密度函数。jDpx2020/2/211在神经网络中的区别一般无监督学习规则可用一阶差分或一阶微分方程来定义。一般来说，随机微分方程就定义了一个无监督学习规则，并且描述了突触如何处理局部可用信息。2020/2/212局部信息局部信息：突触可以简单获得的，经常是表示突触性质和神经信号性质的信息。局部化使突触可以实时、异步地学习，不需要全局的误差信息；也使无监督学习定律的函数空间缩小，从而也使得突触只能获得局部非常有限的信息。局部的无监督突触把信号和信号联系起来，形成由局部化限定的共轭或相关学习定律。学习定律中只包含神经元、突触和噪声三项。借助于联想可以进一步缩小函数空间，它把模式联系起来。通过把、联系起来，神经网络的主要目的也就是估计函数和未知的联合概率密度函数。:fXYfXY,pxy2020/2/213四种无监督学习主要介绍：信号Hebbian学习、微分Hebbian学习、竞争学习、微分竞争学习2020/2/214四个无监督学习首先介绍这四种非监督学习定律的基本形式；简单回顾一下概率论、随机过程、布朗运动和白噪声；最后，对这四种非监督学习的学习定律的性质分别加以简单介绍。2020/2/2151、确定信号的Hebbian学习局部神经信号：或简化为：若，则第个突触连接被激活若，则第个突触连接被抑制：是单调非减函数，其作用就是把激励或膜电位转化为有界信号xyijijiijjmmsxsyijijiijjmmsxsy0ijm0ijmijij()isixiisx2020/2/2162、确定性的竞争学习（Grossberg，1969）用是竞争信号调整‘信号-突触’的差分，即：若，则输出神经元场中的第个神经元赢得竞争；若，则输出神经元场中的第个神经元输掉竞争。ijjjiiijmsysxm11jjjcysye(0)c1jjsyYFjjYF0jjsy2020/2/2172、确定性的竞争学习（Grossberg，1969）竞争可以归结为最近邻模式匹配的问题。是一个度量指示器函数。1,min,0,min,jkkjjjkkdSXmdSXmSydSXmdSXmjjSy2020/2/2182、确定性的竞争学习（Grossberg，1969）实际中，是线线性的，即，输入模式矢量就代表了神经元场中的输出。此时，竞争学习准则就成为线性竞争学习准则：iiiSxxXFXFXjiijmSyXm2020/2/2193、确定性的微分Hebbian学习（Kosko，1988）学习准则信号速度：虽然信号可能是非负的，但是速度则可正可负ijijijiijjijmmSxSySxSy'iiiiiiidSxdSdxSxdtdxdt2020/2/2204、确定性的微分竞争学习学习法则：微分竞争，只有改变了才学习，速度使局部奖惩强化。线性微分竞争学习法则：ijjjiiijmSySxmjSijjjijmSyXm2020/2/221三．概率空间和随机过程随机过程是随机变量族的序列，更一般的讲，是随机矢量族的序列（即多维随机矢量）。随机过程也是有序号的随机变量，不同序号的集合定义了不同的随机过程。一个有限序号集定义了一个随机矢量，如一个有限可数的序号集定义了一个随机序列。一个连续或不连续的序号集定义了一个随机过程。1,nXxx2020/2/222概率测度定义：若在的不相交子集上是可数、加性的，即：则定义了一个概率测度。：Borelsigma-algebra概率测度把有限的非负数赋予集合。在概率空间上，。PnBR12,,AA110iiijiiPAAAAifij:0,1nPBRnBRnBR,,nnRBRP1nPR2020/2/223累积概率函数随机矢量其累积概率函数为简记为，或直接记为:npXRRpXPYYR11::;nXnPYPrRXrYPrRxryXFyFX2020/2/224概率密度函数及其统计特性概率密度函数高斯密度函数数学期望互相关、互协方差、互协方差阵、互相关协方差矩阵2020/2/225不相关、独立若X、Z不相关，则若X、Z相互独立，则EXZEXEZ,pxzpxpz2020/2/226条件概率密度、条件期望和条件独立条件概率密度函数是条件期望是条件独立pxz,0pxzpxzpzpzExzxpxzdxExyzExzEyz2020/2/227指示器函数则可以定义指示器函数数学期望:n,BorelSigmaBRnDR属于代数10BorelDDifXDIXifXDI是可测的EnDDRDIIXpXdXpXdXpD2020/2/228收敛定义处处收敛均匀收敛均匀收敛一定处处收敛，反过来不一定成立。00,0,,nrRnnnxrxr存在一个整数以使当时，有下式成立：2020/2/229四种收敛方法：以概率1收敛：依概率收敛:lim1nnprRxrxr:00nprRxrxr2020/2/230四种收敛方法：均方收敛依分布收敛2lim0nnExxlimnxxnFrFr2020/2/231四种收敛方法四者关系：以概率1收敛均方收敛依概率收敛依分布收敛，上述逆不成立。2020/2/232宽平稳随机过程当且仅当时间变化不影响一、二阶矩时，一个随机过程才是宽平稳随机过程，即tan,ExtconsttRttsRss2020/2/233噪声随机非监督学习定律首先考虑一般的情况突触信号过程引理：引理说明：随机突触在平衡态振动，而且至少和驱动的噪声过程的振动的一样大，突触矢量在每个t都振动，其平均值为一常数，即围绕常值作布朗运动。ijijijnMyxfm),,(22ijijEmjmjEmijf2020/2/234随机平衡当突触停止运动，确定的Hebbian学习就出现了随机平衡jm0jm2020/2/235随机竞争学习定律随机竞争学习定律用随机竞争信号调制随机矢量差，并加上独立高斯白噪声矢量来模型化那些未模型化的效应线性竞争学习定律线性竞争学习定律以X代替线性信号矢量jjSyjSXmjnjjjjjmSySXmnSXjjjjjmSyXmn2020/2/236离散随机差分方程系统常用竞争学习算法作为离散随机差分方程系统111jjkkjkjjjkkjkjjjmkmkcXmkXDmkmkcXmkXDmkmkij2020/2/237自组织映射系统Kohonen把下面简化的非监督随机系统称为自组织映射系统11jjkkjjjmkmkCXmkmkmkij