基于神经网络的数据挖掘研究

1神经网络基本概念1.1生物神经元来自其它神经元轴突的神经末梢细胞体轴突细胞核树突神经末梢突触细胞体、树突、轴突和突触。生物神经元的工作机制兴奋和抑制两种状态。（1）兴奋状态传递兴奋信号（2）抑制状态传递抑制信息1.2人工神经元人工神经元：生物神经元的简化模拟。人工神经元间的互连：信息传递路径轴突-突触-树突的简化。连接的权值：两个互连的神经元之间相互作用的强弱。x1x2xnw1w2wn┇∑fy┇图8.2人工神经元模型接收的信息(其它神经元的输出)互连强度作比较的阈值n维输入向量X输出输出函数神经元的动作：niiixwnet1)(netfy),(Rwxii输出函数f：也称作用函数，非线性。01ynetθ（a）01ynet（b）阈值型S型f为阈值型函数时：niiixwy1sgn1nw设，点积形式：)sgn(TXWyT11],,,[nnWT1]1,,,[nxxX式中，1.3神经网络的学习学习：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又称为网络的训练。实质：神经网络的最重要特征之一。神经网络学习方式---监督学习监督学习：对每一个输入训练样本，都有一个期望得到的输出值（也称教师信号），将它和实际输出值进行比较，根据两者之间的差值不断调整网络的连接权值，直到差值减少到预定的要求。教师神经网络比较环境实际输出输入期望输出误差信号p(n)t(n)a(n)e(n)神经网络学习方式---无监督、自组织学习无监督学习：网络的学习完全是一种自我调整的过程，不存在教师信号。输入模式进入网络后，网络按照预先设定的某种规则反复地自动调整网络结构和连接权值，使网络最终具有模式分类等功能。神经网络环境输入1.4神经网络的结构分类分层结构有明显层次，信息流向由输入层到输出层。——前馈网络没有明显层次，任意两个神经元之间可达，具有输出单元到隐层单元或输入单元的反馈连接。——反馈网络相互连接结构2前馈神经网络2.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。x1x2xn…yMy1………感知器结构示意图*双层（输入层、输出层）；*两层单元之间为全互连；*连接权值可调。结构特点：*输出层神经元个数等于类别数。设输入模式向量，，共M类。T21],,,[mxxxX输出层第j个神经元对应第j个模式类，θj：第j个神经元的阈值；wij：输入模式第i个分量与输出层第j个神经元间的连接权。令。取jnjw)1(T)1(21],,,[jnjjjWT21]1,,,,[nxxxX)()(T11XWjniiijjfxwfy有)(1jniiijjxwfy输出为┇x2xiyix1jwijw2j┇w1j┇┇wnjyj输出单元对所有输入数值加权求和，经阈值型输出函数产生一组输出模式。M类问题判决规则(神经元的输出函数)为)(TXWjjfyjjXX若,1若,1Mj1*正确判决的关键：输出层每个神经元必须有一组合适的权值。*感知器采用监督学习算法得到权值；*权值更新方法：δ学习规则。算法描述第一步：设置初始权值wij(1)，w(n+1)j(1)为第j个神经元的阈值。第二步：输入新的模式向量。第三步：计算神经元的实际输出。设第k次输入的模式向量为Xk，与第j个神经元相连的权向量为T)1(21],,,[)(jnjjjW第j个神经元的实际输出为])([)(TkjjkfkyXWMj1第四步：修正权值。kjjjjkydkkXWW)]([)()1(dj：第j个神经元的期望输出。jkjkjdXX,1,1Mj1第五步：转到第二步。当全部学习样本都能正确分类时，学习过程结束。经验证明，当η随k的增加而减小时，算法一定收敛。2.2BP网络BP网络：采用BP算法（Back-PropagationTrainingAlgorithm）的多层感知器。误差反向传播算法认识最清楚、应用最广泛。性能优势：识别、分类1．多层感知器针对感知器学习算法的局限性：模式类必须线性可分。…yMy1…x1x2xn…………输入层第一隐层第二隐层输出层中间层为一层或多层处理单元；前馈网络；结构：只允许一层连接权可调。学习过程分为两个阶段：第一阶段（正向传播过程）：给出输入信息通过输入层经各隐层逐层处理并计算每个单元的实际输出值第二阶段（反向传播过程）：若在输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之间的差值（即误差），通过梯度下降法来修改权值，使得总误差函数达到最小。2．BP算法BP算法的学习过程设：某层任一神经元j的输入为netj，输出为yj；相邻低一层中任一神经元i的输出为yi。…yMy1…x1x2xn…………jiiiijjywnet)(jjnetfywij：神经元i与j之间的连接权；f(∙)：神经元的输出函数。)(jjnetfy0)(11hjjneteS型输出函数：θj：神经元阈值；h0：修改输出函数形状的参数。0.510yjnetjθj设：输出层中第k个神经元的实际输出为yk，输入为netk；与输出层相邻的隐层中任一神经元j的输出为yj。jjjkkywnet)(kknetfy对输入模式Xp，若输出层中第k个神经元的期望输出为dpk，实际输出为ypk。输出层的输出方差：kpkpkpydE2)(21若输入N个模式，网络的系统均方差为：pkpkpkydNE2)(21ppEN1当输入Xp时，wjk的修正增量：jkpjkpwEwΔjkkkpjkpwnetnetEwE其中，jjjkkywnet由式得到：pjpjjjkjkjkkyy令，可得kppknetE输出单元的误差：输出单元的修正增量：)1()(pkpkpkpkpkyyydpjpkjkpy对于与输出层相邻的隐层中的神经元j和该隐层前低一层中的神经元i：kjkpkpjpjpjwyy)1(pjpjijpywΔ输出层中神经元输出的误差反向传播到前面各层，对各层之间的权值进行修正。BP算法步骤：第一步：对权值和神经元阈值初始化：(0，1)上分布的随机数。第二步：输入样本，指定输出层各神经元的期望输出值。jjjdXX,1,1Mj,,2,1第三步：依次计算每层神经元的实际输出，直到输出层。第四步：从输出层开始修正每个权值，直到第一隐层。ijijijytwtw)()1(10若j是输出层神经元，则：))(1(jjjjjydyy若j是隐层神经元，则：kjkkjjjwyy)1(第五步：转到第二步，循环至权值稳定为止。初始化加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值pjopjhjihkjkpjopkokjokjxtwtwOtwtw)()1()()1(改变训练样板训练样终止？迭代终止？BP算法的基本流程NoNoyyBP算法存在问题：*存在局部极小值问题；*算法收敛速度慢；*隐层单元数目的选取无一般指导原则；*新加入的学习样本影响已学完样本的学习结果。2.3RBF神经网络径向基函数(RBF-RadialBasisFunction)神经网络是由J.Moody和C.Darken在80年代末提出的一种神经网络,它是具有单隐层的三层前馈网络。由于它模拟了人脑中局部调整、相互覆盖接收域（或称感受野-ReceptiveField）的神经网络结构，因此，RBF网络是一种局部逼近网络，它能够以任意精度逼近任意连续函数，特别适合于解决分类问题。RBF网络结构RBF网络的结构与多层前向网络类似，它是一种三层前向网络。第一层即输入层由信号源节点组成；第二层为隐含层，隐单元数视所描述的问题的需要而定，隐单元的变换函数是RBF，它是对称中心径向对称且衰减的非线性函数；第三层为输出层，它对输入模式的作用做出响应。由于输入到输出的映射是非线性的，而隐含层空间到输出空间的映射是线性的，从而可以大大加快学习速度并避免局部极小问题。RBF网络特点①前向网络；②RBF网络的作用函数为高斯函数，是局部的，BP网络的作用函数为S函数，是全局的；③如何确定RBF网络隐层节点的中心及基宽度参数是一个困难的问题；④RBF网络具有唯一最佳逼近的特性，且无局部极小。图2RBF神经网络逼近在RBF网络结构中，为网络的输入向量。设RBF网络的径向基向量:其中hj为高斯基函数：式中，表示欧式范数网络的第j个结点的中心矢量为：其中，i=1,2,…n；j=1,2,…m。TnxxxX,....,21T]h..,h,h[m21jhHmjbXjj,2,1),2C-exp(-h22jTn21j]cc,c[Cjijjjc设网络的基宽向量为：为节点的基宽度参数，且为大于零的数。网络的权向量为：k时刻网络的输出为：设理想输出为y(k)，则性能指标函数为：T21],[Bmbbb],[W21mjh+w+h+whw=whkymmm2211)(2m(k))-(k)(21yykE)(学习算法需要求解的参数–径向基函数的中心–方差–隐含层到输出层的权值RBF学习方法分类（按RBF中心选取方法的不同分）–随机选取中心法–自组织选取中心法–有监督选取中心法–正交最小二乘法等自组织选取中心学习方法（1）第一步、自组织学习阶段无导师学习过程，求解隐含层基函数的中心与方差；（2）第二步、有导师学习阶段求解隐含层到输出层之间的权值。学习算法具体步骤如下：1基于K-均值聚类方法求解基函数中心（1）网络初始化：随机选取个训练样本作为聚类中心（2）将输入的训练样本集合按最近邻规则分组：按照与中心之间的欧式距离将分配到输入样本的各个聚类集合中。hici,,2,1pxicpxPpp,,2,1h（3）重新调整聚类中心：计算各个聚类集合中训练样本的平均值，即新的聚类中心，如果新的聚类中心不再发生变化，则所得到的即为RBF神经网络最终的基函数中心，否则返回（2），进入下一轮的中心求解。–2求解方差–该RBF神经网络的基函数为高斯函数，因此方差可由下式求解：–式中——所选取中心与其他中心之间的最大距离。hci2maxhi..2,1maxc3计算隐含层和输出层之间的权值隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到，计算公式如下：22maxexpipcxchhiPp..2,1;,,2,13反馈网络模型Hopfield网络寻找记忆：3.1Hopfield网络网络由初始状态向稳定状态演化的过程。初始输出模式向量单层全互连、权值对称的神经网络。结构：Hopfield网络（HNN）离散型HNN(DHNN)：M-P模型二值神经元连续型HNN(CHNN)：神经元为连续时间输出。设是第s类的记忆样本。为了存储M个记忆样本，神经元i和神经元j之间的权值wij为T21],,,[snsssxxxXjijixxwMssjsiij,0,1nji,,2,1,若神经元i的输入为ui，输出为，则ixnjjijixwu1njjijiixwfufx1)(式中，0,10,1)(iiiuuuf说明：定义网络的能量函数ninjijijxxwE1121由某一神经元的状态的变化量引起的E变化量为ixΔinjjijxxwEΔ)(21Δ10iiw式中，，。jiijww∆E0，E有界，网络最终可达到一个不随时间变化的稳定状态。稳定性：如果网络从t=0的任一初始状态x(0)开始变化时，存在某一有限时刻t，此后网络状态不再变化，则称网络是稳定的。3.2算法步骤：第一步：给神经元的连接权赋值，即存贮记忆样本。