过程神经元与过程神经网络模型

1过程神经元与过程神经网络模型1过程神经元的定义过程神经元是由过程输入信号加权，时间、空间二维聚合和阈值激励输出等四部分运算组成。与传统神经元M-P模型不同之处在于过程神经元的输入和连接权都可以是时变函数，过程神经元增加了一个对于时间的聚合算子，从而其聚合运算既包含对输入信号的空间加权聚集，亦有对时间过程效应的累积。过程神经元模型的结构如图3.1所示。图3.1过程神经元一般模型图3.1中，)(),...,(),(21txtxtxn为过程神经元的时变输入函数；)(),...,(),(21twtwtwn为相应的连接权函数；)(K为过程神经元的聚合核函数；f(·)为激励函数，可取线性函数、Sigmoid函数、Gauss型函数等等。按照空间聚合与时间聚合顺序的不同，过程神经元可分为两类基本数学描述模型，其输入与输出之间的关系分别为：模型Ⅰ：)))))(,)(((((tXtWKfy（3.1）其中，)(tX为输入函数向量，)(tW为相应的连接权函数向量，y为输出，为激活阈限，“∑”表示某种空间聚合运算（例如，加权和），“∫”表示某种时间聚合运算（例如，对t积分）。式（3.1）表示的过程神经元对外部时变输入信号先进行时间加权聚合，即先分别考虑各个时变输入信号对系统输出的加权时间累积效应，然后再考虑这些时间累积效应的空间聚合作用，最后通过激励函数的计算输出结果。其结构如图3.2所示。图3.2过程神经元模型Ⅰ模型Ⅱ：y)(1tx)(2tx)(txnf(·)K(·))(1tw)(2tw)(twny)(1tx)(2tx)(txnf(·)∫,∑,K)(1tw)(2tw)(twn2)))))(,)(((((tXtWKfy（3.2）式（3.2）表示的过程神经元先进行空间加权聚集，即先考虑在同一时间点上多输入时变因素的空间聚合作用，然后再考虑空间聚合结果的时间累积效应。其结构如图3.3所示。这类过程神经元在实际中更为常用。图3.3过程神经元模型Ⅱ值得注意：f、K、∑和∫可选各种算子，而且不一定可交换。因此，模型Ⅰ和模型Ⅱ并不等价。例如：设∑=加权和，∫＝积分，f=sign，vuvuK),(，则式（3.1）为)))))()((((dttXtWsigny（3.3）式（3.2）为)))()((((dttXtWsigny（3.4）进一步，可将过程神经元推广为输入输出都是时变过程函数的情况，例如：))))(),((((()(tXtWKfy（3.5）或))))(),(((()(tXtWKfy（3.6）其中是一个依赖于的时间聚合算子，例如，在时间区间],0[或],[k之间的积分。这种过程神经元可用来建立具有多隐层的复杂过程神经元网络。为表示问题方便，下面将式（3.1）和（3.2）中的空间聚合算子用“”表示，时间(过程)聚合算子用“”表示，则图3.2表示的过程神经元输入输出之间的关系可描述为))())()(((KtXtWfy(3.7)图3.3表示的过程神经元输入输出之间的关系为))())()(((KtXtWfy(3.8)例如，niiitxtwtXtW1)()()()((3.9)TttKtAKtA0d)()()()((3.10)y)(1tx)(2tx)(txnf(·)∑,∫,K)(1tw)(2tw)(twn3其中，],0[T为时变信号输入过程区间，)(K为],0[T上的一个可积函数，或更一般地设)(K为一个一元泛函，定义))(()()(tAKKtA(3.11)一般假设权函数)(tW))(),...,(),((21twtwtwn和时间聚合核函数（泛函）)(K均为连续的，实际系统大多如此。由式（3.7~3.11）描述的过程神经元，其内部运算由加权乘、积分、累加和以及激励函数组成，称之为狭义过程神经元。其实，加权聚合算子“”和“”还可以取其它一些形式的运算，例如用max和min，或T–算子和S–算子来构成“”；“”可取褶积、含变参积分等，激励函数f也可以是任何形式的有界函数。由式（3.7,3.8,3.11）描述的过程神经元称为广义过程神经元。过程神经元对不同实际问题的适应性和信息处理能力主要取决于时、空聚合算子的形式。过程神经元通过对训练集中样本的学习，可以对输入的时变信号特征产生过程性记忆，过程模式特征的提取和记忆以及对时变系统输入输出之间的映射关系反映在过程神经元的连接权函数上，因此它具有对时变模式的直接分类能力和类似于复合函数的函数映射能力。多聚合过程神经元其实，过程神经元的输入和输出函数并不一定仅仅依赖于时间，还可以依赖于其它多种因素，例如，某一实际系统的输入与空间位置),,(zyx和时间t有关，其输出是这些因素累积共同作用的结果，如泥石流的形成，土地砂化程度等，这时系统的输入函数形式应为),,,(tzyxui（ni,...,2,1），即多因素过程函数。如果用神经元网络对该系统进行仿真建模，则神经元在对输入信息进行加工时，要对各变量和变量中的各种因素进行空间聚合和过程聚合，因此可将过程神经元扩展为多聚合过程神经元。多聚合过程神经元的输入其一般形式为),...,,(21Pitttx，ni,...,2,1，],0[ppTt),...,2,1(Pp，其中pT可以为0；输入通道的权函数为多元函数),...,,(21Pitttw。聚合算子可为一般的线性或非线性泛函算子，例如空间聚合算子可以取多因素空间加权和运算，多元过程聚合算子可以取例如多元多重积分、或其它多元代数运算等形式。作为特殊情况，多聚合过程神经元可以仅有过程聚合或仅有空间聚合。多聚合过程神经元的一般模型如图3.4所示。)(1txyx1(t1,..,tp)x2(t1,..,tp)xn(t1,..,tp)w1(t1,..,tp)wn(t1,…,tp)⊕,,Kf(·)4图3.4多聚合过程神经元一般模型其中，“”为n个多元过程输入函数的空间聚合算子，“”为多元过程聚合算子，)(K为聚合核函数。图3.4表示的多聚合过程神经元输入输出之间的映射关系为：))()),...,,(),...,,(((2121KtttXtttWfyPP（3.15）如果“”取为空间加权和，“”为多元多重积分，核函数1)(K，则多聚合过程神经元输入输出之间的映射关系为)...),...,,(),...,,(...(212121000112ppipTTTniidtdtdttttwtttxfyp（3.16）3.5模糊过程神经元在实际中，经常遇到带有过程性模糊信息的处理问题。若将过程神经元的信息处理方式与模糊推理规则相结合，定义一种模糊过程神经元，将提高人工神经元的信息处理能力。可采用两种方法构建模糊过程神经元。一种是对过程神经元直接模糊化，将过程神经元对时变信号的信息处理机制与学习能力与模糊逻辑系统的推理机制相结合，构成一种新的模糊计算模型；另一种是由带过程性信息的模糊推理规则描述的模糊过程神经元，即每一个模糊过程神经元表示了一条模糊推理规则，多个模糊过程神经元按照一定结构组成的模糊过程神经元网络可构成一个模糊逻辑推理系统。本节的讨论均针对于带有过程性模糊信息的论域（模糊时变问题）进行。3.5.1过程神经元的模糊化设KAAA~,,~,~21为论域U上的模糊集，接受域上的隶属度函数分别为),(),(2~1~AA,)(~KA。模糊过程神经元是由模糊过程信号加权输入、模糊聚合运算及模糊激励输出组成，其结构如图3.5所示。图3.5模糊过程神经元图3.5中，))(),...,(),(()(21txtxtxtxn，],0[Tt为神经元输入，可以是时变函数或过程性模糊信息；模糊过程神经元的连接权))(~),...,(~),(~()(~21twtwtwtwn可以是隶属度函数或y)(~1tw)(~twn)(~2tw＆,⊕,f)(x1t)(x2t)(xnt5信度函数，“&”和“⊕”分别为相对于空间和时间的两个模糊对偶聚合算子，例如，max和min，S-算子和T-算子；f为模糊激励函数，y为模糊过程神经元的输出。由图3.5，这种模糊过程神经元输入输出之间的关系为))(~))(~&)(((ttwtxfy（3.17）式（3.17）中，)(~t为模糊过程神经元的模糊阈值，也可为过程模糊函数。由于过程神经元的输入、连接权、阈值、聚合运算和非线性激励函数等都被模糊化，分别可以是各种模糊集、模糊运算和模糊函数，因此，其输出既可以是数值型的也以是模糊的。与非模糊的过程神经元信息处理机制相类似，这种模糊过程神经元的所有输入函数（模糊的或清晰的）经加权操作后进行某种聚合运算，最后根据阈值和激励函数计算出神经元的输出结果。3.5.2由模糊加权推理规则构造模糊过程神经元将过程神经元在语义上表示为一个加权模糊逻辑的规则，其中前提和结论是包含过程性信息的模糊集作为变元的模糊谓词。在这类模糊过程神经元中，具有过程性模糊信息的输入/输出是通过一个加权模糊逻辑规则相联系的。论域的知识和经验存储在模糊连接权中，其输出谓词是由当前的输入谓词和已有的经验权重按一定规则组合而成，即一个模糊过程神经元对应于一个带过程性信息的加权模糊逻辑规则，其结构如图3.6所示。图3.6模糊推理过程神经元由图3.6，一个包含过程性信息的模糊推理规则可表示为:,),()(&~)(&~)(&~2211cftQtPwtPwtPwnn（3.18）其中，)(tPi,)(tQ为模糊逻辑谓词，取真值于]1,0[，其中],0[Tt；模糊连接权0~iw且1~1niiw；cf为推理规则的信度)10(cf，为可应用阈限)10(，即当前提的真度t：))((~1tPTwtinii大于等于时，则该规则就可被应用。这里))((tPTi为)(tPi的真度，ni,...,2,1。…Cf,τ…1~w2~wnw~)(P1t)(P2t)(Pnt)(tQ&,⊕6前馈过程神经元网络前馈过程神经元网络是过程神经元网络的一种基本模型，是由若干过程神经元和一般非时变神经元按照一定拓扑形式组成的一种前向网络模型。前馈过程神经元网络的输入/输出、神经元节点之间的连接权都可以是时变函数。网络经过训练，能够由通过向环境学习而确定的网络结构参数和性质参数（或函数）对系统过程式模式特征及变换机制产生记忆，具有较强的对时变信息的处理能力和对时变系统输入输出之间关系的非线性映射能力，对于过程信号的模式识别、时变系统仿真、函数逼近等实际问题的建模、求解具有广泛的适用性。本章主要介绍前馈过程神经元网络的一般模型和权函数基展开的过程神经元网络模型，并对网络的连续性、泛函数逼近能力、计算能力等性质进行研究。首先讨论下述简单模型。4.1前馈过程神经元网络的一种简单模型为使问题讨论起来方便，先考虑仅含一个过程神经元隐层的多输入单输出网络模型，其实，很容易推广到多输入多输出情况。设过程神经元网络的输入层有n个节点，中间层（过程神经元隐层）有m个节点，输出节点为一个一般非时变神经元。网络输入为)(tX),((1tx),(2tx))(...,txn，拓扑结构如图4.1所示。图4.1含一个隐层的过程神经元网络图4.1中，PN是由式（3.2）定义的过程神经元，)(twij为输入层节点i到过程神经元隐层节点j的连接权函数，jv为隐层节点j到输出节点的连接权值，g为输出层神经元的激励函数，y为系统输出。如果过程神经元对于空间的聚合运算取为加权和，对于时间(过程)的聚合运算取为积分，且一元泛函)(K=1，则（狭义）过程神经元网络可表示成图4.2的形式。图4.2狭义过程神经元网络由图4.2，网络输入输出之间的映射关系为：∑,∫,f)(1tx)(2tx)(txn∑,∫,f∑,∫,f)(twij......yjv…∑,gPN)(1tx)(2tx)(txnPNPN)(twij......jv…y∑,g7))))()(