傅立叶混沌神经网络模型中的模拟退火策略

1傅立叶混沌神经网络模型中的模拟退火策略徐耀群，秦峰哈尔滨商业大学系统工程研究所哈尔滨150028哈尔滨商业大学计算机与信息工程学院,黑龙江哈尔滨150028(E-mail:[e-mail]@126.com)摘要：本文分析了傅立叶混沌神经网络模型的动力学特性对自反馈连接权值的敏感性,研究了退火函数对优化过程中的准确性和计算速度的影响。并利用暂态混沌神经网络退火过程分段的思想对傅立叶混沌神经网络模型进行改进,提出了一种具有随机性和确定性并存的优化算法，在保证优化算法准确性的基础上,加快收敛速度,并利用对经典旅行商(TSP)的研究,表明算法具有很强的克服陷入局部极小能力,较大程度提高了优化、时间和对初值的鲁棒性能,验证了这种优化策略的有效性，同时给出了模型参数对性能影响的一些结论.关键词：傅立叶混沌神经网络；模拟退火；TSPFourierchaoticneuralnetworkmodelofsimulatedannealingstrategyYaoqunXu,FengQinInstituteofSystemEngineering,HarbinUniversityofCommerce,Harbin,150028SchoolofcomputerandInformationEngineering,HarbinUniversityofCommerce,Harbin,150028(E-mail:[e-mail]@126.com)Abstract:Fourieranalysisofthechaoticneuralnetworkmodelofthedynamicsofthefeedbacksincethevalueofthesensitivityoftherighttoconnecttostudythefunctionoftheannealingprocessofoptimizingtheaccuracyandspeedofimpact.Andusingtransientchaoticneuralnetworkofsub-annealingprocessofthinkingoftheFourierchaoticneuralnetworkmodeltoimprove,aco-existwithuncertaintyandrandomnessoftheoptimizationalgorithm,toensureaccuracyofoptimizationalgorithm,onthebasisofspeedingupConvergencerate,andusingtheclassictravelingsalesman(TSP)studyshowedthatthealgorithmisverystrongcapacitytoovercomealocalminimum,thegreatertheincreaseoptimization,timeandtheinitialvalueofrobustperformance,thecertificationofthisoptimizationTheeffectivenessofstrategies,giventhemodelparametersontheperformanceofsomeoftheconclusions.Keywords：Fourierchaoticneuralnetwork；SimulatedAnnealing；TSP0引言在过去几年里，Hopfield神经网络已经被证明是解决组合优化问题的有效工具，但是由于其利用梯度下降的动力学,因此这种网络在求解许多实际优化问题时所遇到的最大困难是极易陷入局部极小点[1]。为了解决这一问题,人们将混沌动力学的全局搜索特性引入神经网络之中,提出了多种混沌神经网络模型,其中大多数是通过在Hopfield网络中引入自反馈而使自身表现出暂态的混沌动力学行为以避免陷入组合优化问题的局部极小点，因此网络的动态特性很敏感地依赖于自反馈连接权值)t(iz，)t(iz类似于随机模拟退火中的温度,其一般按指数退火函数动态变化,对网络的优化性能和收敛速度有很大的影响。有许多学者针对这一问题，提出了改进方法。例如：修等[2]通过指数递减的自反馈提出了激励函数由Sigmoid和Gauss函数组合的线性自反馈混沌神经网络，费等[3]通过指数递减的自反馈提出了内外方法结合的线性混沌神经网络，Zhou等[4]通过控制非线性函数中的参数提出了具有非线性自反馈的混沌神经网络。本文通过引入徐耀群,孙明等提出的一种傅立叶混沌神经元模型，该混沌神经元模型的激励函数由Sigmoid函数和三角函数加和组成，并利用一种改进的变指数退火函数,提出对自反馈权值)t(iz的一种新优化策略,既充分利用混沌的动态特性进行搜索,又克服其带来的速度问题,减少收敛时间。仿真分析与验证表明，本模型能够有效减少网2络运算的迭代步数，提高了网络的搜索效率，显示出更为优良的性能。1傅立叶暂态混沌神经网络通过把以往的单调递增的Sigmoid激励函数转换成非单调的激励函数，利用自反馈项引入混沌特性，提出了一种傅立叶混沌神经元模型，基于该模型构造如下傅立叶暂态混沌神经网络：))t(()t(iiyfx(1)))t()(t()t()t()1t(01IxzIxwkyyiiinijjjijii(2)）t()1()1t(iizz(3))(S)(S)(21uuuf(4)))/exp(1/(1)(S01uu(5))sin()cos()(S22112uuu(6)式中)t(ix，)t(iy和iI为第i个神经元的输出,内部状态和输入偏置，n,,3,2,1i;)t(iz（)t(iz≥0）为自反馈连接项；β(0≤β≤1)为时变参量zi(t)的衰减因子；jiw为从神经元j到神经元i的连接权值；0、1和2是激励函数的陡度参数；k（10k）为神经隔膜的阻尼因子；为不应度参数；0I为一正参数；1、2是三角函数前的系数。随着时间变化,当自反馈连接权)t(iz以指数方式(即:tiieztz)0()趋于零时,此网络逐渐退化为一个Hopfield神经网络。故此网络用来求解非线性优化问题的过程可分为两个阶段：混沌搜索阶段和梯度收敛阶段。在第一个阶段,由自反馈项来产生一个混沌过程以避免陷入网络的局部最小问题。第一阶段结束后,可以为第二阶段提供一个全局最优解附近的初始值。可见如何控制第一阶段产生的混沌搜索过程,是利用混沌神经网络解决非线性优化问题的关键。所以)t(iz的演变策略对优化的性能和时间有很大的影响。2模拟退火策略的优化算法为了更好的理解上述网络模型的运行机理,以单个神经元为例来检验该网络的动力学行为：))t(()t(yfx(7)))t()(t()t()1t(0Ixzkyy(8))t()1()1t(zz(9))(S)(S)(21uuuf(10))/(exp11)(S01uu(11))sin()cos()(S22112uuu(12)下面分析该模型的混沌特性：选取适当的参数，能使神经元表现出暂态混沌行为。下面通过神经元的倒分岔图和最大Lyapunov指数时间演化图来分析该模型的动力学特性。取0=0.02，1=2，2=2，1=1/3，2=1/3，)1(y=0.283，)1(z=0.4，k=1，0I=0.65，则=0.002的倒分岔图和最大Lyapunov指数时间演化图如图1~4所示。30200400600800100000.511.5图1：取0.002的倒分叉图0200400600-1-0.500.5图2：取0.002的最大Lyapunov指数谱图下面通过改变网络参数β而保持其余参数不变来研究其对网络混沌动态行为的影响。图3和图4是网络参数β取0.004时的网络输出x(t),自反馈连接权z(t)的时间演化图。0200400600800100000.511.5图3：取0.004的倒分叉图40100200300-0.6-0.4-0.200.20.4图4：取0.004的最大Lyapunov指数谱图从图3和图4可以看出,随着参数β的增大,网络输出x(t)的混沌动态消失得更快;而且因为自反馈连接权)t(iz以指数方式(即:tiieztz)0(衰减,所以其趋于0的收敛速度也随着参数β的增大而加快了。由上面倒分叉图和最大Lyapunov指数谱图分析可知：网络的混沌动态特性很敏感地依赖于自反馈连接权值)t(iz,)t(iz的下降速度直接影响到判断优化算法的两个重要指标:准确性和速度。在该傅立叶暂态混沌神经网络模型中，随着自反馈连接项iz的减小，iz对网络的影响越来越小，网络逐渐趋于稳定的平衡点，这个过渡过程表现在网络的单神经元就是一个倒分岔的过程。在前半段表现出混沌现象，当iz下降到某一程度时，混沌消失，转为收敛阶段。当iz下降速度很快时，将通过短暂的搜索阶段直接进入收敛过程，因此算法的速度很快，但因为没有充分利用混沌的丰富动态特征，容易陷入局部最小值，准确性大大降低；相反地,如果)t(iz变化小,可以提高准确性而牺牲了优化速度。通过研究大量利用混沌神经网络进行函数优化的文献[3]、[4],发现其虽然都能得到全局最优解,但收敛速度太慢。究其原因主要有两个:1)在整个优化过程中只采用单一的参数β,使得)t(iz的动态特性变化过于单一,造成网络退火策略无法同时满足准确性和速度两方面的要求;2)当网络的输出趋于稳态后,即得到了一个全局最优解附近的值,其自反馈项))t()(t(0Ixz还是存在较小的数值,每次叠代对网络第二阶段的梯度收敛过程有扰动,使得网络不得不用较长的时间来收敛到全局最优解。下面针对以上情况提出一个对自反馈项的优化策略:文献[5]针对)t(iz的动态特性变化过于单一的问题,采用分段指数退火函数(13)来代替原网络模型中的式(3):2/)0()(),()1(),()1(12)1(iiiiztztzotherstzitz(13)式中β1,β2为常数,β1β2。开始时)t(iz的值较大,而参数β值较小可以充分利用混沌的丰富动态特征,使得网络输出值能在大范围内进行遍历搜索,使算法可以从局部最优值中跳出,而得到全局最优解;随着)t(iz值的减小,网络输出逐渐收敛于分岔点,所以可以采用比较大的指数衰减,减小收敛时间。通过以上分析，如果在傅立叶混沌神经网络模型中加入分段指数退火函数，在10)0(33其中iizz时，采用相对比较小的指数衰减，充分利用混沌的动态特性进行搜索，使网络可以跳出局部最优的陷阱，将更有可能求得组合优化问题的整体最优解；在收敛阶段采用比较大的指数衰减，克服小指数衰减带来的速度问题，减小收敛时间[11]。所以基于此提出了基于分段指数退火的傅立叶暂态混沌混沌神经网络。3分段指数退火傅立叶混沌神经网络基于以上分析在此提出了基于分段指数退火的傅立叶暂态混沌混沌神经网络模型：5))t(()t(iiyfx(14)))t()(t()t()t()1t(01IxzIxwkyyiiinijjjijii(15)其他)()1()10()0()()()1()1t(2331tzztztzz(16))(S)(S)(21uuuf(17))/(exp11)(S01uu(18))sin()cos()(S22112uuu(19)在上述网络模型中1、2是分段模拟退火参数，且21；3是分段参数，103，其余参数与上面相同。混沌神经网络模型的动态特性很敏感的依赖于k、)t(iz和的取值。k为网络记忆保留或遗忘内部状态的能力；自反馈连接项)t(iz是动态减小的，类似于随机模拟退火中的温度，退火速度依赖于1、2和3