智能控制导论大作业1

智能控制导论姓名********学院自动化与电气工程学院专业控制科学与工程班级***************学号*********指导老师********二〇一六年六月十八-1-故障诊断中基于神经网络的特征提取方法研究摘要：对文章《故障诊断中基于神经网络的特征提取方法研究》进行总结概括，分析了BP神经网络的优缺点，针对BP神经网络不足,提出了一种新的特征提取方法，即分形维数-免疫克隆选择特征提取算法，并对该算法进行阐述和分析。关键词：特征提取；BP神经网络；免疫克隆选择算法1对附录文章的概括总结1.1基于神经网络的特征评价附录文章是以电路检测与故障诊断为背景，提取重要的特征参数，对电路的工作状态进行定量描述。为满足工程需要，附录文章利用神经网络进行特征选择时主要以特征参数的灵敏度作为其评价指标。学习误差为E=211)(.21pkniikikxyN，定义E为评价特征提取的准则函数,则当E满足要求时,BP网络第1隐层的输出值即为提取得到的新特征。学习误差公式实现了新特征空间到原始特征空间的反映射,给出该反映射后产生的误差大小。1.2基于BP网络的特征提取1.2.1特征提取的概念特征提取是利用已有的特征参数构造1个较低维数的特征空间,将原始特征中蕴含的有用信息映射到少数几个特征上,忽略多数的不相干信息。从数学意义上讲,就是1个n维向量x=Tnxxx....,2,1进行降维变换至低维向量Y=Tmyyy...,2,1,mn。其中Y确实含有向量X的主要特性。1.2.2BP神经网络BP神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP神经网络能学习和存贮大量的输入—输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层、隐层和输出层。-2-1.2.3基于BP神经网络特征提取的步骤（1）对原始特征值进行归一化处理;（2）选择BP网络模型结构参数,输入和输出单元数等于原始特征参数的维数,第l隐层单元数等于新特征参数的维数,一般选隐层数为1;（3）选择合适的神经网络学习参数,以保证较高的收敛精度;（4）利用误差反传法训练BP网络,通常满足系统特征提取性能下误差所需的精度即可;（5）将原始特征参数的所有样本输入训练好的BP网络,进行前向计算,求出BP网络第1隐层各单元的输出值，即得到所提取的特征参数。1.2.4BP神经网络的优点（1）网络实质上实现了一个从输入到输出的映射功能，而数学理论已经证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题；（2）网络能通过学习带动正确答案的实例集自动提取合理的求解规则，即具有自学习能力；（3）网络具有一定的推广、概况能力。1.2.5BP神经网络的缺点（1）由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。（2）BP算法可以使权值收敛到某个值，但并不保证其为误差平面的全局最小值，这是因为采用梯度下降法可能产生一个局部最小值。对于这个问题，可以采用附加动量法来解决。(3)网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。因此，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。(4)网络的学习和记忆具有不稳定性。也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。但是可以将预测、-3-分类或聚类做的比较好的权值保存。2对附录文章算法的改进想法2.1分形维数-免疫克隆选择特征提取算法分形维数(FractalDimension)定义:是一个用以描述分形特征的重要参数,其重要性在于分形维数能够用数据描述,更重要的是分形维数能通过实验手段近似地得出,比如:如果将正方形每条边长放大3倍,那么就得到一个相当于932个原来的正方形;若将正方体每边长放大3倍,那么就会得到一个相当于2733个原来的正方体。依次推广,对于一个d维几何形态将其每个独立方向都增加为原来度量的c倍,那么就会得到相当于了Ncd个原来的几何形态。对于上面的关系取对数后有以下形式:cNdlnln如果按同样方式将一个对象缩小,ε为缩小倍数,则有以下形式:)/1ln(lnNd(1)上式中的d对于一般分形而言，其结果往往不是整数，则d被称为分形维数D。分形维数的计算一般是利用最小二乘拟合方法,来对曲线数据点进行拟合,求得其斜率,那么就是原始数据集的分形维数。2.1.2分形维数-免疫克隆选择特征提取算法思想如果设置原始数据集的分形维数为2D,要对数据集进行特征选择,也就是说要得到原始数据集所有D个特征中选出的d个特征组合的最优属性子集,使得它的分形维数与原始数据集的分形维数差值是最小的,如果属性子集包含的属性个数为d,而该子集的分形维数记为2D,同时引入免疫克隆算法进行特征选择,则有如下结果：(l)免疫克隆算法搜索的目标为寻找出最优属性子集;(2)在该算法解的构造中,一般随机设置N个抗体,其中每个抗体ia是表示一种特征组合,并采用二进制编码方式,它的基因串长为特征向量长度D,其编码为vnvvaaa...,2,1,每个基因位via的取值为:-4-；中相应的特征向量未被选相应的特征向量被选中{01via(3)算出它的每一个抗体的分形维数)(iafrac,同时计算适应度评价函数，形式如下:2)()(Dafracifi(2)进一步定义第i个抗体的亲和度为如下形式:2)(1)(Dafracafii(3)ε为任意小的正数,主要是用它来避免出现第i个属性子集的分形维数和原始数据集的分形维数相等。(4)如果)(if值越小,同时第i个属性子集的分形维数和原始数据集的分形维数的差值越小,那么分类准确率越高,这个解的亲和度)(iaf也越高。2.1.3分形维数-免疫克隆选择特征提取算法步骤分形维数一免疫克隆选择特征提取算法流程如图(4)所示。具体步骤如下:(l)随机生成N个抗体作为初始种群A(0),每只抗体i是表示一种特征组合,采用二进制编码方式,基因串长为特征向量长度D,编码为vnvvaaa...,2,1,其中每个基因位via的取值为0或1。(2)计算每一个抗体的分形维数,进而计算抗体的亲和度。将每个抗体解码为对应的特征组合,得到新的数据集,记第i个抗体的分形维数为)(iafrac,以公式(2)确定该抗体的适应度评价函数)(if,以公式(3)确定第i个抗体的亲和度)(iaf,得到种群)0(A的亲和度集合{J(A(0))};(3)判断是否满足迭代终止条件,这里设置为迭代次数,若满足则终止迭代,确定当前种群中的最佳抗体作为算法最终寻找到的解,否则继续迭代;(4)对当前的第k代父本种群A(k)进行克隆,得到)}(),...(),(),({)(''2'1kAkAkAkAkAN对每个抗体进行克隆操作,克隆的规模按照抗体与抗原的亲和度大小成正比的原则分配,单个抗体复制的抗体数目数为nc,由下式确定-5-1)(iroundnc其中max/3.04.0tt。)1,0(为克隆系数,i为抗体排序后的序号,N为种群规模,round()为取整函数；(5)克隆变异:对)('kA以变异概率Dpm1进行变异操作，得到A'(k)；(6)计算亲和度。将当前种群A'(k)中每个抗体解码为相应的特征组合,从而得到新的数据集,依照公式(2)、(3)确定第i个抗体的亲和度)(iaf,得到种群A”(k)的亲和度集合))}(({''kAJ；(7)克隆选择。在子种群中,若存在变异后抗体},...3,2)(max{1iijiqjafb使得f(a)f(b)。)(kAai,选择个体乓进入新的父代群体,即以一定的比例原则选择亲和度较大的个体作为下一代种群A(k十l);(8)计算亲和度。依据种群中个体的编码,获得新的特征组合,依据式(2)计算种群A(k+1)的亲和度{J(A(k+l))}；(9)1kk,返回第(3)步。图（4）-6-2.1.4分形维数-免疫克隆选择特征提取算法优点该算法适用于高维数据集的特征选择，可以降低分类器的计算复杂度，提高分类器的分类精度，在运算速度方面具有明显优势。3总结附录文章研究了基于神经网络的特征评价和特征提取方法，利用神经网络的训练结果对特征参数进行合理的评价。文章实现了将电路故障模式识别的分类复杂性问题转移到特征提取阶段，对实现电路的在线检测具有重要意义。但BP神经网络算法的应用缺点在于训练样本不易选取，且容易进入局部最小值，找到全局最优解难度较大。分形维数-免疫克隆选择特征提取算法降低了算法的复杂度，在搜索策略上利用克隆选择算法来优化属性的选择过程，加快了数据处理速度，效果较好。