基于粗糙集的神经网络在模式识别中的应用

基于粗糙集的神经网络在模式识别中的应用摘要：为解决神经网络在模式识别中存在的噪声问题，基于粗糙集的上、下近似和边界线集理论提出了一种对噪声样本进行处理的方法。该方法主要包括对处于下近似集内的含噪声属性值,将噪声消除后转换为理想状态下的属性值;对处于边界域内的含噪声属性值保持不变。当属性值处于边界域内属性的个数与全部属性数的比值达到某个确定的值时,就认为该样本受到噪声干扰过大,对其拒绝识别。通过实验对比表明,该方法能有效地降低BP网络模式识别的误识率。关键词：粗糙集神经网络模式识别中图分类号：TP18文献标识码：AStudyonBPNetworkforPatternRecognitionBasedonRSTheoryFanlimeng(SchoolofInformationEngineering,HebeiUniversityofTechnology,Tianjin300401,China)Abstract:InordertosolvethenoiseproblemofBPnetworkforpatternrecognition,proposesamethodtoprocessthenoisysamplesbasedontheupperapproximations,thelowerapproximationsandtheboundaryregiontheoriesofroughsets.Themethodeliminatesthenoiseofattributevaluesandchangesthemintoidealvalueswhentheyareinthelowerapproximations;andthoseattributevalueswithnoisewillremainunchangedwhiletheyareintheboundaryregion.Thesamplewillberefusedtorecognizeifthepercentofitsattributeswiththeirvaluesintheboundaryregionisoveracertainpoint.TheresultsofexperimentshowthatthemethodcaneffectivelyreducethefalserecognitionrateofBPnetworkforpatternrecognition.Keywords:roughsets,BPnetwork,patternrecognition1前言神经网络在模式识别中的应用十分广泛，由于网络训练样本中存在大量的冗余信息，常导致神经网络结构复杂、训练速度较慢、识别率不高等问题。粗糙集理论是一种处理含糊和不精确性问题的新型数学工具。自1982年波兰科学家Z.Pawlak提出该理论以来，发展十分迅速。粗糙集理论具有强大的定性分析能力，不需要预先给定某些特征或属性的数量描述，能有效地分析和处理不精确、不完整、不一致数据，可以发现数据间隐藏的关系，提取有用的信息，简化信息处理。粗糙集的主要特点之一便是在分类能力保持不变的前提下，通过对知识的约简，导出概念的分类规则。近年来粗糙集理论在模式识别、机器学习、故障诊断、知识获取与发现、决策分析与支持等领域取得了较为成功的应用。本文根据粗糙集的优点，在神经网络中引入粗糙集方法可有效地改善神经网络对有噪声、有冗余或不确定值数据输入模式的处理能力。粗糙集对神经网络和识别技术具有明显的方法学意义，特别是在模糊或不精确知识的表达、机器学习、决策分析、知识发现、模式识别等领域。在神经网络训练前，引用粗糙集理论对神经网络的训练样本进行属性约简，提取训练样本的重要特征，使得训练样本的输入向量维数减少，进而简化神经网络的结构，提高网络训练速度和识别率。2方法原理（1）粗糙集基本理论①知识表达系统为了处理智能数据，需要知识的符号表达，而知识表达系统（KRS）的基本成分是研究对象的集合，因此可以表达为：),,,(fVQUK（1）这里，U是论域，即为对象的集合；Q是属性集合，分为条件属性集C和决策属性集D，DCQ,DC；aQaVV是属性值的集合，aV表示了属性Qa的范围；f是VQU的映射。知识表达系统K有时可以简写为：),(QUK，它常用表格表达或决策表来实现。②不可辨识关系对于Uyx,，QP，如果满足:Pq)()(yfxfqq,则称对象x、y对于属性集合P是不可辨识的。否则，称x、y是可辨识的。由P决定的不可辨识关系记为)(Pind即P中所有等价关系的交集。③上近似、下近似及近似精度设QP,UY，})(|{][yPindxUyxp表示包含元素Ux的P等价类，定义集合Y的下近似PY和上近似PY分别为：YxUxYposPYpp|(2)YxUxPYp|(3)此外定义PYPYYbnp)(为Y的边界或边界区域。显然，若Ybnp或PYPY，则集合Y就是一个粗糙集概念。PYYposp称为集合Y的P-正区域（P-positiveregion），PYUYnegp称为集合Y的P-反区域（P−negativeregion)。④知识的依赖性设K=(U,R)是一个知识库，P,Q⊆R。当且仅当ind(P)⊆ind(Q)，则称Q依赖于P或P可推导出Q，记做P⇒Q。当且仅当P⇒Q且Q⇒P，即ind(P)=ind(Q)，则称P和Q是等价的，记作P=Q。当且仅当P⇒Q且Q⇒P均不成立，则称P和Q是独立的，记P≠Q。依赖性也可以是部分成立的，部分依赖性（部分可推导性）可以由知识的正区域来定义，即UcardQposcardQkpp/（4）我们称知识Q以依赖度k(0≤k≤1)依赖于知识P,记作QPk。当k=1，则称知识Q完全依赖于知识P，即QP1也记做P⇒Q；当0k1，则称知识Q部分依赖于知识P；当k=0，则称知识Q完全独立于知识P。⑤属性的重要性按照式(4），条件属性C和决策D间的依赖度可以写成UcardDposcardDCC/。根据依赖度的变化，可以定义属性子集C'⊆C关于D的重要性为：DDCCCCCD（5）特别当C'={a}时，属性a∈C关于D的重要性为：DDaaCCCD（6）一般来说，属性重要性即指属性在信息表中的重要程度，其数值大，则重要性高；反之，其重要性低。在相对属性约简中，属性重要性主要用来作为启发式信息。目前，关于属性重要性的定义有多种，比如有根据信息熵和根据差别矩阵出现的频度等形式的定义，不同定义下的属性重要性计算结果可能有所变化。⑵BP神经网络BP网络是一种多层前馈型神经网络，采用BP算法进行训练神经元的参数值。一般由输入层、隐层、输出层组成，隐层可以为一层或多层(如图1所示)，其神经元的传递函数是S型函数，权值和阈值采用反向传播算法进行调节。有理论证明，它可以实现从输入到输出的任意非线性映射。目前，在人工神经网络的实际应用中，绝大多数的神经网络的模型都采用BP网络及其变化形式。它也是前向网络的核心部分，体现了人工神经网络的精华。图1多层前向BP网络当神经网络用于模式识别时，输入层神经元的个数由构成实体的属性个数决定，隐层根据相关定理只要一层就可以了，隐层神经元的个数需要根据经验值进行确定，输出层神经元的个数根据表示目标值的向量维数进行确定。BP学习算法简要介绍如下：Step1置各权值或阈值的初始值0jiw，0j为小的随机数值；Step2提供训练样本：输入矢量kx，期望输出，k=1,2,⋯,P，对每个样本进行下面Step3~Step5的迭代；Step3计算网络的实际输出及隐层单元的状态ijkijijkjwf(7)Step4计算训练误差输出层：kjkjkjkjkjt1；隐含层：mmjkmkjkjkjw1Step5修正权值和阈值11twtwtwtwjijikijjiji(8)11ttttjjjjj(9)Step6当k每经历1至P后，判断指标是否满足精度要求：E；为精度；Step7结束。⑶基于粗糙集理论的神经网络近些年来，人们对于神经网络的研究主要局限于学习算法、网络拓扑结构、网络初始参数等的研究等，甚少涉及对训练样本进行研究。由于网络训练样本中存在大量冗余信息，常导致神经网络输入向量复杂，训练速度较慢，识别率不高。本文试图结合粗糙集和神经网络的优点，在神经网络训练前，引用粗糙集理论对神经网络的训练样本进行属性约简，提取训练样本的重要特征，使得训练样本的输入向量维数减少，进而简化神经网络的结构，提高网络训练速度和识别率，粗糙集与神经网络集成使用的模型如图2所示。图2基于粗糙集与神经网络集成的模式设别通过对国内外相关文献进行检索发现，粗糙集在神经网络中应用得最成熟的方面就是对输入的预处理，也就是对训练样本的选取。一般情况下，训练集往往会有很多冗余，神经网络用这样的训练集训练往往会造成过拟合现象，粗糙集分析可以过滤这些冗余的例子，从而提高神经网络的泛化能力。Lingras就构造了一种粗糙神经元，可以将粗糙集应用于神经元的设计中。粗糙集的数据分析方法对原始训练样本进行约简操作，在保持原有分类能力不变的情况下保留有用属性，删除冗余属性，从而降低原始数据样本的维数。它一方面提高了数据的代表性，减少了噪声的干扰，使训练出来的神经网络不容易出现过拟合现象；另一方面减少了训练数据的维数，使训练时间得以减少，提高了效率。是否选用粗糙集对神经网络的训练样本进行数据约简，应该有一定的评价标准。以下4条标准是较为认可的：①使用和不使用粗糙集进行数据预处理，分类质量的变化；②使用粗糙集进行数据预处理后，以神经元数和连接数度量的网络大小的变化；③为完成期望效果的学习，以必需的学习时间(学习步数)度量的学习效率的变化；④网络的灵活性(即泛化能力、识别未知对象的能力)。粗糙集与神经网络结合，在这方面应用的一般步骤如下：①由原数据集构造决策表，使用粗糙集数据分析方法寻找其最小约简(属性约简即可，不必属性值约简)和核；②根据最小约简删除决策表中的冗余属性；③根据约简后的数据集构建神经网络；④采用BP学习算法训练神经元，直至收敛达到精度要求；⑤利用训练好的神经网络进行识别。3应用实例为了检验基于粗糙集理论去噪预处理的BP网络识别模型识别含噪声样本的能力,将该模型用于含噪声英文字母的识别。每个字母样本为一个5×7的布尔网格,可表示为一个35维的向量。理想的字母样本向量中的每个元素取值只能是0或1;对理想的字母样本加入均值为0,标准差为0.0～0.4的随机噪声构成含噪声的字母样本(实际应用该模型时只要噪声大小不超过上述范围,识别效果与添加随机噪声的效果相同)。理想的字母样本和含噪声的字母样本如图3所示(以A字母为例)。图3字母样本示例根据基于粗糙集理论的去噪方法,可以运用下式对噪声样本进行去噪(式中所选择的参数值是经过多次实验得到的一个较优的值):其他,62.0,138.0,0ijijijyyy(10)(1)并选择7S,即噪声因子阈值2.0,BP网络采用3层结构,隐层神经元设置为10个,测试该模型识别带噪声字母的能力。测试结果如图3所示。图4字母识别测试结果图4中,曲线1为使用带噪声的信号对BP网络进行训练后的误识率;曲线2为采用文献[9]中使用公式ijy5.0,15.0,0ijijyy(11)ijy⑵去噪的误识率;曲线3,4分别为采用粗糙集理论即式(10)去噪后的模式识别的错误率和拒识率。从图中可以看出,使用带噪声的信号对BP网络进行训练,网络在样本噪声方差为0.1的时候就开始出现识别错误,而采用公式(10)或公式(11)对样本去噪预处理后,网络在样本噪声方差为0.16时误识率依然为0。因此,当样本噪声较