人工神经网络研究与发展综述

龙源期刊网人工神经网络研究与发展综述作者：王辉来源：《电脑知识与技术·学术交流》2008年第30期摘要：本文综述了神经网络理论发展的历史和现状，讨论了人工神经网络的两个主要研究方向:神经网络的VC维计算和神经网络的数据挖掘，也介绍了神经网络计算理论、方法、应用等不同层面的一些重要研究领域。关键词：神经网络；VC维；数据挖掘中图分类号：TP183文献标识码：A文章编号：1009-3044(2008)30-0710-02AReviewoftheResearchandDevelopmentoftheArtificialNeuralNetsWANGHui(XinjiangPetroleumInstitute,Urumqi830000,China)Abstract:Thispaperreviewsthehistoryandthecurrentsituationofthetheoryofneuralnets.Itdiscussestwoaspects:theVapnik-Chervonenkisdimensioncalculationandthedatamininginneuralnets.Italsotouchesuponsuchresearchareasascalculationtheory,methodsandapplicationofneuralnets.Keywords:neuralnets;Vapnik-Chervonenkisdimension;DataMining1引言本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在计算某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年McCulloch和Pitts结合了神经生理学和数理逻辑的研究描述了一个神经网络的逻辑演算。他们的神经元模型假定遵循一种所谓“有或无”(all-or-none)规则。如果如此简单的神经元数目足够多和适当设置突触连接并且同步操龙源期刊网作，McCulloch和Pitts证明这样构成的网络原则上可以计算任何可计算的函数，这标志着神经网络学科的诞生。2发展历史及现状2.1人工神经网络理论的形成早在40年代初，神经解剖学、神经生理学、心理学以及人脑神经元的电生理的研究等都富有成果。其中，神经生物学家McCulloch提倡数字化具有特别意义。他与青年数学家Pitts合作[1]，从人脑信息处理观点出发，采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称MP模型，他们主要贡献在于结点的并行计算能力很强，为计算神经行为的某此方面提供了可能性，从而开创了神经网络的研究。50年代初，神经网络理论具备了初步模拟实验的条件。Rochester，Holland与IBM公司的研究人员合作，他们通过网络吸取经验来调节强度，以这种方式模拟Hebb的学习规则，在IBM701计算机上运行，取得了成功，几乎有大脑的处理风格。但最大规模的模拟神经网络也只有1000个神经元，而每个神经元又只有16个结合点。再往下做试验，便受到计算机的限制。人工智能的另一个主要创始人Minsky于1954年对神经系统如何能够学习进行了研究，并把这种想法写入他的博士论文中，后来他对Rosenblatt建立的感知器(Perceptron)的学习模型作了深入分析。2.2第一阶段的研究与发展1958年计算机科学家Rosenblatt基于MP模型，增加了学习机制，推广了MP模型。他证明了两层感知器能够将输入分为两类，假如这两种类型是线性并可分，也就是一个超平面能将输入空间分割，其感知器收敛定理：输入和输出层之间的权重的调节正比于计算输出值与期望输出之差。他提出的感知器模型，首次把神经网络理论付诸工程实现。1960年Widrow和Hoff提出了自适应线性元件ADACINE网络模型，是一种连续取值的线性网络，主要用于自适应系统。他们研究了一定条件下输入为线性可分问题，期望响应与计算响应的误差可能搜索到全局最小值，网络经过训练抵消通信中的回波和噪声，它还可应用在天气预报方面。这是第一个对实际问题起作用的神经网络。可以说，他们对分段线性网络的训练有一定作用，是自适应控制的理论基础。Widrow等人在70年代，以此为基础扩充了ADALINE的学习能力，80年代他们得到了一种多层学习算法。Holland于1960年在基因遗传算法及选择问题的数学方法分析和基本理论的研究中，建立了遗传算法理论。遗传算法是一种借鉴生物界自然选择和自然遗传机制的高度并行、随机、自适应搜索算法，从而开拓了神经网络理论的一个新的研究方向。1976年Grossberg提出自适应共振理论(ART)，这是感知器较完善的模型，即superrised学习方式。本质上说，仍是一种龙源期刊网学习方式。随后，他与Carpenter一起研究ART网络，它有两种结构ART1和ART2，能够识别或分类任意多个复杂的二元输入图像，其学习过程有自组织和自稳定的特征，一般认为它是一种先进的学习模型。另外还有Werbos提出的BP理论以及提出的反向传播原理；Fukushima提出了视觉图象识别的Neocognitron模型这些研究成果坚定的神经网络理论的继续研究。2.3第二次研究的高潮阶段Hopfield于1982年至1986年提出了神经网络集体运算功能的理论框架，随后，引起许多学者研究Hopfield网络的热潮，对它作改进、提高、补充、变形等，至今仍在进行，推动了神经网络的发展。1983年Kirkpatrick等人先认识到模拟退火算法可应用于NP完全组合优化问题的求解。这种思想最早是由Metropolis等人在1953年提出的，即固体热平衡问题，通过模拟高温物体退火过程的方法，来找全局最优或近似全局最优，并给出了算法的接受准则。这是一种很有效的近似算法。1984年Hinton等人提出了Boltzmann机模型，借用统计物理学中的概念和方法，引入了模拟退火方法，可用于设计分类和学习算法方面，并首次表明多层网络是可训练的。Sejnowski于1986年对它进行了改进，提出了高阶Boltzmann机和快速退火等。1986年Rumelhart和McClelland合著的ParallelDistributedProcessing:ExplorationintheMicrostructuresofCognition两卷书出版，对神经网络的进展起了极大的推动作用。它展示了PDP研究集团的最高水平，包括了物理学、数学、分子生物学、神经科学、心理学和计算机科学等许多相关学科的著名学者从不同研究方向或领域取得的成果。他们建立了并行分布处理理论，主要致力于认知的微观研究。尤其是，Rumelhart提出了多层网络Back-Propagation法或称ErrorPropagation法，这就是后来著名的BP算法。2.4新发展阶段90年代以来，人们较多地关注非线性系统的控制问题，通过神经网络方法来解决这类问题已取得了突出的成果，它是一个重要的研究领域。1990年Narendra和Parthasarathy提出了一种推广的动态神经网络系统及其连接权的学习算法，它可表示非线性特性，增强了鲁棒性。他们给出了一种新的辨识与控制方案，以multilayer网络与recarrent网络统一的模型描述非线性动态系统，并提出了动态BP参数在线调节方法。尤其是进化计算的概念在1992年形成，促进了这一理论的发展。1993年诞生了国际性杂志EvolutionaryComputation。近几年它成为一个热点研究领域。1993年Yip和Pao提出了一种带区域指引的进化模拟退火算法，他们将进化策略引入区域指引，它经过选优过程，最终达到求解问题的目的。从上述各个阶段发展轨迹来看，神经网络理论有更强的数学性质和生物学特征，尤其是神经科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因而龙源期刊网也是它发展的最大机会。90年代神经网络理论日益变得更加外向，注视着自身与科学技术之间的相互作用，不断产生具有重要意义的概念和方法，并形成良好的工具。3神经网络的发展趋势3.1神经网络VC维计算神经计算技术已经在很多领域得到了成功的应用，但由于缺少一个统一的理论框架，经验性成分相当高。最近十年里，很多研究者都力图在一个统一的框架下来考虑学习与泛化的问题。PAC(ProbablyApproximatelyCorrect)学习模型就是这样一个框架。作为PAC学习的核心以及学习系统学习能力的度量，VC维(Vapnik-Chervonenkisdimension)在确定神经网络的容量(capacity)、泛化能力(generalization)、训练集规模等的关系上有重要作用。如果可以计算出神经网络的VC维，则我们可以估计出要训练该网络所需的训练集规模；反之，在给定一个训练集以及最大近似误差时，可以确定所需要的网络结构。Anthony将VC维定义为：设F为一个从n维向量集X到{0,1}的函数族，则F的VC维为X的子集E的最大元素数，其中E满足：对于任意S?哿E，总存在函数fs∈F，使得当x∈S时fs(x)=1，x?埸S但x∈E时fs(x)=0。VC维可作为函数族F复杂度的度量，它是一个自然数，其值有可能为无穷大，它表示无论以何种组合方式出现均可被函数族F正确划分为两类的向量个数的最大值。对于实函数族，可定义相应的指示函数族，该指示函数族的VC维即为原实函数族的VC维。3.2基于神经网络的数据挖掘1996年，Fayyad、Piatetsky-Shapiro和Smyth对KDD(KnowledgeDiscoveryfromDatabases)和数据挖掘的关系进行了阐述。但是，随着该领域研究的发展，研究者们目前趋向于认为KDD和数据挖掘具有相同的含义，即认为数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识。数据挖掘的困难主要存在于三个方面：首先，巨量数据集的性质往往非常复杂，非线性、时序性与噪音普遍存在；其次，数据分析的目标具有多样性，而复杂目标无论在表述还是在处理上均与领域知识有关；第三，在复杂目标下，对巨量数据集的分析，目前还没有现成的且满足可计算条件的一般性理论与方法。在早期工作中，研究者们主要是将符号型机器学习方法与数据库技术相结合，但由于真实世界的数据关系相当复杂，非线性程度相当高，而且普遍存在着噪音数据，因此这些方法在很多场合都不适用。如果能将神经计算技术用于数据挖掘，将可望借助神经网络的非线性处理能力和容噪能力，较好地解决这一问题。龙源期刊网结束语经过半个多世纪的研究，神经计算目前已成为一门日趋成熟，应用面日趋广泛的学科。本文对神经计算的研究现状和发展趋势进行了综述，主要介绍了神经网络VC维计算、基于神经网络的数据挖掘领域的相关研究成果。需要指出的是，除了上述内容之外，神经计算中还有很多值得深入研究的重要领域，例如：与符号学习相结合的混合学习方法的研究；脉冲神经网络(PulsedNeuralNetworks)的研究;循环神经网络(RecurrentNeuralNetworks)的研究等；神经网络与遗传算法、人工生命的结合；支持向量机(SupportVectorMachine)的研究；神经网络的并行、硬件实现；容错神经网络的研究。参