神经网络的综述.docx

《神经网络的综述.docx》由会员分享，可在线阅读，更多相关《神经网络的综述.docx（23页珍藏版）》请在第一文库网上搜索。

1、神经网络的综述1绪论1.1 神经网络的提出与发展(3)1.2 神经网络的定义(3)1.3 神经网络的发展历程(4)1.4 神经网络研究的意义(6)2.8 P神经网络(7)2.1 BP神经网络介绍(7)2.2 BP算法的研究现状(7)2.3 BP网络的应用(8)2.4 基本结构与学习算法(8)2.5 动作过程(11)2.6 主要特点及参数优选(13)3.8 P网络在复合材料研究中的应用(15)3.1 材料设计(15)3.2 性能预测(16)3.3 损伤检测和预测(17)3.4 结论(17)致谢：(18)BP神经网络综述摘要：本文阐述了人工神经网络和神经网络控制的基本概念特点以及两者之间的关系，讨

2、论了人工神经网络的两个主要研究方向神经网络的VC维计算和神经网络的数据挖掘，着重介绍了人工神经网络的工作原理和神经网络控制技术的应用首先介绍了神经网络的发展历程,随后对BP神经网络的学习方法分为了导师知识学习训练和模式识别决策，并重点分析了导师知识学习训练的网络结构和学习算法，最后介绍了BP神经网络在性能预测中的应用。关键词：人工神经网络；神经网络控制；应用；维；数据挖掘AbstractJtexpoundsthebasicconcepts,characteristicsoftheartificia1neura1networkandneura1networkcontro1andthere1ati

3、onshipbetweenthem.1tdiscussestwoaspects:theVapnik-Chervonenkisdimensionca1cu1ationandthedatamininginneura1nets.Andthebasicprincip1eofartificia1neura1networksandapp1icationsofneura1networkcontro1techno1ogyareemphatica11yintroduced.Keywords:Artificia1Neura1Networks;Neura1NetworkContro1;thispaperintrod

4、ucesthedeve1opingprocessofneura1networks,andthenitdividesthe1earningmethodsofBPneura1networkintoainstructorknow1edge1earningtrainingandpatternrecognitiondecisions,andfocusonana1ysisofthenetworkstructureand1earninga1gorithmofknow1edgeand1earningmentorstraining.Andfina11yitintroducestheapp1icationsofB

5、Pneura1networkinperformanceprediction.App1icationjVapnik-ChervonenkisMimensionjDataMining1 .绪1.1 神经网络的提出与发展系统的复杂性与所要求的精确性之间存在尖锐的矛盾。为此，通过模拟人类学习和自适应能力，人们提出了智能控制的思想。控制理论专家Austrom在IFAC大会上指出：模糊逻辑控制、神经网络与专家控制是三种典型的控制方法。通常专家系统建立在专家经验上，并非建立在工业过程所产生的操作数据上，且一般复杂系统所具有的不精性、不确定性就算领域专家也很难把握,这使建立专家系统非常困难.而模糊逻辑和神经网

6、络作为两种典型的智能控制方法，各有优缺点.模糊逻辑与神经网络的融合)模糊神经网络(FuzzyNeura1Network)由于吸取了模糊逻辑和神经网络的优点，部分避免了两者的缺点，已经成为当今智能控制研究的热点之一.人工神经网络(ArtifiCia1Neura1NetworkANN),筒称为神经网络(NN)，作为对入脑最简单的一种抽象和模拟,是人们模仿人的大脑神经系统信息处理功能的一个智能化系统。它的出现成为人们进一步了解入脑思维奥秘的有力工具。尽管它还不是大脑的完美无缺的模型，但它特有的非线性适应性信息处理能力，可以通过学习来获取外部的知识并存储在网络内，可以解决计算机不易处理的难题，特别是语

7、音和图像识别、理解、知识的处理、组合优化计算和智能控制等系列本质上非计算的问题，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其他传统方法相结合，将推动人工智能和信息处理技术不断发展。80年后代期，特别是在近年来，神经网络的研究取得了很大的进展，在神经网络这个涉及生物、电子、计算机、数学、物理等多种学科的新的高科技领域中，吸引了众多的神经生理学家、心理学家、数学家、计算机与信息科学以及工程师和企业家等。大量的有关神经网络机理、模型、算法特性分析，以及在各方面应用的研究成果层出不穷，在国际上掀起了一股人工神经网络的研究热潮。1.2 神经网络的定义神经网络

8、是由多个简单的处理单元彼此按某种方式相互连接而形成的计算机系统,该系统通过对连续或断续式的输入作状态响应而进行信息处理。虽然每个神经元的结构和功能十分简单,但由大量神经元构成的网络系统的行为确实丰富多彩和十分复杂。BP神经网络是基于BP算法的多层前馈网络，其网络结构简单，算法成熟，具有自学习和自适应等优点，并且具有非线性动力学的特点。BP算法通过输入、输出数据样本集，根据误差反向传递的原理，对网络进行训练，其学习过程包括信息的正想传播过程以及误差的反向传播这两个过程，对其反复训练，连续不断地在相对误差函数梯度下降的方向上，对网络权值和偏差的变化进行计算，逐渐逼近，目标。典型的BP神经网络由一个

9、输入层、至少一个隐含层和一个输出层组成。一个典型的三层BP神经网络如下图所示输入输入层隐含层输出层输出1.3 神经网络的发展历程人工神经网络的研究始于20世纪40年代。半个多世纪以来，它经历了一条由兴起到衰退，又由衰退到兴盛的曲折发展过程，这一发展过程大致可以分为以下四个阶段。1初始发展阶段人工神经系统的研究可以追溯到1800年Frued的前精神分析学时期，他已做了些初步工作1913年人工神经系统的第一个实践是Russe11描述的水力装置。1943年美国心理学家WarrenSMcCuIIoch与数学家WaterHPitts合作，用逻辑的数学工具研究客观事件在形式神经网络中的描述，从此开创了对神

10、经网络的理论研究。他们在分析、总结神经元基本特性的基础上，首先提出了神经元的数学模型，简称胛模型。从脑科学研究来看，MP模型不愧为第一个用数理语言描述脑的信息处理过程的模型。后来MP模型经过数学家的精心臻理和抽象，最终发展成一种有限自动机理论，再一次展现了MP模型的价值。此模型沿用至今，直接影响着这一领域研究的进展。通常认为他们的工作是神经网络领域研究工作的开始。在McCuIIoch和Pitts之后，1949年理学家D.0.Hebb发表了论著行为自组织“，首先提出了一种调整神经网络连接权值的规则。他认为，学习过程是在实触上发生的，连接权值的调整正比于两相连神经元活动状态的乘积，这就是著名的He

11、bb学习律。直到现在，Hebb学习律仍然是神经网络中的一个极为重要的学习规则。人工神经网络第一个实际应用出现在1957年，F.ROSenb1att。提出了著名的感知器(PerCePtron)模型和联想学习规则。这是第一个真正的人工神经网络。这个模型由简单的闽值神经元构成，初步具备了诸如并行处理、分布存储和学习等神经网络的一些基本特性，从而确立了从系统角度研究神经网络的基础。同时。在I960年B.Widrow和M.E.HOff1提出了自适应线性元件网络，简称为Ada1ine(Adaptive1ineare1ement),不仅在计算机上对该网络进行了模拟，而且还做成了硬件。同时他们还提出了Widr

12、ow-Hoff学习算法，改进了网络权值的学习速度和精度，后来这个算法被称为1MS算法，即数学上的最速下降法，这种算法在以后的BP网络及其他信号处理系统中得到了广泛的应用。2、低潮时期但是，Rosenb1att和Widrow的网络都有同样的固有局限性。这些局限性在1969年美国麻省理工学院著名的人工智能专家M.MinSky和S.PaPert共同出版的名为感知器1的专著中有广泛的论述。他们指出单层的感知器只能用于线性问题的求解，而对于像XOR（异或）这样简单的非线性问题却无法求解。他们还指出，能够求解非线性问题的网络，应该是具有隐层的多层神经网络，而将感知器模型扩展到多层网络是否有意义，还不能从理

13、论上得到有力的证明。MinSky的悲观结论对当时神经网络的研究是一个沉重的打击。由于当时计算机技术还不够发达，V1SI尚未出现，神经网络的应用还没有展开，而人工智能和专家系统正处于发展的高潮，从而导致很多研究者放弃了对神经网络的研究，致使在这以后的10年中，神经网络的研究进入了一个缓慢发展的低潮期。虽然在整个20世纪70年代，对神经网络理论的研究进展缓慢，但并没有完全停顿下来。世界上些对神经网络拖有坚定信心和严肃科学态度的学者一直没有放弃他们的努力，仍然在该领域开展了许多重要的工作。如1972年Teu。Kohonenzz1和JaIi1eSAnderSOn1分别独立提出了能够完成记忆的新型神经网

14、络，StephenGrOSSberg1在自组织识别神经网络方面研究也十分活跃。同时也出现了一些新的神经网络模型，如线性神经网络模型、自组织识别神经网络模型以及将神经元的输出函数与统计力学中的玻耳兹曼分布联系的Bo1tzmann机模等，都是在这个时期出现的。3、复兴时期在60年代，由于缺乏新思想和用于实验的高性能计算机，曾一度动摇了人们对神经网络的研究兴趣。到了80年，随着个人计算机和工作站计算机能力的急剧增强和广泛应用，以及不断引入新的概念，克服了摆在神经网络研究面前的障碍，人们对神经网络的研究热情空前高涨。其中有两个新概念对神经网络的复兴具有极大的意义。其一是用统计机理解释某些类型的递归网络

15、的操作，这类网络可作业联想存储器。美国加州理工学院生物物理学家John.J.Hopfie1d博士在1982年的研究论文就论述了这些思想。在他所提出的Hopfie1d网络模型中首次引入网络能量的概念，并给出了网络稳定性判据。Hopfie1d网络不仅在理论分析与综合上均达到了相当的深度，最有意义的是该网络很容易用集成电路实现。Hopfied网络引起了许多科学家的理解与重视，也引起了半导体工业界的重视。1984年,AT&TBe11实验室宣布利用Hopfie1d理论研制成功了第一个研究神经网络芯片。尽管早期的Hopfie1d网络还存在一些问题，但不可否认，正是由于Hopfie1d的研究才点亮了神经网络

16、复兴的火把，从而掀起神经网络研究的热潮。其二是在1986年D.E.Rume1hart和J.1.Mcg1e11and及其研究小组提出PDP(Para11c1DistributedPrOCeSSing)网络思想,则为神经网络研究新高潮的到来起到了推波助澜的作用。其中最具影响力的反传算法是DaVidRUme1hart和JameSMCCIeI1and提出的。该算法有力地回答了60年代Minsky和Papert对神经网络的责难,已成为至今影响最大，应用最广的一种网络学习算法。4、20世纪80年后期以来的热潮20世纪80年代中期以来，神经网络的应用研究取得很大的成绩，涉及面非常广泛。为了适应人工神经网络的发展，1987年成立了国际神经网络学会，并于同年在美国圣地亚哥召开了第一届国际神经网络会议。此后，神经网络技术的研究始终呈现出蓬勃活跃的局面，理论研究不断深入，应