神经网络理论基础.ppt

第第1 1章章 神经网络理论基础神经网络理论基础• 模糊控制从人的经验出发，解模糊控制从人的经验出发，解决了智能控制中人类语言的描述和决了智能控制中人类语言的描述和推理问题，尤其是一些不确定性语推理问题，尤其是一些不确定性语言的描述和推理问题，从而在机器言的描述和推理问题，从而在机器模拟人脑的感知、推理等智能行为模拟人脑的感知、推理等智能行为方面迈出了重大的一步方面迈出了重大的一步• 模糊控制在处理数值数据、自学习模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界能力等方面还远没有达到人脑的境界人工神经网络从另一个角度出发，即从人工神经网络从另一个角度出发，即从人恼的生理学和心理学着手，通过人工人恼的生理学和心理学着手，通过人工模拟人脑的工作机理来实现机器的部分模拟人脑的工作机理来实现机器的部分智能行为智能行为 人人 工工 神神 经经 网网 络络 （（ 简简 称称 神神 经经 网网 络络 ，，Neural Network））是是模模拟拟人人脑脑思思维维方方式的数学模型式的数学模型 神经网络是在现代生物学研究人脑组神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。

神经网络反映脑神经网络的结构和行为神经网络反映了人脑功能的基本特征，如并行信息处理、了人脑功能的基本特征，如并行信息处理、学习、联想、模式分类、记忆等学习、联想、模式分类、记忆等     20世世纪纪80年年代代以以来来，，人人工工神神经经网网络络（（ANN，，Artificial Neural Network））研研究究所所取取得得的的突突破破性性进进展展神神经经网网络络控控制制是是将将神神经经网网络络与与控控制制理理论论相相结结合合而而发发展展起起来来的的智智能能控控制制方方法法它它已已成成为为智智能能控控制制的的一一个个新新的的分分支支，，为为解解决决复复杂杂的的非非线线性性、、不不确确定定、、未未知知系系统统的的控控制制问问题题开开辟辟了新途径了新途径     神经网络的发展历程经过神经网络的发展历程经过4个阶段1 启蒙期（启蒙期（1890-1969年）年）1890年年，，发发表表专专著著《《心心理理学学》》，，讨讨论论了了脑脑的结构和功能的结构和功能1943年年，，心心理理学学家家和和数数学学家家提提出出了了描描述述脑脑神神经经细细胞胞动动作作的的数数学学模模型型，，即即M-P模模型型（第一个神经网络模型）。

第一个神经网络模型）•1.1 神经网络发展历史神经网络发展历史1949年年，，心心理理学学家家Hebb实实现现了了对对脑脑细细胞胞之之间间相相互互影影响响的的数数学学描描述述，，从从心心理理学学的的角角度度提提出出了了至至今今仍仍对对神神经经网网络络理理论论有有着着重重要要影响的影响的Hebb学习法则学习法则1958年年，，提提出出了了描描述述信信息息在在人人脑脑中中贮贮存存和和记记忆忆的的数数学学模模型型，，即即著著名名的的感感知知机机模模型型（（Perceptron）1962年年，，Widrow和和Hoff提提出出了了自自适适应应线线性性神神经经网网络络，，即即Adaline网网络络，，并并提提出出了了网网络络学学习习新新知知识识的的方方法法，，即即Widrow和和Hoff学学习习规规则则（（即即δδ学学习习规规则则）），，并并用用电电路进行了硬件设计路进行了硬件设计2 低潮期（低潮期（1969-1982））    受受当当时时神神经经网网络络理理论论研研究究水水平平的的限限制制及及冯冯·诺诺依依曼曼式式计计算算机机发发展展的的冲冲击击等等因因素素的的影响，神经网络的研究陷入低谷。

影响，神经网络的研究陷入低谷     在在美美、、日日等等国国有有少少数数学学者者继继续续着着神神经经网网络络模模型型和和学学习习算算法法的的研研究究，，提提出出了了许许多多有有意意义义的的理理论论和和方方法法例例如如，，1969年年，，和和提提出出了了至至今今为为止止最最复复杂杂的的ART网网络络，，该该网网络络可可以以对对任任意意复复杂杂的的二二维维模模式式进进行行自自组组织织、、自自稳稳定定和和大大规规模模并并行行处处理理1972年年，，Kohonen提提出出了了自自组组织织映映射射的的SOM模型3 复兴期（复兴期（1982-1986））1982年年 ，， 物物 理理 学学 家家 Hoppield提提 出出 了了Hoppield神神经经网网络络模模型型，，该该模模型型通通过过引引入入能能量量函函数数，，实实现现了了问问题题优优化化求求解解，，1984年年他他用用此此模模型型成成功功地地解解决决了了旅旅行行商商路路径径优优化化问题问题(TSP)在在1986年年，，在在Rumelhart和和McCelland等等出出版版《《Parallel Distributed Processing》》一一书书，，提提出出了了一一种种著著名名的的多多层层神神经经网网络络模模型型，，即即BP网网络络。

该该网网络络是是迄迄今今为为止止应应用用最最普普遍遍的的神经网络神经网络4  新连接机制时期（新连接机制时期（1986-现在）现在）    神神经经网网络络从从理理论论走走向向应应用用领领域域，，出出现现了神经网络芯片和神经计算机了神经网络芯片和神经计算机    神神经经网网络络主主要要应应用用领领域域有有：：模模式式识识别别与与图图象象处处理理（（语语音音、、指指纹纹、、故故障障检检测测和和图图象象压压缩缩等等））、、控控制制与与优优化化、、预预测测与与管管理（市场预测、风险分析）、通信等理（市场预测、风险分析）、通信等1 .2  神经网络原理神经网络原理    神神经经生生理理学学和和神神经经解解剖剖学学的的研研究究表表明明，，人人脑脑极极其其复复杂杂，，由由一一千千多多亿亿个个神神经经元元交交织织在在一一起起的的网网状状结结构构构构成成，，其其中中大大脑脑皮皮层层约约140亿亿个个神神经经元元，，小小脑脑皮皮层层约约1000亿亿个神经元个神经元    人人脑脑能能完完成成智智能能、、思思维维等等高高级级活活动动，，为为了了能能利利用用数数学学模模型型来来模模拟拟人人脑脑的的活活动动，，导致了神经网络的研究。

导致了神经网络的研究    神神经经系系统统的的基基本本构构造造是是神神经经元元(神神经经细细胞胞)，，它它是是处处理理人人体体内内各各部部分分之之间间相相互互信信息传递的基本单元息传递的基本单元    每每个个神神经经元元都都由由一一个个细细胞胞体体，，一一个个连连接接其其他他神神经经元元的的轴轴突突和和一一些些向向外外伸伸出出的的其其它它较短分支较短分支—树突组成树突组成    轴轴突突功功能能是是将将本本神神经经元元的的输输出出信信号号(兴兴奋奋)传传递递给给别别的的神神经经元元，，其其末末端端的的许许多多神神经经末末梢梢使使得得兴兴奋奋可可以以同同时时传传送送给给多多个个神神经经元      树突的功能是接受来自其它神经元的树突的功能是接受来自其它神经元的兴奋      神经元细胞体将接收到的所有信号进神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输出行简单地处理后，由轴突输出         神经元的轴突与另外神经元神经末梢神经元的轴突与另外神经元神经末梢相连的部分称为突触相连的部分称为突触图图  单个神经元的解剖图单个神经元的解剖图       神经元由三部分构成：神经元由三部分构成：（（1））细细胞胞体体（（主主体体部部分分））：：包包括括细细胞胞质质、、细胞膜和细胞核；细胞膜和细胞核；（（2）树突：用于为细胞体传入信息；）树突：用于为细胞体传入信息；（（3））轴轴突突：：为为细细胞胞体体传传出出信信息息，，其其末末端端是是轴突末梢，含传递信息的化学物质；轴突末梢，含传递信息的化学物质；（（ 4）） 突突 触触 ：： 是是 神神 经经 元元 之之 间间 的的 接接 口口（（104~105个个/每个神经元）。

每个神经元）    通通过过树树突突和和轴轴突突，，神神经经元元之之间间实实现现了了信信息的传递息的传递•神经元具有如下功能：神经元具有如下功能：•(1) 兴兴奋奋与与抑抑制制：：如如果果传传入入神神经经元元的的冲冲动动经经整整和和后后使使细细胞胞膜膜电电位位升升高高，，超超过过动动作作电电位位的的阈阈值值时时即即为为兴兴奋奋状状态态，，产产生生神神经经冲冲动动，，由由轴轴突突经经神神经经末末梢梢传传出出如如果果传传入入神神经经元元的的冲冲动动经经整整和和后后使使细细胞胞膜膜电电位位降降低低，，低低于于动动作作电电位位的的阈阈值值时时即即为为抑抑制制状状态态，，不不产产生生神神经经冲冲动•(2) 学学习习与与遗遗忘忘：：由由于于神神经经元元结结构构的的可可塑塑性性，，突突触触的的传传递递作作用用可可增增强强和和减减弱弱，，因此神经元具有学习与遗忘的功能因此神经元具有学习与遗忘的功能•     决定神经网络模型性能三大要素为：决定神经网络模型性能三大要素为：•(1) 神经元（信息处理单元）的特性；神经元（信息处理单元）的特性；•(2) 神神经经元元之之间间相相互互连连接接的的形形式式——拓拓扑扑结构；结构；•(3) 为适应环境而改善性能的学习规则。

为适应环境而改善性能的学习规则●神经元网络的简化模型ai1ai2a inbi1bi2bimwiy1y2y nu1ukum1vix iy i●神经元网络的一般模型框架1）加法器2）线性动态系统（SISO）3）静态非线性系统︰︰某个神经元 j 的输入—输出关系为其中， 为阀值， 为连接权，f(•)为变换函数， 也称活化函数(activation function)变换函数的种类有很多种，可参见<孙其中用得最多的是比例函数 y=f(x)=s 和 S-型函数，Sigmoidal function1.3  神经网络的分类神经网络的分类     目目前前神神经经网网络络模模型型的的种种类类相相当当丰丰富富，，已已有近有近40余种神经网络模型余种神经网络模型     典典型型的的神神经经网网络络有有多多层层前前向向传传播播网网络络 （（BOP网网络络））、、Hopfield网网络络、、CMAC小小脑脑模模型型、、ART网网络络、、BAM双双向向联联想想记记忆忆网网络络、、SOM自自组组织织网网络络、、Blotzman机机网网络络和和Madaline网络等。

网络等     根根据据神神经经网网络络的的连连接接方方式式，，神神经经网网络络可可分为两种形式：分为两种形式：（（1）前向网络）前向网络     如如图图所所示示，，神神经经元元分分层层排排列列，，组组成成输输入入层层、、隐隐含含层层和和输输出出层层每每一一层层的的神神经经元元只只接接受受前前一一层层神神经经元元的的输输入入输输入入模模式式经经过过各各层层的的顺顺次次变变换换后后，，由由输输出出层层输输出出在在各各神神经经元元之之间间不不存存在在反反馈馈感感知知器器和和误误差差反反向传播网络采用前向网络形式向传播网络采用前向网络形式图图  前馈型神经网络前馈型神经网络（（2）反馈网络）反馈网络     该该网网络络结结构构在在输输出出层层到到输输入入层层存存在在反反馈馈，，即即每每一一个个输输入入节节点点都都有有可可能能接接受受来来自自外外部部的的输输入入和和来来自自输输出出神神经经元元的的反反馈馈这这种种神神经经网网络络是是一一种种反反馈馈动动力力学学系系统统，，它它需需要要工工作作一一段段时间才能达到稳定时间才能达到稳定      Hopfield神神经经网网络络是是反反馈馈网网络络中中最最简简单单且且应应用用最最广广泛泛的的模模型型，，它它具具有有联联想想记记忆忆的的功功能能，，如如 果果 将将 Lyapunov函函 数数 定定 义义 为为 寻寻 优优 函函 数数 ，，Hopfield神经网络还可以解决寻优问题。

神经网络还可以解决寻优问题图图    反馈型神经网络反馈型神经网络•(3) (3) 自组织网络自组织网络• 网网络络结结构构如如图图所所示示KohonenKohonen网网络络是是最最典典型型的的自自组组织织网网络络KohonenKohonen认认为为，，当当神神经经网网络络在在接接受受外外界界输输入入时时，，网网络络将将会会分分成成不不同同的的区区域域，，不不同同区区域域具具有有不不同同的的响响应应特特征征，，即即不不同同的的神神经经元元以以最最佳佳方方式式响响应应不不同同性性质质的的信信号号激激励励，，从从而而形形成成一一种种拓拓扑扑意意义义上上的的特特征征图图，，该该图图实实际际上上是是一一种种非非线线性性映映射射这这种种映映射射是是通通过过无无监监督督的的自自适适应应过过程程完完成成的的，，所所以以也也称称为为自组织特征图自组织特征图• KohonenKohonen网网络络通通过过无无导导师师的的学学习习方方式式进进行行权权值值的的学学习习，，稳稳定定后后的的网网络络输输出出就就对对输输入入模模式式生生成成自自然然的特征映射，从而达到自动聚类的目的。

的特征映射，从而达到自动聚类的目的图图 自组织神经网络自组织神经网络1.4  神经网络学习算法神经网络学习算法        神神经经网网络络学学习习算算法法是是神神经经网网络络智智能能特特性性的的重重要要标标志志，，神神经经网网络络通通过过学学习习算算法法，，实实现现了自适应、自组织和自学习的能力了自适应、自组织和自学习的能力       目目前前神神经经网网络络的的学学习习算算法法有有多多种种，，按按有有无无导导师师分分类类，，可可分分为为有有教教师师学学习习（（Supervised Learning）） 、、 无无 教教 师师 学学 习习 （（ Unsupervised Learning）） 和和 再再 励励 学学 习习 （（ Reinforcement Learning）等几大类等几大类        在在有有教教师师的的学学习习方方式式中中，，网网络络的的输输出出和和期期望望的的输输出出（（即即教教师师信信号号））进进行行比比较较，，然然后后根根据据两两者者之之间间的的差差异异调调整整网网络络的的权权值值，，最最终终使使差差异异变小          在在无无教教师师的的学学习习方方式式中中，，输输入入模模式式进进入入网网络络后后，，网网络络按按照照一一预预先先设设定定的的规规则则（（如如竞竞争争规规则则））自自动动调调整整权权值值，，使使网网络络最最终终具具有有模模式式分分类类等等功功能。

能    再再励励学学习习是是介介于于上上述述两两者者之之间间的的一一种种学学习习方方式图图   有导师指导的神经网络学习有导师指导的神经网络学习图图   有导师指导的神经网络学习有导师指导的神经网络学习● ● ●● ●●●●●● ● ●x1x2xnb1b2bm权向量W图图   无导师指导的神经网络学习无导师指导的神经网络学习     最基本的神经网络学习算法：最基本的神经网络学习算法：1.4.1  Hebb学习规则学习规则    Hebb学学习习规规则则是是一一种种联联想想式式学学习习算算法法生生物物学学家家基基于于对对生生物物学学和和心心理理学学的的研研究究，，认认为为两两个个神神经经元元同同时时处处于于激激发发状状态态时时，，它它们们之之间间的的连连接接强强度度将将得得到到加加强强，，这这一一论论述述的的数数学学描描述述被被称称为为Hebb学习规则，即学习规则，即其中，其中，       为连接从神经元为连接从神经元    到神经元到神经元    的的当前权值，当前权值，    和和    为神经元的激活水平为神经元的激活水平       Hebb学习规则是一种无教师的学习方学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变法，它只根据神经元连接间的激活水平改变权值，因此，这种方法又称为相关学习或并权值，因此，这种方法又称为相关学习或并联学习。

联学习1.4.2  Delta（（δδ）学习规则）学习规则假设误差准则函数为：假设误差准则函数为：其其中中，，   代代表表期期望望的的输输出出（（教教师师信信号号））；；  为为网网络络的的实实际际输输出出，，               ；；   为为网网络络所所有有权权值组成的向量：值组成的向量：      为输入模式：为输入模式：其中训练样本数为其中训练样本数为                             神神经经网网络络学学习习的的目目的的是是通通过过调调整整权权值值W，，使误差准则函数最小使误差准则函数最小     权权值值的的调调整整采采用用梯梯度度下下降降法法来来实实现现，，其其基基本本思思想想是是沿沿着着E的的负负梯梯度度方方向向不不断断修修正正W值值，，直到直到E达到最小数学表达式为：达到最小数学表达式为：其中其中令令                 ，则，则W的修正规则为的修正规则为上式称为上式称为δδ学习规则，又称误差修正规则学习规则，又称误差修正规则1.5 1.5 神经网络特征神经网络特征 神经网络具有以下几个特征：神经网络具有以下几个特征：（（1 1）能逼近任意非线性函数；）能逼近任意非线性函数；（（2 2）信息的并行分布式处理与存储；）信息的并行分布式处理与存储；(3) (3) 可以多输入、多输出；可以多输入、多输出；（（4 4）便于用超大规模集成电路（）便于用超大规模集成电路（VISIVISI）或光）或光学集成电路系统实现，或用现有的计算机技学集成电路系统实现，或用现有的计算机技术实现；术实现；（（5 5）能进行学习，以适应环境的变化。

能进行学习，以适应环境的变化1.6  神经网络控制的研究领域神经网络控制的研究领域 1 1 基于神经网络的系统辨识基于神经网络的系统辨识① ① 将将神神经经网网络络作作为为被被辨辨识识系系统统的的模模型型，，可可在在已已知知常规模型结构的情况下，估计模型的参数常规模型结构的情况下，估计模型的参数② ② 利利用用神神经经网网络络的的线线性性、、非非线线性性特特性性，，可可建建立立线线性性、、非非线线性性系系统统的的静静态态、、动动态态、、逆逆动动态态及及预预测测模模型，实现非线性系统的建模和辨识型，实现非线性系统的建模和辨识(2) (2) 神经网络控制器神经网络控制器 神神经经网网络络作作为为实实时时控控制制系系统统的的控控制制器器，，对对不不确确定定、、不不确确知知系系统统及及扰扰动动进进行行有有效效的的控控制制，，使使控控制系统达到所要求的动态、静态特性制系统达到所要求的动态、静态特性 (3) (3) 神经网络与其他算法相结合神经网络与其他算法相结合 将将神神经经网网络络与与专专家家系系统统、、模模糊糊逻逻辑辑、、遗遗传传算算法法等相结合，可设计新型智能控制系统。

等相结合，可设计新型智能控制系统(4) (4) 优化计算优化计算 在在常常规规的的控控制制系系统统中中，，常常遇遇到到求求解解约约束束优优化化问问题题，，神神经经网网络络为为这这类类问问题题的的解解决决提提供供了了有有效效的的途途径 目目前前，，神神经经网网络络控控制制已已经经在在多多种种控控制制结结构构中中得得到到应应用用，，如如PIDPID控控制制、、模模型型参参考考自自适适应应控控制制、、前前馈馈反馈控制、内模控制、预测控制、模糊控制等反馈控制、内模控制、预测控制、模糊控制等。