《人工神经网络方法》word版.doc

第15章 人工神经网络方法人工神经网络是在现代神经科学研究成果的基础上提出的一种抽象的数学模型, 它以某种简化、抽象和模拟等方式, 反映大脑功能的若干基本特征. 数学建模的人工神经网络方法就是从大量数据中利用某些方法，寻找该系统或事件的内在规律，建立该系统或事件的数据之间的联系，并用一种数学描述其输入与输出之间的关系. 它将一个系统的内在联系是通过数据、图表、图像、图形、公式、方程、网络结构等形式来体现的，所以，在某种程度上可以说，数据、图表、图像、图形、公式、方程、网络结构等都是该系统的模型表达，这种表达就是相似系统的概念因此，数学建模就是由一种系统的模型表达转换为系统的另一种模型或表达形式, 比如数据、图表、图像、图形、公式、方程、网络结构等形式. 这种表达就是相似系统的概念. 数学建模的人工神经网络方法就是用人工神经网络的结构形式来代替实际物理系统模型15.1人工神经网简介什么是人工神经网络人工神经网络（Artif icial Neural Network, ANN），简称为神经网络, 是由大量处理单元（人工神经元）广泛互连而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基本特征. 它按照一定的学习规则, 通过对大量样本数据的学习和训练, 抽象出样本数据间的特性----网络掌握的“知识”, 把这些“知识”以神经元之间的连接权和阈值的形式储存在下来, 利用这些“知识”可以实现某种人脑的推理、判断等功能.人工神经网络的研究是从人脑的生理结构出发来研究人的智能行为, 模拟人脑信息处理的能力。

它是根植于神经科学、数学、统计学、物理学、计算机科学及工程等学科的一种技术人工神经网络的要素一个神经网络的特性和功能取决于三个要素：一是构成神经网络的基本单元----神经元；二是神经元之间的连续方式----神经网络的拓朴结构；三是用于神经网络学习和训练，修正神经元之间的连接权值和阈值的学习规则1．神经元人工神经元是对生物神经元的功能的模拟人的大脑中大约含有个生物神经元，生物神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成，如图15－1所示图15－1 生物神经元示意图生物神经元通过突触接收和传递信息在突触的接受侧，信号被送入胞体，这些信号在胞体里被综合其中有的信号起刺激作用，有的起抑制作用当胞体中接受的累加刺激超过一个阈值时，胞体就被激发，此时它将通过枝蔓向其他神经元发出信号根据生物神经元的特点，人们设计人工神经元，用它模拟生物神经元的输入信号加权和的特性设个输入分别用表示，它们对应的联接权值依次为，用表该神经元所获得的输入信号的累积效果，即该神经元的网络输入量，表示神经元的实际输出。

图15－2给出了人工神经元基本特性示意图图15－2 人工神经元基本特性示意图为了实现人工神经元的功能, 人工神经元有一个变换函数, 用于执行对该神经元所获的网络输入量的转换, 这就是激活函数, 它可以将神经元的输出进行放大处理或限制在一个适当的范围内. 一般地, 激活函数由以下几种形式:(1)硬极限函数，也叫阈值函数, 阶跃函数 常用于分类其中sgn(*)为符号函数2)线性函数 常用于实现函数逼近的网络3)饱和线性函数, 也叫非线性斜面函数, 它是最简单的非线性函数, 常用于分类4)Sigmoidal函数, 也称S(型)函数, 压缩函数, 逻辑斯特函数 常用于分类、函数逼近或优化5)高斯函数 常用于智能控制，系统优化，信息处理，模式识别等2. 网络的拓扑结构单个的人工神经元的功能是简单的, 只有通过一定的方式将大量的人工神经元广泛的连接起来, 组成庞大的人工神经网络, 才能实现对复杂的信息进行处理和存储, 并表现出不同的优越特性. 根据神经元之间的连接的拓扑结构上的不同, 将人工神经网络结构分为两大类, 即层次型结构和互连型结构.(1) 层次型拓扑结构层次型结构的神经网络将神经元按功能的不同分为若干层, 一般有输入层、中间层(隐层)和输出层，各层顺序连接， 如图15－3所示。

输入层接受外部的信号，并由各输入单元传递给直接相连的中间层各个神经元中间层是网络的内部处理单元层，它与外部没有直接连接，神经网络所具有的模式变换能力，如模式分类、模式完善、特征提取等，主要是在中间层进行的根据处理功能的不同，中间层可以是一层、多层也可以由于中间层单元不直接与外部输入输出进行信息交换，因此常将神经网络的中间层称为隐层，或隐含层，隐藏层等输出层是网络输出运行结果并与显示设备或执行机构相连接的部分图15－3 层次型神经网络拓扑结构图 (2)互连型拓扑结构 互连型结构的神经网络是指网络中任意两个神经元之间都是可以相互连接的，如图15－4所示例如，Hopfield网络(循环网络)、波尔茨曼机模型网络的结构均属于这种类型图15－4 全互连型网络拓扑结构图3. 网络的学习规则(算法)神经网络的学习有两种形式：有导学习和无导学习有导学习也称监督学习（Supervised Learning）一般情况下，有导学习的训练样本是输入输出对（），，其中为输入样本，为输出样本（期望输出，或导师信号）神经网络训练的目的是：通过调节各神经元的自由参数，是网络产生期望的行为，即当输入样本时，网络输出尽可能接近。

无导学习也称无监督学习（Unsupervised Learning）或自组织学习（Self-Organized Learning）无导学习不提供导师信号，只规定学习方式或某些规则，具体的学习内容随系统所处环境（即输入信号情况）而异，系统可以自动发现环境特征和规律不管是有导学习还是无导学习，都要通过调整神经元的自由参数（权值或阈值）实现输入样本：当前权值：期望输出：权值调节公式：，其中为学习率，一般取较小的值，权值调整量一般与x,d及当前权值w(t)有关1) Hebb学习规则输入样本：当前权值：实际输出：权值调节公式：，其中权值调整量.(2) 离散感知器学习规则如果神经元的基函数取线性函数，激活函数取硬极限函数，则神经元就成了单神经元感知器，其学习规则称离散感知器学习规则，是一种有导学习算法常用于单层及多层离散感知器网络输入样本：当前权值：期望输出：当前输出：当前误差信号：当前权值调节量：权值修正公式：3) Delta()学习规则1986年，认知心理学家McClelland和RumeChart在神经网络训练中引入了(Delta)规则，该规则也称连续感知器学习规则输入样本：当前权值：期望输出：基函数：实际输出：（激活函数）输出误差：神经元权值调节学习规则的目的是：通过训练权值w，使得对于训练样本对（x,d），神经元的输出误差达最小，误差E是权向量w的函数，欲使误差E最小，w应与误差的负梯度成正比，即，其中，比例系数是一个常数，误差梯度：得权值调整公式：常用于：单层、多层神经网络、BP网。

4) 最小均方(LMS)学习规则1962年，Bernard Widrow和Marcian Hoff提出了Widrow-Hoff学习规则，因为它能使神经元实际输出与期望输出之间的平方差最小，故又称最小均方规则（LMS）在学习规则中，若激活函数f(·)取：，则学习规则就成为LMS学习规则：输入样本：当前权值：期望输出：基函数：实际输出：（激活函数）输出误差：权值调整公式：常用于自适应线性单元5) 竞争学习规则也称Winner-Take-All（胜者为王）学习规则，用于无导师学习一般将网络的某一层确定为竞争层，对于一个特定的输入，竞争层的所有神经元均有输出响应，其中响应值最大的神经元为在竞争中获胜的神经元，即：. 只有获胜神经元才有权调整其权向量，调整量为：，式中，是学习常数，一般其值随着学习进展的增大而减少由于两个向量的点积越大，表明两者越近似，所以调整获胜神经元权值的是使进一步接近当前输入. 显然，当下次出现与相像的输入模式时，上次获胜的神经元更容易获胜，在反复的竞争学习过程中，竞争层的各神经元所对应的权向量被逐渐调整为样本空间的聚类中心数学建模中常用的两种网络在数学建模中，常用的人工神经网络主要有两类：一是基于误差反向传播算法的前馈神经网络，比如BP神经网络，主要用于实现非线性映射；二是自相连映射神经网络，比如Hopfield神经网络，主要用于聚类和模式识别等。

15.2人工神经网的实现15.2.1 BP网络算法与实现1.BP网络算法BP网络是有指导训练的前馈多层网络，其训练算法为BP(Back Propagation)算法，是靠调节各层的加权，使网络学会由输入输出对组成的训练组的特性下面进行BP算法推导，图15－5为BP为网络的结构图图15－5 三层BP网络结构输入向量：隐层输出向量：输出层输出向量：期望输出向量： 输入层到隐层之间的权值矩阵：, 其中列向量为隐层第j个神经元对应的权向量：.隐层到输出层之间的权值矩阵：，其中列向量为输出层第k个神经元对应的权向量：对于输出层，激活函数为 , (15.1)该层的网络输入为; (15.2)对于隐层，激活函数为, (15.3)该层的网络输入为. (15.4)以上所选激活函数均为Sigmoid函数，它是连续可导的例如, 可令, (15.5)则.定义输出误差为 (15.6)将以上误差定义式代入至输出层，有 (15.7)进一步展开至隐层，有 (15.8)从式(15.7) (15.8)可以看出，误差是各层权值的函数。

调整权值可使误差不断减小，因此，因使权值的调整量与误差的梯度下降成正比，即 (15.9) (15.10)式中，负号表示梯度下降，常数在训练中表示学习速率，一般取.根据式(15.9)(15.10), 可对连接权值进行调整下面进行对连接权调整的理论推导,在以下推导过程中, 我们有：. 由(15.9)(15.10)得, (15.11) (15.12)对于输出层和隐层，分别定义一个误差信号，记为, (15.13)由(15.2)和(15.13)，则（15.11）可写为： （15.14)由（15.4）和（15.13），则（15.12）可写为： (15.15)由(15.14)(15.15)可知, 为调整连接值, 只需求出误差信号，.事实上,它们可展开为： (15.16) (15.17)又由(15.6)(15.7)可得： (15.18) (15.19)将(15.18)(15.19)分别代入(15.1。