神经网络与遗传算法.doc

5.4 神经网络与遗传算法简介在本节中，我们将着重讲述一些在网络设计、优化、性能分析、通信路由优化、选择、神经网络控制优化中有重要应用的常用的算法，包括神经网络算法、遗传算法、模拟退火算法等方法用这些算法可以较容易地解决一些很复杂的，常规算法很难解决的问题这些算法都有着很深的理论背景，本节不准备详细地讨论这些算法的理论，只对算法的原理和方法作简要的讨论5.4.1 神经网络1. 神经网络的简单原理 人工神经网络（ Artificial Neural Networks， 简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connectionist Model） ，是对人脑或自然神经网络（Natural Neural Network）若干基本特性的抽象和模拟人工神经网络以对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能所以说, 人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作出状态相应而进行信息处理它是根据人的认识过程而开发出的一种算法假如我们现在只有一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚，那么我们可以把输入与输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。

这样，当训练结束后，我们给定一个输入，网络便会根据自己已调节好的权值计算出一个输出这就是神经网络的简单原理2. 神经元和神经网络的结构如上所述，神经网络的基本结构如图5.35所示： 图5.35神经网络一般都有多层，分为输入层，输出层和隐含层，层数越多，计算结果越精确，但所需的时间也就越长，所以实际应用中要根据要求设计网络层数 神经网络中每一个节点叫做一个人工神经元，他对应于人脑中的神经元人脑神经元由细胞体、树突和轴突三部分组成，是一种根须状蔓延物神经元的中心有一闭点，称为细胞体，它能对接受到的信息进行处理，细胞体周围的纤维有两类，轴突是较长的神经纤维，是发出信息的树突的神经纤维较短，而分支众多，是接收信息的一个神经元的轴突末端与另一神经元的树突之间密切接触，传递神经元冲动的地方称为突触经过突触的信息传递是有方向性的，不同的突触进行的冲动传递效果不一样，有的使后一神经元发生兴奋，有的使其发生抑制由人脑神经元的工作机理，人们构造了人工神经元的数学模型，它是人脑的模拟和简化，如图5.36所示图5.36 McCulloch-Pitts网络在图中，是表示神经元对信息的感知能力，称为关联权，称为输出函数或激活函数，采用激活函数的人工神经网络也称阈网络。

McCulloch-Pitts输出函数定义为其中，为符号函数，称为阈值一般来说，一个人工神经元有多个输入和一个输出，另外有一个激活函数，不同的激发函数对应了不同的网络，也决定了网络的用途从方程可以看出，当 确定时，任给一组输入，也就很容易得到输出而现在我们的想法是：对给定的输入，确定权数，使得通过方程计算出来的输出尽可能与实际值吻合，这即是学习的过程学习也称为训练，指的是通过神经网络所在环境的刺激作用调整神经网络的权数，使得神经网络对外部环境以一种新的方式作出反应学习分为有指导学习和无监督学习：在有正确输入输出数据条件下调整和确定权数的方法称为有指导学习；而在只知输入数据不知输出结果的前提下确定权数的方法称为无监督学习人工神经网络的主要工作就是通过学习，建立模型和确定的值神经网络按照网络结构和激发函数的不同可分为许多种，我们在此只对感知器、BP网络及Hopfield神经网络进行简介 3．感知机首先介绍单层前向神经网络单层前向神经网络的模型结构如图5.37所示或用矩阵表示为 其中，为权系数矩阵，分别为输入向量、输出向量及阈值向量确定权数的基本思想是修正使得输入输出偏差尽可能小权的修正公式为：，，其中，分别表示第组用于学习的输入和期望输出数据，称为学习效率，用于控制调整速度。

与权值修正原理类似，阈值修正公式可假设为：，通过更新权数和阈值使得输入输出偏差趋于零若将激活函数取为阶跃函数，上述思想即是感知机原理图5.37由此，我们给出感知机学习规则算法步骤为：用表示学习步骤的序号，表示学习前的神经网络的初始状态第1步：赋初值给网络上权数和阈值赋初值，如； 第2步：计算样本实际输出选择一个样本作为网络输入，计算样本在目前神经网络中的实际输出如，对于第个样本，感知机输出为：， 其中，第3步：计算误差计算感知机输出的实际结果与期望输出之差：第4步：权数修正如果，则转第2步，否则调整权值：第5步：若训练样本已完全输入或输出误差小于预设值，则学习结束；否则，转第2步继续学习如果对给定的两类样本数据(通常就是用于学习的输入数据)，在空间中可以用一条直线（平面）将其分开，则称该样本数据是线性样本，否则称为非线性样本，对样本进行分类或识别即属于人工神经网络的重要应用之一感知机可以识别二值逻辑加问题，而不能识别异或问题对于非线性问题，可以用反向传播（BP）模型解决4. BP网络 图5.38 多层前向神经网络结构BP网络应用得最为广泛，最为重要的一种神经网络这种网络一般有多层，有输入层，输出层和隐含层，上一层的输出即是下一层的输入，输出层所在的层数就是神经网络的层数。

一般的多层前向神经网络结构如图5.38所示在实际应用中，BP网络的激活函数一般采用S型函数：， 这是因为S型函数有很好的函数特性，其效果又近似于符号函数，现主要讨论采用S型函数的多层前向神经网络的学习方法假设有一个层的神经网络，从第0层到第1层的原始输入向量、权矩阵、第1层神经元接受向量和第1层输出向量以及它们之间的关系为：，，，第层到第层的权矩阵、神经元接受向量和输出向量以及它们之间的关系分别为：，， 其中，我们先讨论单样本学习规则学习规则是：确定，使得最小，其中为理想输出采用S型函数的前向多层神经网络的反推学习(BP)算法步骤如下：第1步：选定学习的数组，随机确定初始权矩阵；第2步：用学习数据计算；第3步：计算① ，其中， ② ，③ 时，， 其中，第4步：反向修正，修正公式为：， 其中，第5步：循环利用个学习样本，重复第2步～第4步，对网络权数进行调整，直到整个训练集误差最小（网络达到稳定状态）当激活函数时，，代入①、②、③使计算可以得以简化BP网络的用途十分广泛，可用于以下方面：①函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数；②模式识别：用一个特定的输出矢量将它与输入矢量联系起来；③分类：把输入矢量以所定义的合适方式进行分类；④数据压缩：减少输出矢量维数以便于传输或存储。

5. Hopfield神经网络前面介绍的感知机和BP网络都属于前向网络前向网络结构简单、易于编程，但计算能力不够强大反馈神经网络是一个反馈动力学系统，具有更强的计算能力其一般结构如图5.39所示图5.39 反馈神经网络的一般结构反馈型神经网络中，神经元之间信息交互关系不再是从一层传递到另一层，而是各神经元之间都存在关系，存在从输出到输入的反馈，所以反馈型神经网络可能是不稳定的反馈型神经网络有连续型和离散型两类，连续型用微分方程描述，离散型用差分方程描述J.Hopfield将神经网络和动力学系统研究结合起来，于20世纪80年代提出了一个全新的神经网络模型—Hopfield神经网络，并把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，求解出了旅行商问题的准优解Hopfield神经网络属于反馈型神经网络，若Hopfield神经网络的权数矩阵是对角线元素为0的对称矩阵，即：，，则可以证明这种神经网络是稳定网络，即反馈与迭代的计算过程所产生的变动越来越小，一直到达平衡状态1）离散Hopfield神经网络离散Hopfield神经网络神经元的输出为离散值0和1，分别代表神经元抑制和激活状态，若神经元的输出信息小于阈值，神经元输出值为0；反之输出值为1。

对于有个神经元的离散Hopfield神经网络，其权数矩阵为维对称阵，每个神经元都有一个阈值，故有一个维的阈值向量，权数矩阵和阈值矢量就定义了唯一一个个神经元的离散Hopfield神经网络Hopfield网络中的神经元公式可表示为：其中，表示神经元的初始状态，表示神经元在时刻的状态，同时也是神经元在时刻的输出，表示神经元的阈值一个个神经元的离散Hopfield网络在时刻的状态可以用一个维向量表示为：若采用符号激活函数时，将Hopfield网络的能量函数定义为：任意神经元的能量函数为：容易推出从时刻到时刻的能量变化量为由于采用的是符号激活函数，所以无论神经元的状态变化如何，显然有，其中等号仅在神经元的状态不变时成立又由于神经元的任意性，所以当网络按某一规则进行状态更新后，网络的总能量在减少这样经过不断的迭代，网络最终达到稳定状态在算法的构造上可以采用同步和异步两种方式，异步算法就是每次只调节一个神经元，其它神经元保持不变同步算法就是同一时刻对所有神经元同时调整下面仅给出Hopfield网络异步算法的基本步骤，对于同步，读者不难自己给出Hopfield网络异步算法：第1步：初始化任选一个初始状态；第2步：更新状态。

随机选取一个神经元，进行状态更新： 第3步：检验检验是否为网络的平衡点，若是转第4步；否则，转第2步；第4步：输出2）连续Hopfield神经网络Hopfield利用模拟电子线路功能构造了反馈型神经网络的电路模型，建立的能量函数表达式为　　　（5-140） 其中，，为Sigmoid函数，为神经元和神经元之间的连接权数对应电路中的电阻，为神经元的接受值，为外部偏置电流输入值，为增益项对应的连续Hopfield神经网络状态变化用微分方程表示为　　　　　　　　　（5-141） 其中，是与有关的常数，当时，5-140）和（5-141）有如下关系：　　　　　　　 　　　　（5-142）容易证明，若为单调增函数，有：，且当且仅当时，所以，连续Hopfield神经网络的状态总是向着能量减少的方向运动的，因此网络总能收敛到稳定状态，网络的稳定点同时也是能量的极小点具体地，Hopfield神经网络的计算步骤：第1步：针对实际的组合优化问题构造能量函数，使得能量函数有好的稳定性；第2步：由能量函数，根据（5-142）的关系求解出Hopfield神经网络状态变化方程（5-141）；第3步：用数值方法（如Matlab软件）求解方程（5-141）得到平衡点，得极小值。

需要注意的是：① 能量的极小点有局部极小点和全局极小点两类，在具体的数值计算过程中，难免会陷入局部极小，所以有吸引子的热点研究为了避免局部极小，可以采用多种方法的组合，如与遗传算法、模拟退火等方法的结合② 无论对离散型还是连续型的Hopfield神经网络，只要权值矩阵是对称阵，网络就是稳定的，但由于Hopfield神经网络神经元的连接权值在整个计算过程中是不变的，所以Hopfield神经网络不具有学习能力6. 神经网络算法的应用实例 1）地震级预测表5.3 学习样本集及内符结果频度值值缺震蠕变能量期望。