第二章：人工神经网络原理与模型概要.docx

第二章ANN基本原理与模型• 2.1神经元原理与模型• 2.2感知器ANN• 2.3 B-P ANN神经元原理与模型1.生物神经元的结构神经细胞是构成神经系统的基本单元，称之为生物神经元，简称神经元神经元主要由三部分构成：（1）细胞体;（2）轴突；（3）树突；（如图2.2.1）突触是神经元之间相互连接的接口部分，即个神经元的神经 末梢与另•个神经元的树突相接触的交界面，位于神经元的神经末梢 尾端突触是轴突的终端2.神经元的功能特性（I）时空整合功能2）神经元的动态极化性3）兴奋与抑制状态4）结构的可塑性5）脉冲与电位信号的转换6）突触延期和不应期7）学习、遗忘和疲劳1 .人工神经网络的组成人匚神经网络（简称ANN）是由大量处理单元经广泛互连而组成的人匚 网络，用来模拟脑神经系统的结构和功能而这些处理单元我们把它称作 人工神经元人工神经网络（ANN）可看成是以人工神经元为节点，用有向加权弧连 接起来的有向图在此有向图中，人匚神经元就是对生物神经元的模拟， 而有向弧则是轴突一突触一树突对的模拟有向弧的权值表示相互连接的 两个人工神经元间相互作用的强弱222人J2神经网络的组成与结构图222人工神经网络的组成图223 M — P神经元模型222人工神经网络的组成与结构2 .人工神经元的工作过程对于某个处理单元（神经元）来说，假女来自其他处理单元（神经 元）i的信息为X/它们与木处理单元的互相作用强度即连接权值为Wj, i=0,1,…,n-1,处理单元的内部阈值为9。

那么本处理单元（神经元）的输 入为1工 Hi* （2.2.1）/=0而处理单元的输出为y = f(22 WiXi - 0)i=0(2.2.2)式中，Xj为第i个元素的输入，Wj为第i个处理单元与本处理单元的互联 权用f称为 夕函数或作用函数，它决定节点（神经元）的输出222人JL神经网络的组成与结构激发函数,般具有非线性特性，常用的非线性激发函数如图所示 这里，b=/wx一称为激活值1-0（a） （b） （c） （d）（a）阈值型 （b）分段线性型 （c） Sigmoid函数型（d）双曲正切型常用的激发函数2.2.2人工神经网络的组成与结构阈值型函数又称阶跃函数，它衣示激活值o和其谕出f（之间的关 系阈值型函数为激发函数的神经元是一种最简单的人工神经元，也就 是我们前面提到的M-P模型线性分段函数可以看作是一种最简单的非线性函数，它的特点是将函 数的值域限制在•定的范围内，其输入、输出之间在•定范围内满足线 性关系，一直延续到输出为最大域值为止但当达到最大值后，输出就 不再增大• S型函数是一个有最大输出值的非线件函数，其输出值是在某个范围 内连续取值的以它为激发函数的神经元也具有饱和特性。

•双曲正切型函数实际只是•种特殊的S型函数，其饱和值是一1和12.2.2人工神经网络的组成与结构3.人工神经网络的结构人工神经网络中，各神经元的不同连接方式就构成了网 络的不同连接模型常见的连接模型有：• 前向网络• 从输出层到输入层有反馈的网络• 层内有互联的网络• 互联网络前向型神经网络的结构是父阶型的，信息值可以从输入U单元传播到 它的上-•层的单元第 层又与其上•层单元相连，同•层中的各单 元之间没有连接特点：从输出层对输入层有信息反馈，可用产储存某种模式的序列有反馈的前向网络层内有结合的前向网络前向型神经网络的结构是后阶型的，信息值可以从输入二单元传播到 它的上i层的单元.第二层又与其上一层单元相连，同一层中的各单 元之问次有连接 …I层内仃结公而向网络结构I2.2.2人工神经网络的组成与结构• 分类“按性能分：连续型和离散型网络，或确定型和随机型网络按拓扑结构分：有反馈网络和无反馈网络/按学习方法分：有教师的学习网络和无教师的学习网络/按连接突触性质分：•阶线性关联网络和高阶非线性关联网络2.2感知器ANN•2. 3. 1感知器模型•感知器模型是美国学者罗森勃拉特(Rosenblatt)为研究大脑的存储、学 习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络 的研究从纯理论探讨引向了从工程上的实现。

• Rosenblatt提出的感知楷模型是•个只有单层计算单元的前向神经网络, 称为单层感知器fl)•单层感知器模型♦单层感知器工作原理单层感知器可将外部输入分为两类当感知器的输 出为+1时，输入属于/偻，当感知器的输出为・1时，输 入属于/粪，从而实现两类目标的识别在多维空间， 单层感知器进行模式识别的判决超平面由下式决定：mZ vv.x + b = 0i=\•单层感知器工作原理wix[+w2x2+b = 0对卜只有两个临入的判别边界是直 线（如卜式所示），选择合适的学 习弊法可训练出满意的卬［和 “丁明「,两类模式的分类时，相 当于孟高维样本空间中,用一个 超平面将两类样本分开•2.3.2单层感知器学习算法思想-基于迭代的思想，通常是采用员系校正学习规则的学习和法可玲将偏差作为神经元突触权值向量的第一•个分量加到权值向-输入向量和权值向量可分别写成如下的形式：x 5) = [+1,玉(〃)，々(〃)，••・乐(〃)了"(〃) = [“(〃)，"(〃),叫 5)…•，叱”(〃)]T-令上式等于零，可得到在多维空间的单整感知器的判别超平面第一步，设置变量和参量• f(・)为激活函数,以〃)为网络实际输出，，(〃为期望输出,〃为学习速率，九为 迭代次数，e为实际输出与期望输出的炭差。

第二步,初始化•给权值向hW(O的各个分层赋一个较小的随机能与值，置〃 =0-第，吮瑜入•组样本*(〃)二,并给出 它的期望输出d(N)-笫四步，计算实际输出：y(〃) = f[Q,(〃X(〃))-第五步，求出期望输出和实际输出求出差e = d(n)-y(n)•根据误差判断11前输出是有涧足条件，一般为对所有样本误差为零或者均小于预设的值, 则洋法结束,否则将n值增加1.并用卜.式调整权值：iv(// + 1)=卬(〃)+〃「〃(〃)一然后转到笫四步，进入下一轮计算为程2. 3. 3 单层感知器模型的缺点■单层感知曙不能表达的问题被称为线性不可分问题1969年，明斯基证明了 “异或”问题是线性不可分问题:if X| = x2其他“异或” (XOR)运算的定义如下：0, y（x］，x2）= J1. 2.4 感知器模型的应用由于单层感知器的输出为y (xx, x2) =f(U) x X xx+U) 2 X x2-0 )所以，用感％I器实现简单逻辑基经的情况如卜.:(1)“与”运算(X]八X2) 令3 [= 3 2=1，6 =2,贝IJy=f (1XX1+1Xx2-2)显然，当A和X2均为1时，y的值1：而当4和Xzff •个为0时，y的值就为0。

2) “或"运算(x】Vx2)令3 [= 3 2=1, 6 =0. 5y=f(lXX1+lXx2-0. 5)显然，只要X1和X2中仃一个为1,贝叼的位就为1：只仃当X1和X2都为时，y的值才 为02. 2. 4 感知器模型的应用(3) “非”运算(〜XP令3] =-1, 00 2=0» 0 =-0.5,贝ijy=f((-l)Xxl+0Xx2+0. 5))显然，无论X2为何值，X1为1时，y的值都为0：叼为0时，y的值为1即y总等于〜X]4) “异或"运算lx】XOR x2)如果“异或" (X0R)问题能用单层感知器解决,则由X0R的真值表可知，u)2和e 必须满足如下方程组：u)1+a)2-e<03#0-之oo+o-evoo+u)2-®^o显然，该方程组是无解，这就说明单层感知器是无法解决异或问题的2. 2. 5多层感知器模型•在单层感知器的输入部分和输出层之间加入一层或多层处理单元，就 构成了一层或多层感知器•在多层感知器模型中，只允许某一层的连接权值可调，这是因为无 法知道网络隐层的神经元的理想输出，闪而难以给出一个仃效的多层 感知器学习算法•多层感知器克服了单笈感知器的许多缺点，原来 坐单层感知器无法 解决的问题，在多层感知器中就可以解决C例如，应用：层感知器就 可以解决异或逻辑运算问题。

2.3 B-P ANN2.3 B-PANN反向传播模型及其网络结构・ 反向传播模型也称B-P模型，是一种用「前向多层的反向传播学习算法 之所以称它是种学习方法，是因为用它可以对组成前向多层网络的各 人工神经元之间的连接权值进行不断的修改，从而使该前向多层网络能 够将输入它的信息变换成所期望的输出信息之所以将其称作为反向学 习算法，是因为在修改各人匚神经元的连接权值时，所依据的是该网络 的实际输出与其期望的输出之差，将这一差值反向一层一层的向回传播, 来决定连接权值的修改B・P算法的网络结构是一个前向多层网络，如图所示X1Y2图9.10 B.P网络9.3反向传播模型及其学习算法B-P算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对 任-输入都能得到所期望的输出• 学习过程由正向传播和反向传播组成• 正向传播用丁•对前向网络进行计算，即对某一输入信息，经过网络计算 后求出它的输出结果• 反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输 入信息经过计算后所得到的输出能达到期望的误差要求9.3反向传播模型及其学习算法B-P算法的学习过程如下：（1）选择一组训练样例，每一个样例由输入信息和期望的输出结果两部 分组成。

2）从训练样例集中取一样例，把输入信息输入到网络中3）分别计算经神经元处理后的各层节点的输出4）计算网络的实际输出和期望输出的误差5）从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向 发展的原则，调整网络中各神经元的连接权值，（6）对训练样例集中的每一个样例重复（3） — （5）的步骤，自到对整 个训练样例集的误差达到要求时为止.在以上的学习过程中，第（5）步是最重要的，如何确定一种调 整连接权值的原则，使误差沿着减小的方向发展，是B-P学习算法必 须解决的问题◎9.3反向传播模型及其学习算法B-P算法的优缺点：/ 优点：理论基础牢固，推导过程严谨，物理概念消晰，通用性好等所 以，它是目前用来训练前向多层网络较好的算法缺点：（1）该学习穿法的收敛速度慢：, （2）网络中隐节点个数的选取尚无理论上的指导；, （3）从数学角度看，B-P算法是一•种梯度最速卜降法，这就可能出现局部极小的问题当出现局部极小时，从表面上看，误差符合要 求，但这时所得到的解并不•定是问题的真正解所以B-P算法是不完 备的9.3反向传播模型及其学习算法9. 3. 3反向传播计算的举例设图9.12是一个简单的前向传播网络，用B-P算:法确定其中的各连接权值时•,S的计算方法如下:图9.12 一个简单前向传播网络9.3反向传播模型及其学习算法如图9.12,可知:L = Wiqx, + W9qx9 J 1 1 ND /L = w34o3L = 。