《神经网络算法的》

人工神经元网络（ANN）,Artificial Neural Network,生物神经元及生物神经网络,什么是人工神经网络? 人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统或计算机。,生物神经元及生物神经网络,神经网络的分类,按照网络特性 静态网络 动态网络,按照学习方法 有导师学习 无导师学习,感知器（Perceptron）,感知器的非线性激励函数,感知器的数学描述,感知器的线性可分问题,多层神经网络的典型结构,多层神经网络的例子模式分类与函数逼近,神经网络的反向扩散学习算法,ul,1,ul,2,ul,Nl,ul,j,u2,1,u2,2,u2,N2,u2,j,uL,1,uL,NL,输入层,第一层,第二层,输出层,u0,1,u0,2,u0,j,u0,N0,W l, j, i = ?,神经网络的反向扩散学习算法,神经网络的反向扩散学习算法,神经网络的反向扩散学习算法,神经网络的反向扩散学习算法,神经网络的反向扩散学习算法,神经网络的反向扩散学习算法,神经网络的反向扩散学习算法,神经网络的反向扩散学习算法,神经网络的反向扩散学习算法,动态网络Hopfield网络,若按照神经网络运行过程中的信息流向来分类，那么所有网络都可分为前馈式网络和反馈式网络，在前一章中，主要介绍了前馈式网络通过许多具有简单处理能力的神经元的复合作用使整个网络具有复杂的非线性映射能力。在那里，着重分析了网络学习算法，研究的重点是怎样尽快地得到网络的整体非线性处理能力。在本章中，我们将集中讨论反馈式网络，通过网络神经元状态的变迁而最终稳定于某一状态而得到联想存贮或神经计算的结果。在这里，主要关心的是网络稳定性的问题，研究的重点是怎样得到和利用稳定的反馈式网络。,动态网络Hopfield网络,哈波菲尔德 (Hopfield)网络是得到最充分研究和广泛应用的神经网络模型之一。在众多的研究者之中。美国科学家J. J哈波菲尔德 (J. JHopfield)的工作具有特别重要的意义，他为这一类网络引入了一种隐定过程，即提出了人工神经网络能量函数 (也称李雅普诺夫函数)的概念 使网络的运行稳定性判断有了可靠而简便的依据。Hopfield网络在联想存取及优化计算等领域得到了成功的应用，拓宽了神经网络的应用范围。另外Hopfield网络还有一个显著的优点，其与电子电路存在明显的对应关系，使得该网络易于理解和便于实现。,Hopfield网络的结构,Hopfield网络的结构,Hopfield网络的基本结构如图所示，N1， N2 ， ， Nn 表示网络的n个神经元，其转移特性函数为f1， f2 ， ， fn 。门限值为1， 2 ， ， n 。对于离散型Hopfield网络，各节点一般选相同的转移特性函数，且为符号函数，即有 f1(x) = f2 (x) = = fn (x) = sgn (x) 为以后分析方便，我们选各节点门限值相等，且等于0 ，即有 1= 2 = = n = 0 同时，x = (x1, x2, , xn )， x -1, +1n 为网络的输出， y = (y1, y2, , yn )， y -1, +1n 为网络的输出 v (t) = (v1(t1), v2(t2), , vn(tn), v (t) -1, +1n 为网络在时刻t的状态， 其中t (0，1，2，)为离散时间变量，Wij为从Ni到Nj的连接权值， Hopfield网络是对称的，即Wij = Wji ，i, j 1,2, , n。,Hopfield网络的结构,Hopfield网络为一层结构的反馈网络，能处理双极型离散数据 (即输入x -1, +1，及二进制数据 (x 0，1)。当网络经过适当训练后，可以认为网络处于等待工作状态。而对网络给定初始输入x时，网络就处于特定的初始状态。由此初始状态开始运行，可得到网络输出(即网络的下一状态)。然后这个输出状态通过反馈连接回送到网络的输入端，作为网络下一阶段运行的输入信号。而该输入信号可能与初始输入信号x不同。由这个新的输入又可得到下一步的输出，该输出也可能与上一步的输出不同。如此下去，网络的整个运行过程就是上述反馈过程的重复。如果网络是稳定的，那么随着多次反馈运行，网络状态的变化逐渐减少，最后不再变化，达到稳态。这时由输出端可得到网络的稳定输出y。用公式表达为 vj(0) =xj ; vj(t+1) = fj ( Wij vi (t) - j ) 当v (t+1) = v (t)时，y = v (t),Hopfield网络的状态更新,在网络运行过程中，网络神经元状态的演变有两种形式。 异步更新 在任一时刻t，只有某一神经元Nj的状态被更新，而其余神经元状态保持不变，即 vj(t+1) = sgn( Wij vi (t) 对某个特定的j vj(t+1) = vj(t) i 1,2, , n ij 同步更新 在任一时刻t，更新的神经元数目多于一个，称同步更新。特殊情况下，所有神经元都同时更新，称全并行工作方式，即 vj(t+1) = sgn( Wij vi (t) i 1,2, , n 写成向量形式 v (t+1) =sgn(v (t) W),Hopfield网络的稳定性,下面给出几个基本概念的定义。这些基本概念与网络运行过程中状态的变迁有关。 定义1 网络的稳定性 若网络从初始状态v(0)开始，经过有限时间t后，网络的状态不再发生变化，即则称网络是稳定的。 定义2 网络的吸引子 设t=0时对网络输入模式x，网络处于状态v(0)，而在时刻t，网络到达状态v(t) 。若v(t)稳定，则称v(t)为网络的稳定吸引子，否则称v(t)为非稳定吸引子。在非稳定吸引子的情况，若网络状态有规律地在某些状态之间振荡，则称网络处于有限环(Limited Circle)状态。若网络无规律地在某些状态之间振荡，则称网络处于混沌(Chaos)状态。 定义3 吸引子的吸引域 对于某些特定的初始状态，网络按一定的运行规则最后可能都稳定在同一吸引子v(t)上。称能够稳定在吸引子v(t)的所有初始状态集合为v(t)的吸引域。,Hopfield网络的联想原理,E= mc2,Einstan,Newt,Newton,Newy,Newyear,Hopfield网络的联想原理,所谓联想可以理解为从一种事物联系到与共相关事物的过程。在日常生活中。由一种事物出发，人们会非常自然地联想到与该事物密切相关或有因果关系的种种事物。 在这里，我们区分两种联想形式，即 。由某种代表事物 (或该事物的主要特征。也可能是部分主要特征)联想到其所表示的实际事物，称自联想，由一种事物 (或该事物的主要特征，也可能是部分主要特征)联想到与其密切相关的另一事物，称异联想。,联想的定义,首先考虑x类模式向量集合 (x1, x2, , xp） 及y类模式向量集合 (y1, y2, , yp)， 其中 xi=(x1i, x2i, , xni ) ， xi -1, +1n yi=(y1i, y2i, , ymi ) ， yi -1, +1m,联想的定义,自联想 (Autoassociation) 给出向量模式xi ， xi满足关系D(xi , x i) = min(x i, xj)，即xi含有x i的主要特征，其中D为某种度量，用以测量两个模式的相似度。若由x i得到了xi ，即重新构造出xi ，则称此构造过程为自联想过程。 异联想 (Heteroassociation) 给出向量模式xi 。若由xi得到yi ，即实现了两种不同事物之间的对应，则称这个对应过程为异联想过程。,联想的定义,按地址寻找 传统计算机所使用的搜索方法。该方法的实现特点是忽赂了对应事物的内在联系而把事物转换成没有特征的数字 (地址)。以后按地址的变换以某种策略进行寻找。随后对事物进行比较，按某种废量得到所要寻找的目标事物。 按内容寻找 基于事物全部或部分特征来找出目标事物。寻找过程就是事物间特征的对比，而不必知道这些事物的具体贮存地址。从匹配过程来看，这种方法不需要地址的管理及变换，这就有可能极大地提高查寻速度。从观念上来讲，本方法较按地址寻找更接近于人的思维方法，因为在人脑辨识决策过程中，绝大多数是墓千事物之间的联系，也即联想过程。但是，本方法在传统计算机上用确定性算法难以实现，而神经网络方法却能提供一种较好的实现方案。,联想的定义,定义 Hamming距离，两个向量中对应元素不相同的个数，称作这两个向量的汉明距离。例如：x1与x2汉明距离可用下式计算 DH (x1, x2)=1/2(1 xi1xi2),联想的定义,模式匹配 对于集合x1, x2 , , xp，其中xi=(x1i, x2i , , xni) ， xi1,+1n 给出输入测试模式x，试在该模式集合中找出与x在汉明距离最为接近意义下的xi， i1, 2 , , n。,联想的定义,计算步骤 (按地址寻找 ) 计算x与所有已存贮模式的汉明距离for j=1, pDH (x, xj)=1/2(1 xixij) 找出与x最为相似的模式标号（用k表示） k1 for j=2, p if DH (x, xj) DH (x, xj-1) then kj 由标号k查找得xkprint (xk),联想的定义,计算步骤 (按内容寻找 ) 学习阶段：形成W（与x1, x2 , , xp有关） 初始阶段：v(0)=x （假设输入x = xk） 运行过程： v(t+1)=sgn(v(t) W) 稳定输出： v= xk,x11 x21 xn1,x12 x22 xn2,LOC(x1),LOC(x2),x1k x2k xnk,x1p x2p xnp,LOC(xk),LOC(xp),x1 x2 xn,输入 x,DH (x1, x),DH (x2, x),DH (xk, x),DH (xp, x),x1,x2,xk,xp,x,DH (xk, x),选择,传统计算机存储及比较方法,x1,x2,xn,神经网络存储及联想方法,x1k,x2k,xnk,v1(t),v2(t),vn (t),wn1,wn2,w21,w12,w2n,w1n,吸引子空间分布示意图,v1,v2,v3,联想实例,右图给出一些模拟实例，其中图形象素为130180，整个网络共存贮了7幅图象。图中左端为带有噪声干扰或不完全的输入图形，中间为网络运行的某时刻的中间状态，右端为网络最终输出。,