智能控制技术——人工神经元网络模型

智能控制技术,人工神经元网络模型,主要内容,2,4. 人工神经元网络模型 4.1 引言 4.1.1 神经元模型 4.1.2 神经网络的模型分类 4.1.3 神经网络的学习算法 4.2 前向神经网络模型 4.2.1 单一人工神经元 4.2.2 单层神经网络结构 4.2.3 多层神经网络结构 4.3 动态神经网络模型 4.3.1 带时滞的多层感知器网络 4.3.2 Hopfield神经网络,3,4.1 引言,大脑有两层：灰色的外层和白色的内层。外层只有几毫米厚，紧密地压缩着几亿到几百亿个神经元细胞，白色的内层由神经元细胞相互之间的连接线组成。,4.1.1 神经元模型,生物学的神经网络大脑,4,4.1 引言,大脑有两层：灰色的外层和白色的内层。外层只有几毫米厚，紧密地压缩着几亿到几百亿个神经元细胞，白色的内层由神经元细胞相互之间的连接线组成。,4.1.1 神经元模型,生物学的神经网络大脑,5,4.1 引言,以人类为例，神经元细胞在生命的最初9个月内，以每分钟25000个的惊人速度被创建出来。,4.1.1 神经元模型,生物学的神经网络大脑,6,4.1 引言,每个神经元细胞通过它的树突和大约10,000个其他的神经细胞相连。这就使得你的头脑中所有神经细胞之间连接总计可能有l00,000,000,000,000个。所以毫不奇怪为什么我们有时会产生头疼毛病！,4.1.1 神经元模型,生物神经元,7,4.1 引言,每个神经元虽然都十分简单，但是大量的神经元通过复杂的连接就可以演化出丰富多彩的行为方式。同时，大量的神经元与外部之间的多种多样的连接方式也蕴含了变化莫测的反应方式。,4.1.1 神经元模型,生物神经元,8,4.1 引言,对于一个有21个大自由度，200多个小自由度，600多个执行机构的系统（人），通过训练，我们就可以做到实时进行负重战立、走路、跑步、上下坡、躲避障碍物等“简单”功能。 同时，在执行上述功能的同时，我们还可以打电话，背单词，跟路过的人打招呼，解数学题,4.1.1 神经元模型,生物学的神经网络大脑,9,4.1 引言,能实现无监督的学习 有关我们的大脑的难以置信的事实之一，就是它们能够自己进行学习，而不需要导师的监督教导。如果一个神经细胞在一段时间内受到高频率的刺激，则它和输入信号的神经细胞之间的连接强度就会按某种过程改变，使得该神经细胞下一次受到激励时更容易兴奋。 与此相反的是，如果一个神经细胞在一段时间内不受到激励，那么它的连接的有效性就会慢慢地衰减。这一现象就称可塑性。,4.1.1 神经元模型,生物学的神经网络大脑,10,4.1 引言,对损伤有冗余性 大脑即使有很大一部分受到了损伤，它仍然能够执行复杂的工作。一个著名的试验就是训练老鼠在一个迷宫中行走。然后，科学家们将其大脑一部分一部分地、越来越大地加以切除。他们发现，即使老鼠的很大一部份大脑被切除，它们仍然能在迷宫中找到行走路径。这一事实证明了，在大脑中，知识并不是保存在一个局部地方。另外所作的一些试验则表明，如果大脑的一小部分受到损伤，则神经细胞能把损伤的连接重新生长出来。（在人类身上也能见到这种现象：由于心血管病或其他原因引起大面积脑组织坏死的脑梗死病人经过一段时间的康复训练后也能恢复健康，特别是，记忆力并不受损。）,4.1.1 神经元模型,生物学的神经网络大脑,11,4.1 引言,处理信息的效率极高 神经细胞之间电-化学信号的传递，与一台数字计算机中CPU的数据传输相比，速度是非常慢的，但因神经细胞采用了并行的工作方式，使得大脑能够同时处理大量的数据。例如，大脑视觉皮层在处理通过我们的视网膜输入的一幅图象信号时，大约只要100ms的时间就能完成。考虑到你的神经细胞的平均工作频率只有100Hz，100ms的时间就意味只能完成10个计算步骤！想一想通过我们眼睛的数据量有多大，你就可以看到这真是一个难以置信的伟大工程了。,4.1.1 神经元模型,生物学的神经网络大脑,12,4.1 引言,善于归纳推广 大脑和数字计算机不同，它极擅长的事情之一就是模式识别，并能根据已熟悉信息进行归纳推广(generlize)。例如，我们能够阅读他人所写的手稿上的文字，即使我们以前从来没见过他所写的东西。,4.1.1 神经元模型,生物学的神经网络大脑,它是有意识的 意识是神经学家和人工智能的研究者广泛而又热烈地在辩论的一个话题，至今尚未取得实质性的统一看法。,13,树突：接受来自其他神经元的信号（兴奋） 轴突：将本神经元的输出信号（兴奋）传递给别的神经元 轴突（神经）末梢：传给其它多个神经元,4.1 引言,4.1.1 神经元模型,生物神经元,14,动态极性化 在神经元中，信息都是以预知的确定方向流动的，即从神经元的接收信息部分传到轴突的起始部分，再传到轴突终端的突触，最后再传给另一神经元。 （即：树突 - 细胞体主体 - 轴突 - 轴突末梢） 兴奋与抑制 兴奋状态是指神经元对输入信息经整合后使细胞膜电位升高，且超过了动作电位的阈值，此时产生神经冲动并由轴突输出。 抑制状态是指对输入信息整合后，细胞膜电位值下降到低于动作电位的阈值，从而导致无神经冲动输出。 学习与遗忘 由于神经元结构具有可塑性，突触的传递作用可增强和减弱，因此神经元具有学习和遗忘功能。,4.1 引言,4.1.1 神经元模型,15,连接权：模拟突触的连接强度 求和：模拟生物神经细胞的膜电位,人工神经元是对生物神经元的一种模拟与简化。,4.1 引言,4.1.1 神经元模型,人工神经元,16,1943年，美国McCulloch与Pitts从信息处理的角度，合作提出了第一个神经计算模型二元神经元模型，简称MP模型。 1949年，心理学家D.O.Hebb对大脑神经细胞、学习与条件反射作了大胆地假设，提出了著名的Hebb学习规则，即由神经元之间结合强度的改变来实现神经学习的方法。此基本思想至今在神经网络的研究中发挥着重要作用。 50年代末期，Rosenblatt提出感知机（Perceptron），首先从工程角度，研究了用于信息处理的神经网络模型。感知机具有神经网络的一些基本性质，如分布存贮、并行处理、可学习性、连续计算等。 在20世纪60年代掀起了神经网络研究的第一次高潮,4.1 引言,4.1.1 神经元模型,人工神经元：回顾历史,17,1969年，美国著名人工智能专家Minsky和Papert对Rosenblatt的工作进行了深入研究，出版了有较大影响的Perceptron一书，指出感知机的功能和处理能力的局限性，甚至连XOR（异或）这样的问题也不能解决，同时指出如果在感知机中引入隐含神经元，增加神经网络的层次，可以提高神经网络的处理能力，但是无法给出相应的网络学习算法。（观点较悲观） 上世纪60年代以来集成电路和微电子技术日新月异的发展，使得电子计算机的计算速度飞速提高，给人工智能从实验室走向实用带来了希望。这些技术进步给人们造成这样的认识：以为串行信息处理以及以它为基础的传统人工智能技术的潜力是无穷的，这就暂时掩盖了发展新型计算机和寻找新的人工智能途径的必要性和迫切性。 以上的局限性使对神经网络的研究进入了低潮。,4.1 引言,4.1.1 神经元模型,人工神经元：回顾历史,18,上世纪80年代，首先是基于“知识库”的专家系统的研究与运用，在许多方面取得了较大的成功，但实际应用情况表明，专家系统并不像人们所希望的那样高明。 另外，模拟人脑的智能信息处理过程，如果仅靠串行逻辑和符号处理等传统的方法来解决复杂的问题，会产生计算量的组合爆炸。 因此，具有并行分布处理的神经网络理论又重新受到人们的重视，对神经网络的研究又开始复兴，掀起了第二次研究高潮。,4.1 引言,4.1.1 神经元模型,人工神经元：回顾历史,19,1982年，美国加州理工学院物理学家Hopfield提出了HNN神经网络模型，对神经网络理论的发展产生了深远的影响。他引入了“能量函数”的概念，使得网络稳定性研究有了明确的判决，并应用与一些计算复杂度为NP完全型的问题，如著名的“巡回推销员问题（TSP）”。 1984年，Hinton等人对Hopfield模型引入模拟退火方法，提出了Boltzmann机模型。 1986年，Rumelhart提出了反向传播学习方法（BP算法），解决了多层前向神经网络的学习问题，证明了多层前向网络具有很强的学习能力。,4.1 引言,4.1.1 神经元模型,人工神经元：回顾历史,20,目前，神经网络的研究使得对多年来困扰计算机科学和符号处理的一些难题可以得到比较令人满意的解答，尤其在时空信息存贮、并行搜索、自组织记忆、时空数据统计描述的自组织等方面，有独特的能力。 随着神经网络的深入发展，必将带动其他学科的发展。,4.1 引言,4.1.1 神经元模型,人工神经元：回顾历史,21,连接权：模拟突触的连接强度 求和：模拟生物神经细胞的膜电位,人工神经元是对生物神经元的一种模拟与简化。,4.1 引言,4.1.1 神经元模型,人工神经元,22,偏置（阈值）影响下，神经元输入加权求值结果：,神经元的响应（输出）：,4.1 引言,4.1.1 神经元模型,23,图：激活函数,阈值型激活函数,s型激活函数,4.1 引言,4.1.1 神经元模型,24,目前，人工神经元网络模型的种类已经相当丰富，其中典型的有： 多层前向传播网络（BP神经网络） Hopfield神经网络 CMAC小脑模型 BAM双向联系记忆 SOM自组织网络 Blotzman机构网络 Madaline网络,4.1 引言,4.1.2 神经网络的模型分类,25,前向网络,神经元分层排列，组成输入层，隐含层（可以含多层），输出层。每一层的神经元只接收前一层神经元的输出。输入模式经过各层的顺次变换后，在输出层输出。,4.1 引言,4.1.2 神经网络的模型分类（网络结构）,26,前向网络的特点,从学习的观点来看，前馈网络是一种强有力的学习系统，其结构简单而易于编程； 从系统的观点看，前馈网络是一静态非线性映射，通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。,4.1.2 神经网络的模型分类,4.1 引言,27,反馈网络,反馈一般是从输出层到输入层，即每一个输入神经元都有可能接受来自外部的输入和来自输出神经元的反馈。 可用于动态时间序列过程的神经网络建模,4.1.2 神经网络的模型分类,4.1 引言,28,相互结合型网络,相互结合型网络属于网状结构，任意两个神经元之间都可能有连接。 信号会在神经元之间反复往返传递，网络处在一种不断改变状态的动态之中。从某种初态开始，经过若干次的变化，才会达到某种平衡状态，根据网络的结构和神经元的特性，还有可能进入周期振荡或其它如浑沌等平衡状态。,4.1.2 神经网络的模型分类,4.1 引言,29,混合型网络,混合型网络是层次型网络和网状网格的一种结合。 通过层内神经元的相互结合，可以实现同一层神经元之间的横向抑制或兴奋机制，这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。,4.1.2 神经网络的模型分类,4.1 引言,30,神经网络的重要性质：在环境中学习，并通过学习改善其行为。 （连接权值和阈值在不断的修改）,根据环境所激励信息的多少，神经网络的学习方式主要有三种： 有导师学习（Supervised Learning） 无导师学习（Unsupervised Learning） 再励学习（Reinforcement Learning）,4.1.3 神经网络的学习算法,学习方式,4.1 引言,31,神经网络 W,偏差,网络输出Yp,期望输出Tp,输入信号Xp,神经网络的输出和期望输出（即导师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。,有导师学习,4.1.3 神经网络的学习算法,4.1 引言,32,输入模式进入网络之后，网络按照一种预设的规则（如竞争规则）自动调整权值。,无导师学习,神经网络 W,网络输出Yp,输入信号Xp,4.1.3 神经网络的学习算法,4.1 引言,33