第一章神经网络概述教材课程.ppt

1单击此处编辑母版标题样式单击此处编辑母版副标题样式神经网络导论 连捷 大连理工大学电信学院 E-mail: 第一章 神经网络概述第二章 神经网络基础 第三章 前馈神经网络第四章 反馈神经网络 第五章 支持向量机第六章 自组织竞争神经网络 第七章 神经网络辨识与控制教学安排2第一章 神经网络概述1.1智能的概念1.2 神经经网络络的基本概念1.3 人工神经经网络络研究的历历史1.4 神经经网络络研究的意义义1.5 人工神经经网络络的应应用领领域1.6 人工神经经网络络与自动动控制1.7 小结结参考书书目3人工智能n人工智能（Artificial Intelligence，简记为AI）最初在1956年被引入它研究怎样让计算机模仿人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题n研究人工智能的目的 模拟人的智能，将人类从复杂的脑力劳动中解脱出来5人工神经网络从以下四个方面去模拟人的智能行为1. 1. 物理结构 人工神经元将模拟生物神经元的功能2. 2. 计算模拟 人脑的神经元有局部计算和存储的功能，通过连接构成一个系统人工神经网络中也有大量有局部处理能力的神经元，也能够将信息进行大规模并行处理3.3.存储与操作 人脑和人工神经网络都是通过神经元的连接强度来实现记忆存储功能，同时为概括、类比、推广提供有力的支持4.4. 训练 同人脑一样，人工神经网络将根据自己的结构特性，使用不同的训练、学习过程，自动从实践中获得相关知识61.2 神经经网络络的基本概念什么是神经网络？n由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。

n一种由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及其各单元的处理方式n是一种旨在模仿人脑结构及其功能的信息处理系统71.2 神经经网络络的基本概念神经网络的优点n神经网络的计算能力有以下优点：大规模并行分布式结构神经网络学习能力以及由此而来的泛化能力泛化是指神经网络对不在训练（学习）集中的数据可以产生合理的输出81.2 神经经网络络的基本概念神经网络的性质和能力n非线性 人工神经网络可以是线性的也可以是非线性的，一个由非线性神经元组成的神经网络自身是非线性的n输入输出映射 每个样本由一个惟一的输入信号和相应期望响应组成从一个训练集中随机选取一个样本给网络，网络就调整它的突触权值（自由参数），以最小化期望响应和由输入信号以适当的统计准则产生的实际响应之间的偏差91.2 神经经网络络的基本概念神经网络的性质和能力n适应性 神经网络具有调整自身突触权值以适应外界变化的能力nVLSI(超大规模集成)实现 神经网络的大规模并行性使它具有快速处理某些任务的潜在能力，适用于VLSI技术实现n神经生物类比 神经网络是由对人脑的类比引发的，可以用神经生物学来作为解决复杂问题的新思路10神经网络的一般框架结构 图中每一个圆圈代表一个神经元（也称处理单元或节点node），每个节点之间通过相互连接形成一个网络拓扑。

这个拓扑的模式称为神经网络的互联模式 神经网络以外的部分（虚线方框以外的部分）统称为神经网络的环境 11神经网络的分类n从结构分类 前馈神经网络(Feedforward Neural Network) 反馈神经网络(Feedback Neural Network)n从学习方式分类 有教师学习 无教师学习12有教师学习n事先有一批正确的输入输出数据对，将输入数据加载到网络输入端后，把网络的实际响应输出与正确（期望的）输出相比较得到误差n根据误差的情况修正各连接权，使网络朝着正确响应的方向不断变化下去n直到实际响应的输出与期望的输出之差在允许范围之内，这种学习方法通称为误差修正算法典型的有误差反向传播(Back Propagation, 简写为BP)算法13无教师学习n自组织学习 使网络具有某种“记忆”能力，以至形成“条件反射”当曾经学习过的或相似的刺激加入后，输出端便按权矩阵产生相应的输出如自组织映射(Self Organization Mapping, 简写为SOM)算法n无监督竞争学习 将处理单元划分为几个竞争块在不同的块之间有刺激连接，而同一块的不同节点之间有抑制连接，从而当外界对不同块的一个单元施加刺激后，将激活不同块中互联最强的一组单元，得到对该刺激的一个整体回忆。

返回141.3 人工神经经网络络的研究历历史 从19世纪末开始，神经网络的发展史可以分为四个时期：n启蒙时期（18901969）n低潮时期（19691982）n复兴时期（19821986）n高潮时期（1987 ） 从神经网络的发展历史可以看出它与神经生理学、数学、电子学、计算机科学以及人工智能学之间的联系15启蒙时期n1890年，美国心理学家William James发表了第一部详细论述人脑结构及功能的专著心理学原理(Principles of Psychology)，对相关学习、联想记忆的基本原理做了开创性研究n20世纪40年代，心理学家麦克洛奇(McCulloch)和数理逻辑学家皮兹(Pitts)从信息处理的角度出发，采用数理模型的方法对神经细胞的动作进行研究，提出了形似神经元的数学模型(M-P模型)，从此开创了神经科学理论的新时代16n1949年，心理学家赫布（Hebb）在行为构成（Organization of Behavior）一书中提出了连接权训练算法，即Hebb算法n1957年，罗森布兰特（Rosenblatt）提出了感知器（Perception）的概念，试图模拟人脑的感知学习能力。

n1962年，韦德罗（Widrow）和胡佛（Hoff）提出了自适应线性单元（Adaline），这是一个连续取值的线性网络启蒙时期17n1969年，人工神经网络的创始人之一明斯基（Minsky）和佩珀特（Papert）发表了感知器一书，对感知器的能力表示了怀疑态度，使神经网络的研究受到了影响，神经网络的研究从此走向低谷启蒙时期18低潮时期n1969年，美国学者格诺斯博格（Grossberg）和卡普特尔（Carperter）提出了自适应共振理论（ART）模型n1972年，芬兰学者克豪南（Kohonen）提出了自组织映射（SOM）理论n1979年，福岛邦彦（Fukushima）提出了认知机（Necognitron）理论 在此之后，神经心理学家安德森（Anderson）提出了BSB模型，韦伯斯（Webos）提出了BP理论，为神经网络的发展奠定了基础19复兴时期n1982年，美国物理学家Hopfield在美国科学院院刊上发表论文，提出Hopfield神经网络模型n1984年，Hopfield设计并研制了他提出的神经网络模型的电路，并指出网络中的每一个神经元可以用运算放大器来实现他同时进行了神经网络应用研究，成功解决了旅行商（TSP）问题，引起世人震惊。

这些成果使对神经网络的研究重新进入了一个新的兴盛时期20 Hopfield模型的动作原理是：只要由神经元兴奋的算法和神经元之间结合强度所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定，那么该状态就会一直变化下去，直到预先定义的一个必定减小的能量函数达到极小值时，状态才达到稳定而不再变化21新时期研究热点问题n理论方面 支持向量机和核方法(SVM and Kernel Methods) 图模型(Graphical Models) 统计学习方法(Statistical Learning Algorithm) 高斯过程（Gaussian Process) 泛化问题和模型选择(Generalization and Model Selection) 贝叶斯学习(Bayesian Learning) 递归神经网络(Recurrent Neural Networks)等 22n实际应用 图象处理(Image Processing) 人脸识别(Face Recognition) 语音信号处理(Voice Processing) 时间序列分析(Time Series Analysis) 机器人控制(Robot Control)等新时期研究热点问题23n2006年有42项研究课题n2005年有40项研究课题n2004年有32项研究课题n2003年有26项研究课题n2002年有26项研究课题n2001年有18项研究课题n2000年有20项研究课题n1999年有22项研究课题国家自然科学基金中的神经网络研究神经网络研究的比重逐年增加，已经引起越来越多的国内学者的关注，并成为信息学科的一个研究热点和重点。

24n1988年，Neural Networks创刊n1990年，IEEE Transactions on Neural Networks创刊 国际著名期刊25IEEE Trans. on Neural Networks26Neural Networks27著名学者Prof. Michael I. Jordan美国加州大学伯克利分校 获加州大学博士学位研究方向: 图模型、变分方法、机器学习等曾在麻省理工学院工作11年已发表200多篇科技论文国际上许多神经网络和机器学习方面的专家都曾师从Jordan教授，包括香港中文大学的徐雷教授28著名学者Prof. Bernhard Scholkopf德国Max Planck生物控制论研究院1997年获柏林科技大学博士学位研究方向: 机器学习、感知器、支持向量机和核方法Scholkopf教授是国际著名杂志Journal of Machine Learning Research、IEEE Trans. On Pattern Analysis and Machine Intelligence, 和International Journal of Computer Vision编辑委员会成员。

29著名学者Prof. Lawrence Saul加州大学圣地牙哥分校1994年获麻省理工学院博士学位研究方向：机器学习、模式识别、神经网络、语音处理等Saul教授的高维数据的分析方法和可视化、非线性维数化简已被应用于很多实际科学和工程领域他发表文章的引用率已经进入计算机科学的前1%，另外他也是著名国际期刊Journal of Machine Learning Research编委会成员和发起人之一 30著名学者Prof. Yoshua Bengio加拿大蒙特利尔大学1991年获加拿大麦基尔大学博士学位研究方向: 多层感知机、核方法、递归神经网络等Bengio教授是IEEE Transactions on Neural Networks、Journal of Machine Learning、Neural Computing Surveys的编委值得一提的是Bengio教授在1994年的一篇著名文章中逆转了递归神经网络梯度学习算法的研究方向，极大地影响了该网络的研究31著名学者Prof. Frank L. Lewis美国德克萨斯大学获美国乔治亚技术学院博士学位研究方向: 反馈系统控制、神经网络和模糊智能控制等现任德克萨斯大学自动化与机器人研究院副院长、IEEE Fellow、International Journal of Control、Neural Computing and Applications等期刊的编委。

他共获得超过6百万美元的资助，发表174篇杂志论文，285篇会议论文，12本专著 32著名学者Christopher M. Bishop微软剑桥研究院研究方向: 模式识别，基于推理 的概率方法和学习Bishop教授是美国电子学会关于应用神经计算中心的带头人，是剑桥大学达尔文学院的会士(Fellow)，不列颠计算机协会的会士(Fellow)和英国计算研究委员会成员2004年当选英国皇家工程院会士(Fellow)1995年曾出版著名专著Neural Networks for Pattern Reco。