神经网络理论及应用.docx

神经网络理论及应用哈尔滨理工大学 朱建良神经网络是起始于二十世纪四十年代，发展于二十世纪八十年代，应用于二十世纪九十年代的一个研究领域它是模拟人脑的思维、结构和智能的一门新兴学科神经网络理论的应用已经渗透到各个领域，并在智能控制、模式识别、计算机视觉、自适应滤波和信号处理、非线性优化、自动目标识别、连续语音识别、声纳信号的处理、知识处理、传感技术与机器人、生物医学工程等方面取得了令人鼓舞的进展美国加州大学伯克莱分校前校长田长霖教授于 2000年 7 月，在接受东南大学授予他名誉教授的仪式上，发表了一篇激情洋溢的演讲，他提到了美国二十一世纪的三个科研主攻方向为：信息科学、生物科学、纳米科学由此可见神经网络所具有的理论价值、现实意义及其发展前景在这门课程中，由于学时所限，我们仅介绍神经网络的基本模型、 BP 算法、 Hopfield 神经网络、细胞神经网络等基础内容1 课程时数： 40 学时2 考试方式：考查（考试）3 授课方法：讲授与自学及查阅文献相合4 参考文献：（ 1）宿延吉等，神经网络理论及应用东北林业大学出版社， 1993（ 2）王永骥等，神经元网络控制机械工业出版社，1998（ 3）吴简彤等，神经网络技术及其应用。

哈尔滨工程大学出版社，1998（ 4）焦李成，神经网络的应用与实现西安电子科技大学出版社，1996第一章绪论§1.1生物神经元模型1神经元的结构122_ 4人的大脑大约由10个神经元组成，而其中每个神经元又与约 10 ~10个神经元相连接, 从而构成了一个庞大而又复杂的神经网络系统神经元是大脑处理信息的基本单元，它的结构如图1—1所示 它以细胞体为主，有许多向周围延伸的不规则树支状纤维构成的神经细胞，其形状很像一根枯树主要有细胞体、 树突、轴突和突触组成细胞体不仅是神经元新陈代谢的中心，还是接受与处理信息的部件树突是细胞体向外 延伸的树枝状纤维体，是神经元的输入通道，接受来自其他神经元的信息轴突是细胞体向 外延伸的最长、最粗的一条树支纤维体，是神经元的输出通道一个神经元的神经末梢与另 一个神经元的树突或细胞体的接触处称为突触，是神经元之间传递信息的输入输出接口每 个神经元约有103~104个突触2神经元的功能神经元作为控制和信息处理的基本单元，有下述功能：(1)时空整合功能：神经元对于不同时间通过同一突触传入的神经冲动，具有时间整合功能；对于同一时间通过不同突触传入的神经冲动，具有空间整合功能；两种功能相互结合，具有 时空整合的输入信息处理功能。

2)兴奋与抑制状态：神经元具有两种常规工作状态：兴奋一一当传入冲动的时空整合结果，使细胞膜电位升高，超过动作电位的阀值(约为 40mV)时，细胞进入兴奋状态，产生神经冲 动，由轴突输出；抑制一一当传入冲动的时空整合结果，使得细胞膜电位下降至低于动作电 位阀值时，细胞进入抑制状态，无神经冲动输出满足“0—1”律3)具有脉冲与电位转换：突触界面具有脉冲/电位转换功能沿神经纤维传导的电脉冲为等 幅(约60~100 mV)、恒宽、编码的离散脉冲信号，而细胞膜电位的变化为连续的电位信号 在突触接口处进行的“数/模”转换，是通过神经介质以量子化学方式实现的变换过程4)神经纤维传导速度：神经冲动沿神经纤维传导速度在 1~150m/s之间它随纤维的粗细、 髓鞘的有无而不同有髓鞘的粗纤维，其传导速度在100m/s以上；无髓鞘的细纤维传导速度可低于每秒数米5)突触延时和不应期：突触对神经冲动的传递具有延时一般为0.3~1ms在两个相邻冲动之间需要一个时间间隔，即为不应期，约 3~5 ms在此期间，对激励不响应，不能传递神经 冲动6)学习、遗忘和疲劳：由于结构的可塑性，即突触传递信息的强度是可变的，有增强、减 弱和饱和，所以细胞具有相应的学习功能、遗忘或疲劳效应(饱和效应)。

3人脑神经网络系统生物神经网络是由许多神经元相互连接而成的其连接形式主要有:(1)幅散式；(2)聚合式；(3)连锁式；(4)环式；如图1—2所示4人脑神经网络信息处理的特点(1)分布存储与冗余性信息在神经网络中是分布存储于大量的神经元之中的；一个事物的信息不只是对应于一个神经元的状态进行记忆，而是分散到许多神经元中进行记忆而且每 个神经元实际上存储着多种不同信息的部分内容在分布存储的内容中，有许多是完成同一 功能的，即网络具有冗余性网络的冗余性导致网络的存储具有容错性2)并行处理 这里并行处理的含义不同于目前的并行处理机，它不是简单的“以空间的复杂性来换取时间的快速性”，而是反映了不同的操作机理神经网络既是处理器，又是存储器 信息处理与存储合一3)可塑性与自组织性在大脑中，神经元之间的突触连接， 虽然其基本部分是先天就有的即由遗传所决定的，但大脑皮层的大部分突触连接是后天由环境的激励逐步形成的它随环 境激励性质的不同而不同能形成和改变神经元之间的突触连接的现象称为可塑性由于环 境的刺激，形成和调整神经元之间的突触连接，并逐渐构成神经网络的现象，称为神经网络 的自组织性4)鲁棒性 网络的高连接度意味着一定的误差和噪声不会使网络的性能恶化，即网络具有 鲁棒性。

大脑神经网络的鲁棒性对于智能演化可能是一个十分重要的因素§1.2生物神经网络的模型化——人工神经网络1人工神经元模型神经元是神经网络的基本处理单元，一般是一多输入/单输出的非线性器件， 其结构模型如图1—3所示其中，x.j =1,2，…，n）为输入信号；wj为神经元j到i的连接权系数，是模拟突触传递强度的一个比例系数；汇表示突触后信号的空间累加;9 i表示神经元的阀值； f表示神经元的响应函数该模型的数学表达式为:(1 — 1)x = f(u)根据响应函数的不同,(1)阀值单元人工神经元有以下几种类型: 如图1—4a所示X :: 0(1 — 3)(2)线性单元如图1 —4b所示f (x) = X(1—4)(3)非线性单元常用响应函数为S型（Sigmoid）函数，如图1—4c所示f(x)1 e"(1 — 5)(1 — 6)(1 — 2)上述模型能反映生物神经元的基本特性，但还有如下不同之处：①生物神经元传递的信息是脉冲，而上述模型传递的信息是模拟电压②模型只有空间累加而没有时间累加③模型未考虑时延、不应期和疲劳虽然现代技术可以建立更为精确的模型，但一般神经网络研究无此必要2人工神经网络模型根据人工神经网络对生物神经系统的不同组织层次和抽象层次的模拟，神经网络模型可分为：（ 1 ） 神经元层次模型 ：研究工作主要集中在单个神经元的动态特性和自适应特性，探索神经元对输入信息有选择的响应和某些基本存储功能的机理，如 Adaline （自适应线性元件） ；（ 2 ） 组合式模型： 它由数种相互补充、相互协作的神经元组成，用于完成某些特定的任务，如模式识别、机器人控制等。

3 ） 网络层次模型： 它由许多相同神经元相互连接成的网络，从整体上研究网络的集体特性，如 HNN 模型 4 ） 神经系统层次模型 ：一般由多个不同性质的神经网络构成，以模拟生物神经的更复杂或更抽象的性质，如自动识别、概念形成、全局稳定控制等 5 ） 智能型模型： 这是最为抽象的层次， 多以语言形式模拟人脑信息处理的运行、 过程、算法、和策略这些模型试图模拟如感知、思维、问题求解等基本过程目前已有近40 种神经网络模型，其中具有代表性的有：． 自适应共振理论（ ART ） ：包括 ART1 和 ART2 ，可以对任意复杂二维模式进行自组织、自稳定和大规模并行处理前者用于二进制输入，后者用于连续信号输入主要用于模式识别（雷达、声纳的信号识别） 缺点是对转换、失真及规模变化较敏感． 雪崩网络 ：主要用于学习、识别和重演时空的网络如连续语言识别和教学机器人缺点是调试较为困难． 双向联想记忆（ BAM ） ：由相同神经元构成的双向联想单层网络，具有学习功能缺点是存储度低且需要编码． BP ：它是多层映射网络，采用最小均方差的学习方式，是使用最广泛的网络，可用于语言综合、语言识别、自适应控制等，缺点是仅为有导师学习。

Blotzman机/Cauchy机（BCM ）:这是使用一个噪声过程来取代代价函数的全局极小值的网络，主要用于模式识别；缺点是训练时间长，且有噪音盒中脑（BSB）模型：这是具有最小均方差的单层自联想网络，可用于从数据库中提取知识，缺点是仅为单步决策． Counter Propagation （ CPNN ） ：这是一种在功能上作为最优化概率密度函数分析的网络，用于图像分析和统计分析，缺点是需大量的处理单元和连接高度准确． Hopfield 神经网络： 它是由相同元件构成的单层的且不带学习功能的自联想网络； 缺点是连接需要对称和没有学习功能． Madaline ：这是具有最小方差学习功能的线性网络，它的学习功能较强，是Adaline 的扩展，主要用于自适应控制，缺点是I/O 仅为线性关系． 学习矩阵（LRN ） ：它是一单层单向非递归 AM 网络． 神经认知机：它是一多层结构化识别网络，缺点是需大量的处理单元和连接． 感知机 ：这是一组可训练的线性分类单层网络，目前以很少使用． 自组织映射（ SOM ） ：描述某种最优映射，缺点是需要高度训练． 细胞神经网络（ CNN ） ：单层连续神经网络，主要用于模式识别。

文字识别与噪声控制 等． 交替投影神经网络（ APNN ） ：应用凸集投影的概念，在向量空间中建立模型可用于模式识别3 神经网络的信息处理能力神经网络的信息处理能力包括： （ 1）网络的存储能力，即在一个有N 个神经元的神经网络中， 可存储多少个位的信息？ （ 2 ） 网络的计算能力， 即神经网络能够有效地计算哪些问题？4人工神经网络的结构大脑神经网络系统之所以具有思维认识等高级功能，是由于它是由无数个神经元相互连 接而构成的一个极为庞大而复杂的神经网络系统人工神经网络也是一样，单个神经元的功 能是很有限的，只有用许多神经元按一定规则连接构成的神经网络才具有强大功能1)前向网络(2)有反馈的前向网络(3)层内互连的前向网络(4)互连网络如图1 —5所示5人工神经网络的学习规则神经网络的拓扑结构确定之后，为了使它具有某种智能特性，还必须有相应的学习方法 与之配合，甚至可以说，学习方法是人工神经网络研究中的核心问题由于网络的结构和功能不同，学习方法也是多种多样的下面介绍一些基本的通用的学 习规则1) Hebb学习规则 它是由Donall Hebb根据生理学中的条件反射机理，于 1949年提 出的关于神经元连接强度变化的规则。

其内容为：如果两个神经元同时兴奋 (即同时被激活)，则它们之间的突触连接加强用vi,vj表示神经元i,j的输出(激活值)，wj表示两个神经元之间的连接权，Hebb学习规则可以表示为△wj MCtviVj(1-7)这里1a表示学习速率Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的 学习规则都可以看作为Hebb学习规则的变形2) 6学习规则又称误差校正规则，是用已知样本作为教师对网络进行学习设[X k, Y k](k =1,2,…，p)为输入输出样本。