2人工神经网络基础知识.ppt

2人工神经网络基础知识 2 1人工神经网络的生物学基础 人的智能来自于大脑 大脑是由大量的神经细胞或神经元组成的 每个神经元可以看作为一个小的处理单元 这些神经元按照某种方式互相连接起来 构成了大脑内部的生物神经元网络 他们中各神经元之间连接的强弱 按照外部的激励信号作自适应变化 而每个神经元又随着接收到的多个激励信号的综合大小呈现兴奋或抑制状态 据现在的了解 大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程 大脑处理信息的结果确由神经元的状态表现出来 显然 神经元是信息处理系统的最小单元 虽然神经元的类型有很多种 但其基本结构相似 生物学中神经元结构如图所示 晶枝 胞体 人脑约由1 4 1011数量神经元和1014 1015个突触组成巨系统 神经元 即神经细胞 neuron 是由细胞体 body 树突 晶枝 dendrite 轴突 axon 和突触 synapse 四部分组成 每个细胞体都有一个细胞核在进行着呼吸和新陈代谢等许多生化过程 整个细胞的外部叫做细胞膜 从细胞体向外伸出许多树突和一条长的轴突 树突和轴突分别负责传入和传出兴奋或抑制信息到细胞体 树突 较短 分支很多 是信息的输入端 轴突 较长 是信息的输出端 突触 是一个神经元与另一个神经元相联系的特殊结构部位 突触包括突触前 成分 突触间隙和突触后 成分 三个部分 突触前 成分 是第一个神经元的轴突末梢部分 突触后 成分 是指第二个神经元的受体表面 突触前 成分 通过化学接触或者电接触 将信息传往突触后受体表面 第二神经元树突 实现神经元的信息传输 一个神经元的各树突和细胞体往往通过突触和大量的其他神经元相连接 从而靠突触把众多的神经元连成一个神经元网络 即一神经元树突和其它神经元轴突一一对接 突触连接相当于神经元间信息传递的输入与输出接口 每个神经元有103 105个突触 突触后电位的变化 其他神经元传来的信息 将对该神经元产生综合作用 即当这些突出后电位的总和超过某一阈值 threshold 时 该神经元便被激活 并产生脉冲 脉冲沿轴突向其他神经元传递 从而实现神经元之间信息的传递 单个神经元可以与多达上千个其他神经元的轴突末梢形成突触连接 接受从突触前各个轴突传来的脉冲输入 这些输入从不同部位输入给神经元 各输入的权重影响也不同 输入一个神经元的信息在时间和空间上常呈现一种复杂多变的形式 神经元需要对它们进行积累和整合加工 从而决定其输出的时机和强弱 整合 时间整合 空间整合 时间整合 各输入脉冲抵达神经元的先后时间不同 一个脉冲引起的突触后电位很小 但随着时间延续 另有脉冲到达 总的突触后电位就增大 空间整合 在同一时刻产生的刺激所引起的膜电位变化 大致等于各单独刺激引起的膜电位变化的代数和 这种累加求和称空间整合 生物神经元是在这两种整合综合下进行信息传递的 在人脑中 神经元间的突触联系大部分是在出生后 由于外界刺激而成长起来的 外界刺激性质不同 能够改变神经元之间的突触联系 正是由于各神经元之间的突触连接强度和极性可以有所不同 并且都可进行调整 因此人脑才可以有学习和存储信息的功能 神经元 抑制性 兴奋性两种 抑制性 神经元虽然接收到其他神经元传递的信息 但没有向外传递信息 该神经元称 抑制性 的 兴奋性 当一个神经元的树突接收的兴奋信息累计超过阈值 该神经元被激活并传递出信息给其他神经元 由多个生物神经元以确定方式和拓扑结构相互连接 即形成生物神经网络 它是一种灵巧 复杂的生物信息处理系统 宏观上呈现千变万化的复杂的信息处理能力 人脑最复杂的神经网络部分处于大脑最外层的大脑皮层 具有高度的分析和综合能力 是人脑思维活动的物质基础 生物学研究发现 人大脑皮层有 层神经细胞 即具有层次结构 2 人工神经元模型 人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程以反映人脑某些特性的计算结构 它不是人脑神经系统的真实描写 而只是它的某种抽象 简化和模拟 根据前面对生物神经网络的研究可知 神经元及其突触是神经网络的基本器件 因此 模拟生物神经网络应首先模拟生物神经元 在人工神经网络中 神经元常被称为 处理单元 有时从网络的观点出发常把它称为 节点 人工神经元是对生物神经元的一种形式化描述 它对生物神经元的信息处理过程进行抽象 并用数学语言予以描述 对生物神经元的结构和功能进行模拟 并用模型图予以表达 目前人们提出的神经元模型已有很多 其中最早提出且影响最大的 是1943年心理学家McCulloch和数学家W Pitts在分析总结神经元基本特性的基础上首先提出的M P模型 该模型经过不断改进后 形成目前广泛应用的形式神经元模型 关于神经元的信息处理机制 该模型在简化的基础上提出以下6点约定进行描述 1 每个神经元都是一个多输入单输出的信息处理单元 2 突触分兴奋性和抑制性两种类型 3 神经元具有空间整合特性和阈值特性 4 神经元输入输出间有固定的时滞 主要取决于突触延搁 5 忽略时间整合作用和不应期 6 神经元本身是非时变的 即其突触时延和突触强度均为常数 上述约定是对生物神经元信息处理过程的简化和概括 它清晰地描述了生物神经元信息处理的特点 而且便于进行形式化表达 通过上述假定 人工神经元的结构模型如图所示 人工神经元的数学模型描述 第j个神经元 接受多个其它神经元i在t时刻的输入xi t 引起神经元j的信息输出为yj t 式中wij 神经元i到j的突触连接系数 即加权值 j 神经元j的阈值 ij 输入 输出间的突触时延 f 神经元转移 激活 函数 为简单起见 将上式中的突触时延取为单位时间 则 式中netj j单元激活值 netj 其它各单元对第j个单元的输入 通过加权 按某种运算把输入信号的综合作用整合起来 给出它们的总效果称净输入 净输入整合表达应有多种方式 人们探索到的人脑空间整合方式近似为线性求和 即单元净输入表为 为简便起见 省去式中 t 而且常用向量表示 式中均为列向量 若令 至此 人工神经元数学模型可简化为 看到 人工神经元模型较全面表现了前述 点约定 单输入多输出 显见 用突触的正负体现突触的 兴奋与抑制 净输入关系net 和阈值 表现了空间整合特性和阈值特性 y t 1 与x t 之间的单位时差表现了 突触延搁 没有考虑时间整合和不应期 权系数与时间无关 体现了神经元的 非时变 2 3人工神经元转移函数 神经元的各种不同数学模型的主要区别在于采用了不同的转移函数 从而使神经元具有不同的信息处理特性 而神经元的信息处理特性 网络拓补结构和网络学习方式是决定人工神经网络整体性能的三大要素 因此转移函数的研究具有重要意义 神经元的转移函数反映了神经元输出与其激活状态之间的关系 目前提出了多种 最常用的转移函数有以下几种形式 1 阈值型转移函数阈值型转移函数采用单位阶跃函数 也称硬限幅函数 用下式定义 具有这一作用方式的神经元称为阈值型神经元 这是神经元模型中最简单的一种 经典的M P模型就属于此类 硬限幅函数也可采用符号函数 如图 用下式定义 2 非线性转移函数 常用的是单极性sigmoid函数 简称S函数 函数本身及其导数都连续 处理上十分方便 变化范围是0 1 如图所示 用下式定义 有时也采用双极性S型函数 双曲正切函数tanh x 其变化范围是 1 1 如图所示 其表达式为 3 分段线性转移函数该函数的特点是神经元的输入与输出在一定区间内满足线性关系 如图所示 用下式表达 有时也采用如图的分段线性函数 4 概率型转移函数 采用概率型转移函数的神经元模型其输入与输出之间的关系是不确定的 需要用一个随机函数来描述输出状态的概率 如 设神经元输出为1的概率为 式中T称温度参数 采用这种转移函数的神经元输出状态分布的典型代表是Boltzmann机 还有许多转移函数的数学模型 不一一介绍 2 4人工神经网络模型 大量神经元组成庞大的神经网络 才能实现对复杂信息的处理与存储 并表现出各种优越的特性 神经网络的强大功能与其大规模并行互连 非线性处理以及互连结构的可塑性密切相关 因此必须按一定规则将神经元连接成神经网络 并使网络中各神经元的连接权按一定规则变化 生物神经网络由数以亿计的生物神经元连接而成 而人工神经网络限于物理实现的困难和为了计算简便 是由相对少量的神经元按一定规律构成的网络 人工神经元网络要显示出人脑的某些的基本特征 1 分布存储和容错性 2 大规模并行处理 3 自学习 自组织和自适应 4 大量神经元群体行为 表现出复杂非线性系统特性 人们对网络模型做了大量研究 目前人工神经网络的模型很多 已有近百种 可以按照不同的方法进行分类 按网络性能可分 连续性和离散性 确定性和随机性网络 按学习方式可分 有导师和无导师学习方式网络 常见的分类方法 按网络连接的拓扑结构分类和按网络内部的信息流向分类 如按网络内部的信息流向分类 前馈 向 型网络和反馈型网络 2 4 1网络拓扑结构类型网络拓扑结构的不同表现为神经元之间连接方式的不同 根据神经元之间的连接方式 可将神经网络结构分为层次型结构和互连型结构两大类 层次型结构层次型结构的神经网络将神经元按功能分成若干层 如输入层 中间层 也称为隐层 和输出层 各层顺序相连 如图所示 输入层各神经元负责接受来自外界的输入信息 并传递给中间各隐层神经元 隐层是神经网络的内部信息处理层 负责信息变换 根据信息变换能力的需要 隐层可设计为一层或多层 最后一个隐层传递到输出层各神经元的信息经进一步处理后即完成一次从输入到输出的信息处理 由输出层向外界 如执行机构或显示设备 输出信息处理结果 层次型网络结构有3种典型的结构形式 1 单纯层次型网络结构 神经元分层排列 各层神经元接受前一层输入并输出到下一层 层内神经元自身以及神经元之间不存在连接通路 单纯层次型网络结构 2 层内有互连的层次型网络结构 这种结构的特点是在同一层内引入神经元间的侧向作用 使得能同时激活的神经元个数可控 以实现各层神经元的自组织 3 输出层到输入层有连接的层次型网络结构 输出层到输入层有连接路径 其输入层神经元既可接受输入 也具有信息处理功能 互连型结构对于互连型网络结构 网络中任意两个节点之间都可能存在连接路径 因此可以根据网络中节点的互连程度将互连型网络结构细分为全互连型网络 局部互连型网络 稀疏连接型网络3种情况 1 全互连型网络 每个节点均与所有其他节点连接 2 局部互连型网络 3 稀疏连接型网络节点只与少数相距较远的节点相连 每个节点只与其邻近的节点有连接 2 4 2网络信息流向类型从神经网络内部信息传递方向来分 可分为两种类型 前馈型网络和反馈型网络 2 4 2 1前馈型网络单纯前馈型网络的结构特点前述的分层网络完全相同 前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名 从信息处理能力看 网络中的节点可分两种 一种是输入节点 只负责从外界引入信息后向前传递给第一隐层 另一种是具有处理能力的节点 包括各隐层和输出层节点 前馈型网络中一层的输出是下一层的输人 信息的处理具有逐层传递进行的方向性 一般不存在反馈环路 因此这类网络很容易串联起来建立多层前馈网络 前馈 向 网络特点 1 层次关系清楚每个神经元只与前一层神经元相连 隐层可多层 2 反馈关系基本前馈网络无反馈关系 隐层自身互联 形成同层神经元之间横向抑制机制 大多自组织竞争型网络都采用此种 输出到输入层有反馈 对复杂图形的顺序选择和识别字符需要此类网络 3 属有导师学习型网络 输出值 教师信号 误差 实现权值自适应 4 属于非线性映射网络 当提到具有单层计算神经元的网络时 指的应是一个两层前馈网络 输入层和输出层 当提到具有单隐层的网络时 指的应是一个三层前馈网络 输入层 隐层和输出层 2 4 2 2反馈型网络反馈网络是指其信息流向的特点 在反馈网络中所有节点都具有信息处理功能 而且每个节点既可以从外界接受输入 同时又可以向外界输出 一般来说 互连型网络结构属于反馈型网络 上面介绍的分类方法 结构形式和信息流向只。