智能控制基础第14章 竞争网络.ppt

第14章 竞争网络 14.1 目的第3章所介绍的Hamming网络，展示了一种 用神经网络进行模式识别的技术，这种技术需要 事先知道原模型并且将原型模式以权值矩阵的行 和网络相结合本章将讨论一些在结构上以及操作上都与 Hamming网络极为相似的网络14.2 理论和实例 Hamming网络是竞争网络中最简单的例子 它的输出层神经元相互竞争以确定胜者胜者将 指出哪一种原型模式最能代表输入模式这种竞 争是通过在输出层神经元之间一组负连接（即侧 向抑制）来实现的早在1959年，Frank Rosenblatt就创造了一种 简单的“自发”分类器，这是种基于感知机的无监 督的神经网络这种网络能够学会将输入的矢量 分类成数目大致相等的两类在20世纪60年代后期及70年代早期，Stephen Grossberg引入了许多使用侧向抑制而产生良好 效果的竞争网络1973年，Christoph von der Malsburg引入了一 种自组织的学习规则，这种规则使得相邻的神经 元对相似的输入产生反应他这种网络的拓扑结 构以某些方式模仿David Hubel和 Torten Wiesel 过去所发现的猫的视觉皮层的结构。

他的学习规 则引起了人们极大的兴趣，但是这种学习规则使 用一种非局部计算以保证权值是归格化的这使 得它在生物学上缺少合理性在本章我们集中讨论Kohonende竞争框架， 他的模型体现了竞争网络的主要特征，而且也比 Grossberg的网络在数学上更易处理这些网络 为竞争学习提供了良好的说明我们将从简单的竞争网络开始然后将结合网 络拓扑结构讲解自组织特征图最后将讨论学习 向量量化它将竞争和有监督的学习框架结合起 来14.2.1 Hamming网络既然本章所讨论的竞争网络与Hamming网络( 见图14-1)紧密相关，所以先回顾一下Hamming 网络的一些主要概念Hamming网络由两层组成第一层将 输入向量与原型向量联系起来第二层采 用竞争方式决定哪种原型向量最接近输入 向量 1.第一层从第3章知道， Hamming网络一个神经元 只能够识别一种模式为了能够识别多种 模式，就必须有多种神经元假设要让网络识别以下原型向量： 第一层的权值矩阵为 ，偏置向量 是矩阵 的每一行都代表我们想要识别的一种原型 向量， 的每个元素都设为等于每个输入向量的 元素个数R（神经元个数S等于将识别的原型向量 的个数Q）。

第一层的输出是注意：第一层的输出等于原型向量与输入的内积 再加上R正如我们在第3章3.2.3节讨论的那样 ，这些内积表明原型向量与输入向量之间的接近 程度2.第2层第二层是竞争层这一层的神经元用前馈 层的输出初始化，这些输出指明了原型模 型与输入向量的相互关系然后神经元相 互竞争以确定胜者竞争过后，只有一个 神经元有非零输出获胜的神经元指明输 入属于哪类（每个原型向量代表一个类） 第一层的输出 用来初始化第二层： 然后第二层的输出用如下递规关系更新：第二层的权值矩阵 的对角线元素都被设为1， 不再对角线上的元素，设为某个小的负数：横向抑制 这个矩阵产生横向抑制，即每个神经元的输 出都将对所有其他的神经元产生一种抑制作用 为了说明这种效果，用1和 的权值代入 中合 适的元素每次迭代，每个神经元的输出都会随着所有 其他神经元输出的和按比例下降（最小的输出为 0）初始状态最大的神经元比起其他神经元的 输出降得慢一些最终这个神经元将成为惟一一 个有正值输出的神经元这时网络已达到了稳定 状态第二层神经元中有稳定正值输出的神经元 是和输入匹配得最好的原型向量的那个神经元14.2.2 竞争层竞争 Hamming网络的第二层的神经元激活自己 而抑制所有其他神经元，这就叫做竞争。

为了简化本章余下部分的讨论，我们将定义 一个传输函数，来作一个递归竞争层所做的工作 ：它找到最大净输入的神经元的下标，并将其 输出设置为1所有其他的输出都设置为0用一个作用于第一层的竞争传输函数代替 Hamming网络的递归层，将简化此章的讨论竞 争层如图14-2所示正如Hamming网络那样，原型向量存储于W 矩阵的每行之中，净输入n计算输入向量p和原每 个原型 之间的矩离（假设向量归格化长度为L ）每个神经元i的净输入ni和p与原型向量 之 间的夹角 成正比：竞争传输函数对权值向量与输入向量方向最 为接近的神经元的输出指定为1：1.竞争学习我们希望有一个学习规则，在不知道原型向量的情 况下用来训练竞争网络的权值其中一个这样的 学习规则是第13章讨论的instar规则：对于竞争网络：a只对竞争获胜神经元是非零的 因此产生Kohonen规则如下：而因此，权值矩阵中最接近输入向量的行（或 者与输入向量有最大内积的行）向输入向量移动 它沿着权值矩阵原有行与输入向量之间的连线 移动，如图14-3所示现在用图14-4的6个向量来演示竞争层如何学习 分类向量6个向量为：我们的竞争网络有3个神经元，因而它可以将向 量分成3类。

下面是“随机”选择的规格化初始权值 ：数值向量如图14-5所示，其中权值向量用箭 头表示我们将p2提交给网络：第2个神经元的权值向量与p2最接近，因而它竞 争获胜 ，且输出为1现在应用Kohonen 学习规则，其中学习速度 Kohonen学习规则将 已接近至 ， 正如图14-6所示如果不断随机选择输入 向量并且将它们输入网络，那么每次迭代 与输入向量最近的权值向量与将会向输入 向量移动最终每个权值向量将指向输入 向量的不同簇每个权值向量会变成不同 的簇的原型向量 这个问题足够简单，以至能够预计哪个 权值向量将指向哪个簇最终的权值向量 将会如图14-7种所示一旦神经网络学会了如何将输入向量分类， 那么对于新向量它也将同样分类，如图14-8所示 阴影表示每个神经元将作出响应的区域竞争 层通过使权值向量最接近输入向量p的神经元的 输出为1为每个输入向量p指定给这些类中的一个 2.竞争层中存在的问题竞争网络能够进行有效的自适应分类，但它 仍存在一些问题第一个问题就是学习速度的选 择使得不得不在学习速度和最终权值向量的稳定 性之间进行折中（见图14-9）。

一个接近0的学 习速度意味着慢速的学习然而，一旦权值向量 到达一个簇的中心，它将保持在中心附近相反，接近1.0的学习速度将导致快速学习 然而，一旦权值向量到达一个簇它将作为它所 代表的簇中的不同向量来回震荡（见图14-10） 有时这种在快速学习和稳定性之间的折中能够 带来好处初始训练对于快速学习可以用大的学 习速度来完成然后学习速度可以随着训练的进 程而逐渐减少，以达到稳定的原型向量令人遗 憾的是如果网络需不断地对输入向量的新排列作 出调整的话，这种技术就不起作用了当簇彼此很靠近的时候，一种更为严重的稳定 性问题产生了在特定的情况下，一个形成某簇 原型的权值向量会“侵入”另一个权值向量的领地 ，从而破坏目前的分类状况图14-11中的4个图说明了这个问题两个输入向量 （图（a）中用空心圆圈表示）被提交了几次 结果是代表中间和右边簇的权值向量移向了右边 最后右边簇的一个向量被中心权值向量重新分 类进一步的提交向量使中间向量移向右边，直 到它“丢失”了一些它的向量才停止，这些丢失的 向量成为左边权值向量所代表的类的一部分第三个问题是有时一个神经元的初始权值向量 离输入向量太远以至于它从未在竞争中获胜，因 此从来也得不到学习。

这将产生一个毫无用处的“ 死”神经元例如图14-12无论以什么次序把向量 提交给网络，向下指的那个权值向量永远都得不 到学习这个问题的一个解决办法是给每个神经元的 净输入加入一个负的偏置值每次那个神经元竞 争获胜则将偏置值减少这将使一个经常竞争获 胜的神经元获胜的机会减少这种机制有时叫做“ 良心”最终，一个竞争层有多少个神经元，就能够 有多少个类这对于某些应用将无法适用，尤其 在事先并不知道簇的个数的时候此外，对于竞 争层，每个类在输入空间之中都含有一个凸区域 当在非凸区域或类是由不连接的区域所组成的 时候，竞争层不能形成类14.2.3 生物学意义上的竞争层在生物的神经网络中，神经元的典型情况是排 列成二维层次，它们通过横向反馈密集地联结在 一起图14-13展示了以二维网络形式组织的25 个神经元通常权值是联结的神经元之间的距离的函数 例如， Hamming网络第二层的权值定义如下 （14.19）等式（14.20）与等式（14.19）定义了同样的 值，只是基于神经元之间的距离 图14-14展示了等式（14.20）或式（14.19） 所定义的权值。

每个神经元i都标以权值 ，即从 它到神经元j的权值加强中心/抑制周围 加强中心/抑制周围常被 用来描述如下神经元之间的一种联结方式：每个 神经元加强自身（中心），并且同时抑制周围的 神经元这是生物学竞争层中的一种天然的近似在生物 学中，大神经元不仅加强自己，同时也加强接近 它的那些神经元一般情况下，随着神经元之间 的距离增加，从加强到抑制的转变是平滑地出现 的§ 墨西哥草帽函数 这种转变见图14-15中的左图 这是一种将神经元之间的距离与连接他们的权 值相联系起来的函数那些近似的神经元提供互 相加强的连接，并且激励的幅度随着距离的增加 而降低超过一定距离，神经元将呈现一种抑制 性联结，并且抑制随着距离的增加而增加因为 这个函数的形状，它被称为墨西哥草帽函数 § 图14-15中的右图是墨西哥草帽（加强中心/ 抑制周围）函数的一个二维图示，每个神经元i都 被标以符号及表示它到神经元j的权值的相对强度 § 生物竞争系统，除了在加强中心/抑制周围的 联结模式下，从激励区域到抑制区域的转变是渐 变以外，还是一种相对于Hamming网络的“胜者 全得”竞争较为弱的竞争形式。

§ 生物网络通常不是单个神经元（竞争获胜者）活 跃，而是在最为活跃的神经元的周围有活跃区 这部分是由于加强中心/抑制周围的联结方式以及 非线性的反馈联结引起的14.2.4 自组织特征图§ SOFM网络 邻域 为了模仿生物学系统的活 跃区，并且不必实现非线性的加强中心/抑制周围 的反馈联结， Kohonen作了如下的简化设计自 组织特征图（SOFM）网络首先使用竞争层所用 的同一过程来决出获胜的神经元 ；然后，在获 胜神经元周围一定范围内的所有神经元的权值向 量用Kohonen规则更新，§ 其中邻域 包含所有落在以获胜神经元 为 中心，半径为d的所有神经元的下标：当向量p被提交，获胜神经元的权值和其邻域 内的神经元的将向p移动结果是多次提交结束 之后，邻域内的神经元将通过学习而拥有彼此相 像的学习向量为了展示邻域的概念，请考虑图14-16种的两 幅图左边的说明围绕神经元13，半径为1 的二 维邻域；右边的图表示半径为2的邻域这两个邻域的定义如下：§ 我们必须提及的是SOFM中的神经元不必排列成 二维的形式，一维或者三维甚至多维的排列都是 可能的对于一维的SOFM，神经元在半径为1时 只有2个邻域（当该神经元位于线之端点时只有 一个邻域）。

当然也可以用不同的方法来定义距 离，例如Kohonen为了更有效地实现曾建议使用 矩形或六边形的邻域神经网络的性能对邻域的 确切形状并不敏感 § 现在我们演示SOFM神经网络是如何工作的图 14-17表示一个特征图以及其神经元的二维拓扑 结构§ 图14-18展示了特征图的初始权值向量，每个三 元素权值向量都用。