kohonen神经网络.ppt

KohonenKohonen神经网络神经网络 组长：陈永兴组长：陈永兴 组员：李文采组员：李文采 刘娇刘娇 陈爽陈爽23背景背景n在生物神在生物神经系系统中，存在着一种中，存在着一种侧抑制抑制现象，即象，即一个神一个神经细胞胞兴奋以后，会以后，会对周周围其他神其他神经细胞胞产生抑制作用生抑制作用这种抑制作用会使神种抑制作用会使神经细胞之胞之间出出现竞争，其争，其结果是某些果是某些获胜，而另一些，而另一些则失失败表表现形式是形式是获胜神神经细胞胞兴奋，失，失败神神经细胞抑胞抑制nkohonen神神经网网络就是模就是模拟上述生物神上述生物神经系系统功能功能的人工神的人工神经网网络4nkohonen神神经网网络是一种无是一种无监督学督学习，具有自，具有自组织功能的神功能的神经网网络网络通通过自身的自身的训练，能自，能自动对输入模式入模式进行分行分类自组织竞争型神争型神经网网络的的结构及其学构及其学习规则与其他神与其他神经网网络相比有自己的相比有自己的特点n在网在网络结构上，它一般是由构上，它一般是由输入入层和和竞争争层构成构成的两的两层网网络。

两两层之之间各神各神经元元实现双向双向连接，接，而且网而且网络没有没有隐含含层有时竞争争层各神各神经元之元之间还存在横向存在横向连接5n在学在学习算法上，它模算法上，它模拟生物神生物神经元之元之间的的兴奋、、协调与抑制、与抑制、竞争作用的信息争作用的信息处理的理的动力学原理力学原理来指来指导网网络的学的学习与工作，而不像大多数神与工作，而不像大多数神经网网络那那样是以网是以网络的的误差或能量函数作差或能量函数作为算法的准算法的准则n竞争型神争型神经网网络构成的基本思想是网构成的基本思想是网络的的竞争争层各神各神经元元竞争争对输入模式响入模式响应的机会，最后的机会，最后仅有有一个神一个神经元成元成为竞争的争的胜者这一一获胜神神经元元则表示表示对输入模式的分入模式的分类6kohonen神神经网网络的典型的典型结构构竞争层竞争层输入层输入层kohonen概念与原理概念与原理7分分类——分分类是在是在类别知知识等等导师信号的指信号的指导下，将待下，将待识别的的输入模式分配到各自的模入模式分配到各自的模式式类中去聚聚类——无无导师指指导的分的分类称称为聚聚类，聚，聚类的目的是将相似的模式的目的是将相似的模式样本划本划归一一类，而将，而将不相似的分离开不相似的分离开。

竞争学习的概念竞争学习的概念8 相似性度量相似性度量＿＿欧式距离法欧式距离法两个模式向量的欧式距离越小，两个向两个模式向量的欧式距离越小，两个向量越接近，因此认为这两个模式越相似量越接近，因此认为这两个模式越相似，当两个模式完全相同时其欧式距离为，当两个模式完全相同时其欧式距离为零如果对同一类内各个模式向量间的零如果对同一类内各个模式向量间的欧式距离作出规定，不允许超过某一最欧式距离作出规定，不允许超过某一最大值大值T T，则最大欧式距离，则最大欧式距离T T就成为一种聚就成为一种聚类判据，同类模式向量的距离小于类判据，同类模式向量的距离小于T T，，两类模式向量的距离大于两类模式向量的距离大于T T9• 相似性测量＿相似性测量＿余弦法余弦法两个模式向量越接近，其夹角越小，两个模式向量越接近，其夹角越小，余弦越大当两个模式向量完全相同余弦越大当两个模式向量完全相同时，其余弦夹角为时，其余弦夹角为1 1如果对同一类如果对同一类内各个模式向量间的夹角作出规定，内各个模式向量间的夹角作出规定，不允许超过某一最大夹角不允许超过某一最大夹角a a，则最大，则最大夹角就成为一种聚类判据同类模式夹角就成为一种聚类判据。

同类模式向量的夹角小于向量的夹角小于a a，两类模式向量的，两类模式向量的夹角大于夹角大于a a余弦法适合模式向量长余弦法适合模式向量长度相同和模式特征只与向量方向相关度相同和模式特征只与向量方向相关的相似性测量的相似性测量10n1981年芬年芬兰Helsink大学的大学的T.Kohonen教授提出教授提出一种自一种自组织特征映射网，特征映射网，简称称SOM网，又称网，又称Kohonen网nKohonen认为：一个神：一个神经网网络接受外界接受外界输入模入模式式时，将会分，将会分为不同的不同的对应区域，各区域区域，各区域对输入模式具有不同的响入模式具有不同的响应特征，而且特征，而且这个个过程是程是自自动完成的自自自自组织组织特征映射特征映射特征映射特征映射正是根据正是根据这一看一看法提出来的，其特点与人法提出来的，其特点与人脑的自的自组织特性相特性相类似kohonen神经网络神经网络11( (1)初始化初始化 对输出层各权向量赋小随机数并进行归一化对输出层各权向量赋小随机数并进行归一化处理，得到处理，得到 ，，j=1,2,…m；建立初始优胜邻域；建立初始优胜邻域Nj*(0)；学；学习率习率  赋初始值。

赋初始值2)接受输入接受输入 从训练集中随机选取一个输入模式并进行从训练集中随机选取一个输入模式并进行归一化处理，得到归一化处理，得到 ，，p {1,2,…,P}3)寻找获胜节点寻找获胜节点 计算计算 与与 的点积，的点积，j=1,2,…m，从中选出点积最大的获胜，从中选出点积最大的获胜节点节点j*Kohonen 学习算法（胜者全取）学习算法（胜者全取）12(4)定义优胜邻域定义优胜邻域Nj*(t) 以以j*为中心确定为中心确定t 时刻的权值调整域，时刻的权值调整域，一般初始邻域一般初始邻域Nj*(0)较大，训练过程中较大，训练过程中Nj*(t)随训练时间逐随训练时间逐渐收缩13(5)调整整权值 对优胜邻域域Nj*(t)内的所有内的所有节点点调整整权值：： i=1,2,…n j Nj*(t) 式中，式中， 是是训练时间t 和和邻域内第域内第j 个神个神经元与元与获胜经元元 j* 之之间的拓扑距离的拓扑距离N 的函数，的函数，该函数一般有以下函数一般有以下规律：律：(6)输出出结果果 获胜节点点为1，其他，其他节点点为0；；14(7)结束检查结束检查 学习率是否衰减到零或某个预定的正小数学习率是否衰减到零或某个预定的正小数16K ohonen学学习习算算法法程程序序流流程程kohonen神经网络应用。