第十一部分小脑模型CMAC神经网络.ppt

第十一章第十一章 小脑模型（小脑模型（CMACCMAC）） 神经网络神经网络 北京科技大学北京科技大学北京科技大学北京科技大学   信息工程学院信息工程学院信息工程学院信息工程学院付冬梅付冬梅付冬梅付冬梅fdm2003@  62334967第十一章第十一章 小脑模型（小脑模型（CMACCMAC）） 神经网络神经网络 CMAC CMAC网络的基本思想与结构模型网络的基本思想与结构模型 CMACCMAC网络的工作原理网络的工作原理 CMACCMAC算法的程序语言描述算法的程序语言描述 CMACCMAC网络的泛化能力网络的泛化能力 CMACCMAC网络的几个问题网络的几个问题 仿真示例仿真示例 生物学研究表明，人脑在人体运动中起到维持躯体平衡、生物学研究表明，人脑在人体运动中起到维持躯体平衡、调节肌肉紧张程度、协调随意运动等功能因此，模拟人的调节肌肉紧张程度、协调随意运动等功能因此，模拟人的小脑结构与功能无疑是脑的宏观结构功能模拟的重要组成部小脑结构与功能无疑是脑的宏观结构功能模拟的重要组成部分。

早在分早在19751975年，年，AlbusAlbus便根据神经生理学小脑皮层结构特便根据神经生理学小脑皮层结构特点提出的一种小脑模型关联控制器点提出的一种小脑模型关联控制器(Cerebellar Model (Cerebellar Model Articulation Controller)Articulation Controller)，简称，简称CMACCMAC网络经过多年的研究，网络经过多年的研究，其中包括其中包括Miller, ParksMiller, Parks和和WongWong等人的杰出工作，目前等人的杰出工作，目前CMACCMAC已得到人们越来越多的重视已得到人们越来越多的重视CMACCMAC是一种局部逼近网络，是一种局部逼近网络，算法基于算法基于LMS(LMS(最小均方最小均方) )，学习速度快，具有局域泛化，学习速度快，具有局域泛化(generalization)(generalization)能力，避免了能力，避免了BPBP网络的局部最优问题，且易网络的局部最优问题，且易于硬件实现这些优点使得于硬件实现这些优点使得CMACCMAC网络非常适合用于复杂系网络非常适合用于复杂系统的建模和快速辨识。

统的建模和快速辨识11-1 CMAC11-1 CMAC网络的基本思想与结构模型网络的基本思想与结构模型  人的小脑是通过一些神经纤维束跟脑干相联，并进一人的小脑是通过一些神经纤维束跟脑干相联，并进一步同大脑、脊髓发生联系人主要靠小脑管理运动功能，步同大脑、脊髓发生联系人主要靠小脑管理运动功能，它通过小脑皮层的神经系统从肌肉、四肢、关节、皮肤等它通过小脑皮层的神经系统从肌肉、四肢、关节、皮肤等接受感觉信息，并感受反馈信息，然后将这些获得的信息接受感觉信息，并感受反馈信息，然后将这些获得的信息整合到一特定的区域整合到一特定的区域——“存储器存储器”记忆起来当需要的时记忆起来当需要的时候，将这些存储器储存的信息取出来，作为驱动和协调肌候，将这些存储器储存的信息取出来，作为驱动和协调肌肉运动的指令肉运动的指令——控制信号控制信号: :当感受信息和反馈信息出现差当感受信息和反馈信息出现差异时，便通过联想加以调整，从而达到运动控制的目的，异时，便通过联想加以调整，从而达到运动控制的目的，这一过程便是学习这一过程便是学习 11-1 CMAC11-1 CMAC网络的基本思想与结构模型网络的基本思想与结构模型  Albus Albus根据小脑在生物运动协调方面的重要作用，提出了根据小脑在生物运动协调方面的重要作用，提出了CMACCMAC网络，其结构模型如图网络，其结构模型如图4.14.1所示：所示：11-1 CMAC11-1 CMAC网络的基本思想与结构模型网络的基本思想与结构模型 图图 11-1  CMAC结构结构 CMAC CMAC是前馈网，结构见图是前馈网，结构见图11-2 ，有，有两个基本映射，表两个基本映射，表示输入输出之间的非线性关系。

示输入输出之间的非线性关系yAC＋＋U输入空间输入空间杂散编码杂散编码AP(W)输出输出输入向量输入向量图图 11-2 CMAC结构结构11-2 CMAC 11-2 CMAC 网络的工作原理网络的工作原理 11-2-1 概念映射（概念映射（U——>AC）） yAC＋＋U输入空间杂散编码AP(W)输出输入向量图2-7-1 CMAC结构11-2-2 实际映射（实际映射（AC——>AP）） 11-2-3.11-2-3.杂散存储杂散存储 §若输入是若输入是n n维，每一维有维，每一维有q q个量化级，则个量化级，则ACAC占很大容量但是，训占很大容量但是，训练样本不可能遍历所有输入空间，在练样本不可能遍历所有输入空间，在C C中被激励的单元是很稀疏的中被激励的单元是很稀疏的§杂散存储杂散存储：可将：可将ACAC压缩到较小的压缩到较小的APAP中§有多种方法，有多种方法，“除余数法除余数法”是其中较好的一种是其中较好的一种§杂散存储弱点：杂散存储弱点：产生碰撞产生碰撞( (冲突冲突) )即即ACAC中多个联想单元，被映射到中多个联想单元，被映射到APAP的同一单元的同一单元( (见图见图) )，这意味着，这意味着信息的丢失信息的丢失。

c）邻近两点输入重叠单元）邻近两点输入重叠单元=3,有碰撞有碰撞（（b）邻近两点输入重叠单元）邻近两点输入重叠单元=3,无碰撞无碰撞那么那么CMACCMAC是怎样实现上述各种映射的？碰撞的原因？是怎样实现上述各种映射的？碰撞的原因？下面通过一个具体示例来说明（见板书）下面通过一个具体示例来说明（见板书）11-3 CMAC11-3 CMAC算法及程序语言描述算法及程序语言描述 11-3-1 11-3-1 学习算法学习算法学习算法学习算法 CMAC为为有导师的学习算法有导师的学习算法 设单输出，给定输入设单输出，给定输入 /输出样本对输出样本对 （（导师信号导师信号 ）：）：udPp/，，Lp,, 2 , 1L= 由由d规则调整权值：规则调整权值：DwtdytsjppjpP( )(( ))([])=-huR2 其中其中 　　RuPjjcpsc221===å([])将将2PR代入得代入得 Dwtdytcetcjppp( )(( ))( )=-=hh可见可见：：c 个单元权值的调整量是相同的个单元权值的调整量是相同的 11-3-2 11-3-2 学习算法分析学习算法分析学习算法分析学习算法分析 CMAC的学习算法与自适应线性神经元的相同。

但，因有的学习算法与自适应线性神经元的相同但，因有重叠、碰撞，故对学习算法及收敛性，需予以分析（重叠、碰撞，故对学习算法及收敛性，需予以分析（讨论单讨论单输出输出）q  分析算法分析算法　　　　      Gauss-Seidel迭代法迭代法;          Jacobi迭代法迭代法q  分析情况、结论分析情况、结论 （（1））   输入样本有重叠，杂散编码输入样本有重叠，杂散编码无碰撞无碰撞    若若重叠少，解收敛重叠少，解收敛 （（2））   输入样本有重叠，杂散编码输入样本有重叠，杂散编码有碰撞有碰撞　　 因因碰撞，收敛速度降低、收敛性态变坏、也可能不收敛碰撞，收敛速度降低、收敛性态变坏、也可能不收敛11-3 CMAC11-3 CMAC算法及程序语言描述算法及程序语言描述 0 0次接收域函数例次接收域函数例次接收域函数例次接收域函数例（（b））邻邻近近两两点点输入重叠单元输入重叠单元=3,无碰撞无碰撞（ a）） 一一 维维c=4c=41（c））邻邻近近两两点点输输入入重重叠叠单单元元=3,有碰撞有碰撞11-3 CMAC11-3 CMAC算法及程序语言描述算法及程序语言描述11-4 CMAC11-4 CMAC网络的泛化能力网络的泛化能力 最早进行泛化理论研究的是Amaril，他认为泛化是将输入集中样本点的给定邻域映射到输出集中映射点(与样本点对应)的某一邻域。

由此可见，泛化能力除了由精度决定外，还取决于映射方式和输入的量化级所以多层感知器的泛化能力是极其有限的，实践也证明了这点而CMAC神经网络是在对小脑进行神经解剖生理学研究的基础上提出的，它被证明具有局域泛化能力 CMAC网络中，若两个输入向量相距较近，则它们所触发的神经元有重叠，距离越近，重叠越多；若两个输入向量相距较远，则它们触发的神经元没有重叠因此CMAC网络具有局域泛化能力，它的泛化能力源自于它的网络结构本身 影响CMAC泛化精度的主要因素有:训练精度、泛化常数和样本点的选择，但其结论还显得相对简单 11-4-1 CMAC11-4-1 CMAC网络泛化指标网络泛化指标11-4 CMAC11-4 CMAC网络的泛化能力网络的泛化能力 对于一个神经网络来说，泛化能力越强，意味着经样本点训练后，对于样本点附近非样本点(即测试点)的输入，网络输出与期望输出间的误差越小设测试点序列 ,对应的期望输出为 CMAC输出为 , 则可用测试点的误差平方和： 作为指标，来衡量网络整体泛化性能的优越 越小，则意味着网络泛化能力越强。

11-4 CMAC11-4 CMAC网络的泛化能力网络的泛化能力11-4-211-4-2 CMACCMAC参数对网络性能的影响参数对网络性能的影响1.CMAC网络的结构本身保证了对于训练样本点邻域内的测试点具有一定的泛化能力2.在训练样本采样精度不变的条件下，量化精度越高，CMAC网络整体泛化性能越好，但随着量化精度的提高，CMAC学习收敛要求的最小泛化常数值随之增大3.在训练样本采样精度和网络量化精度保持不变的条件下，在一定范围内，泛化常数的增加可以提高CMAC网络整体的泛化性能，但当泛化常数增大到一定程度后，它的变化不再影响网络泛化性能4.在训练样本采样精度和网络量化精度保持不变的条件下，CMAC泛化常数存在一个相对最优值，可保证样本点和测试点误差都较小5.为保证CMAC收敛，应避免采用网络量化精度小于训练样本采样精度的参数配置训练网络6.提高训练样本采样精度，可提高CMAC网络整体泛化性能，但同时必须保证，网络量化精度要等于或大于样本采样精度11-4 CMAC11-4 CMAC网络的泛化能力网络的泛化能力11-4-3 11-4-3 样本训练顺序对样本训练顺序对CMACCMAC网络性能的影响网络性能的影响 下面分四种情况以CMAC网络逼近复杂的“海底深度”函数为例，研究训练样本学习次序的变化对CMAC网络性能的影响。

其中 为标准差为0.05的随机误差 将 等间距取64个点，即样本采样间隔和网络量化间距均约为0.15625, 泛化常数 取4, 物理存储单元数取400(=100 ), 最大训练次数设为500实验选取了四种不同的训练顺序： 三种样本训练顺序三种样本训练顺序  格雷码(英文：Gray Code，又称作葛莱码，二进制循环码)是1880年由法国工程师Jean-Maurice-Emlle Baudot发明的一种编码，是一种绝对编码方式，典型格雷码是一种具有反射特性和循环特性的单步自补码，它的循环、单步特性消除了随机取数时出现重大误差的可能，它的反射、自补特性使得求反非常方便函数真实值如下图所示 11-4 CMAC11-4 CMAC网络的泛化能力网络的泛化能力11-4-3 11-4-3 样本训练顺序对样本训练顺序对CMACCMAC网络性能的影响网络性能的影响函数真实值图先后顺序仿真图先后顺序仿真图 串联顺序仿真图 格雷码顺序仿真图 样本训练的顺序对小脑模型神经网络的训练结果是有影响的。

训练时样本间跨度(或坐标变化)较大的那些点网络学习效果较差，因此在样本输入训练过程中，应尽量让样本按照邻近且连续的顺序学习 1 1）） CMACCMAC的逼近原理：用分段超平面，拟合非线性超曲面的逼近原理：用分段超平面，拟合非线性超曲面2 2）） 因是局部网络，每次学习调整的权数为因是局部网络，每次学习调整的权数为c c个，故学习速个，故学习速 度快，不存在局部极小度快，不存在局部极小3 3）） 泛化能力与泛化能力与c c有关，有关，c c增大，泛化能力增强相近的输入，增大，泛化能力增强相近的输入，有相近的输出（有相近的输出（ 在无碰撞情况下）在无碰撞情况下）4 4）） 决定网络性能的主要参数：泛化常数决定网络性能的主要参数：泛化常数c c；相邻输入间的重；相邻输入间的重叠程度；输入的量化级影响到逼近精度、泛化能力和叠程度；输入的量化级影响到逼近精度、泛化能力和学习速度学习速度5 5）） 为提高量化分辨率和泛化能力，需增加存储容量它随为提高量化分辨率和泛化能力，需增加存储容量它随输入维数的增加而增加输入维数的增加而增加11-5 CMAC11-5 CMAC网络的几个问题网络的几个问题6 6）） 高阶高阶CMACCMAC：为提高逼近精度，也可提高接收域函数：为提高逼近精度，也可提高接收域函数的阶次，若下图的阶次，若下图2 2为为0 0次接收域函数，高阶次接收域函数，高阶CMACCMAC用用1 1次接收次接收域函数，见下图。

域函数，见下图11-5 CMAC11-5 CMAC网络的几个问题网络的几个问题例例 11-111-1 用用 CMAC 逼近函数逼近函数)360/2sin()(uufdp==11-6 11-6 仿真示例仿真示例CMAC 逼近sin函数例例11-1 演示演示Sin函数输入、输出样本杂散编码杂散编码无冲撞无冲撞杂散编码无冲撞：c=6 b=5 学习0次杂散编码无冲撞：c=6 b=5 学习1次杂散编码无冲撞：c=6 b=5 学习2次杂散编码无冲撞：c=6 b=5 学习3次杂散编码无冲撞：c=6 b=5 学习4次杂散编码无冲撞：c=6 b=5 学习5次杂散编码无冲撞：c=6 b=5 学习6次杂散编码无冲撞：c=6 b=5 学习7次杂散编码无冲撞：c=6 b=5 学习8次杂散编码无冲撞：c=6 b=5 学习9次杂散编码无冲撞：c=6 b=5 学习10次杂散编码无冲撞：c=6 b=5 学习10次杂散编码杂散编码有有冲撞冲撞杂散编码有冲撞：c=6 b=5 学习0次杂散编码有冲撞：c=6 b=5 学习1次杂散编码有冲撞：c=6 b=5 学习2次杂散编码有冲撞：c=6 b=5 学习3次杂散编码有冲撞：c=6 b=5 学习4次杂散编码有冲撞：c=6 b=5 学习5次杂散编码有冲撞：c=6 b=5 学习6次杂散编码有冲撞：c=6 b=5 学习7次杂散编码有冲撞：c=6 b=5 学习8次杂散编码有冲撞：c=6 b=5 学习9次杂散编码有冲撞：c=6 b=5 学习10次杂散编码有冲撞：c=6 b=5 学习10次杂散编码有冲撞：c=6 b=5 学习10次杂散编码有、无冲撞无冲撞 输入输出样本 有冲撞无冲撞 学习0 次 有冲撞无冲撞 学习1 次 有冲撞无冲撞 学习2 次 有冲撞无冲撞 学习3 次 有冲撞无冲撞 学习4 次 有冲撞无冲撞 学习5 次 有冲撞无冲撞 学习6 次 有冲撞无冲撞 学习7 次 有冲撞无冲撞 学习8 次 有冲撞无冲撞 学习9 次 有冲撞无冲撞 学习10 次 有冲撞无冲撞 学习10 次 有冲撞例例11-2 用用CMAC逼近非线性函数。

逼近非线性函数a））（（b）） （（c）） （（d）） （（e））例例11-2CMAC 逼近非线性函数 演示演示非线性函数输入样本二维输入样本二维输出样本一维输出样本一维杂散编码杂散编码无冲撞无冲撞杂散编码无冲撞：c=6 b=5 学习0次杂散编码无冲撞：c=6 b=5 学习1次杂散编码无冲撞：c=6 b=5 学习2次杂散编码无冲撞：c=6 b=5 学习3次杂散编码无冲撞：c=6 b=5 学习4次杂散编码无冲撞：c=6 b=5 学习5次杂散编码无冲撞：c=6 b=5 学习6次杂散编码无冲撞：c=6 b=5 学习7次杂散编码无冲撞：c=6 b=5 学习8次杂散编码无冲撞：c=6 b=5 学习9次杂散编码无冲撞：c=6 b=5 学习10次杂散编码无冲撞：c=6 b=5 学习10次杂散编码杂散编码有冲撞有冲撞杂散编码有冲撞：c=6 b=5 学习0次杂散编码有冲撞：c=6 b=5 学习1次杂散编码有冲撞：c=6 b=5 学习2次杂散编码有冲撞：c=6 b=5 学习3次杂散编码有冲撞：c=6 b=5 学习4次杂散编码有冲撞：c=6 b=5 学习5次杂散编码有冲撞：c=6 b=5 学习6次杂散编码有冲撞：c=6 b=5 学习7次杂散编码有冲撞：c=6 b=5 学习8次杂散编码有冲撞：c=6 b=5 学习9次杂散编码有冲撞：c=6 b=5 学习10次杂散编码有冲撞：c=6 b=5 学习10次杂散编码有、无冲撞无冲撞 输入样本 有冲撞无冲撞 学习0次 有冲撞无冲撞 学习1次 有冲撞无冲撞 学习2次 有冲撞有冲撞 学习3次 无冲撞无冲撞 学习4次 有冲撞无冲撞 学习5次 有冲撞无冲撞 学习6次 有冲撞无冲撞 学习7次 有冲撞无冲撞 学习8次 有冲撞无冲撞 学习9次 有冲撞无冲撞 学习10次 有冲撞本章结束，谢谢大家！本章结束，谢谢大家！。