第5讲-Hopfield-(1).ppt

第第5 5讲讲 霍普菲尔德网络霍普菲尔德网络       (Hopfield Network)智能控制理论及应用智能控制理论及应用第一部分第一部分 神经网络神经网络2021/6/71反馈网络反馈网络(Recurrent Network)u 反反馈馈网网络络，，又又称称自自联联想想记记忆忆网网络络，，其其目目的的是是为为了了设设计计一一个个网网络络，，储储存存一一组组平平衡衡点点，，使使得得当当给给网网络络一一组组初初始始值值时时，，网网络络通通过过自自行行运运行行而而最最终终收收敛敛到到这这个个设设计计的的平衡点平衡点上u反反馈馈网网络络能能够够表表现现出出非非线线性性动动力力学学系系统统的的动动态态特特性性它所具有的主要特性为以下两点：它所具有的主要特性为以下两点：第第一一、、网网络络系系统统具具有有若若干干个个稳稳定定状状态态当当网网络络从从某某一一初初始始状状态态开开始始运运动动，，网网络络系系统统总总可可以以收收敛敛到到某某一一个个稳稳定的平衡状态；定的平衡状态；第第二二、、系系统统稳稳定定的的平平衡衡状状态态可可以以通通过过设设计计网网络络的的权权值值而被存储到网络中而被存储到网络中。

2021/6/72常用反馈网络常用反馈网络反馈网络反馈网络(Recurrent Network)u Elman网络网络u Hopfield网络网络美美国国物物理理学学家家J.Hopfield于于1982年年首首先先提提出出的的它模拟生物神经网络的记忆机理它模拟生物神经网络的记忆机理2021/6/73第第5 5讲讲 霍普菲尔德网络霍普菲尔德网络(Hopfield Network)u离散离散Hopfield网络与联想记忆网络与联想记忆u连续连续Hopfield网络与优化计算网络与优化计算uHopfield网络的网络的Matlab仿真仿真(Discrete Hopfield Neural Network，，DHNN)(Continuous Hopfield Neural Network，，CHNN)2021/6/745.1   DHNN与联想记忆与联想记忆一、一、DHNN网络结构网络结构 z-1z-1z-12021/6/75一、一、DHNN网络结构网络结构 1）单层反馈网络）单层反馈网络2））所所有有神神经经元元的的输输出出延延时时一一个个单单位位时时间作为输入间作为输入。

3））网网络络的的外外部部输输入入为为作作为为初初始始状状态态，，对对外外输输出出为为稳稳定定状状态2021/6/76神经元的模型为神经元的模型为或或一、一、DHNN网络结构网络结构 DHNN神经元的状态是离散的神经元的状态是离散的2021/6/77二、二、DHNN的工作方式的工作方式（（1）异步方式或串行工作方式）异步方式或串行工作方式 在在某某一一时时刻刻只只有有一一个个神神经经元元改改变变状状态态，，而而其其余余神神经经元元的的输输出出保保持持不不变变，，这这一一变变化化的的神神经经元元可可以以按按照照随机方式或预定的顺序来选择随机方式或预定的顺序来选择例如，若选定的神经元为第例如，若选定的神经元为第i个，则有个，则有2021/6/78二、二、DHNN的工作方式的工作方式（（2）同步方式或并行工作方式）同步方式或并行工作方式 在在某一时刻所有神经元同时改变状态某一时刻所有神经元同时改变状态2021/6/79三、三、DHNN的稳定性定理的稳定性定理 如如果果网网络络从从任任一一初初始始状状态态开开始始变变化化，，存存在在某某一一有限时刻，从此以后有限时刻，从此以后网络状态不再变化网络状态不再变化，即，即则称网络是则称网络是稳定稳定的。

的若网络的状态若网络的状态x满足满足则称为网络的则称为网络的稳定点或吸引子稳定点或吸引子2021/6/710三、三、DHNN的稳定性定理的稳定性定理定定理理1 对对于于DHNN，，若若按按异异步步方方式式调调整整状状态态，，且且连连接接权权矩矩阵阵W对对称称且且对对角角线线元元素素非非负负，，即即wij=wji ，，wii>=0,则则对对于于任任意意初初态态，，网网络络都都最最终终收收敛敛到到一一个个吸吸引子定定理理2 对对于于DHNN ，，若若按按同同步步方方式式调调整整状状态态，，且且连连接接权权矩矩阵阵W为为非非负负定定对对称称阵阵，，则则对对于于任任意意初初态态，，网络都最终收敛到一个吸引子网络都最终收敛到一个吸引子2021/6/711三、三、DHNN的稳定性定理的稳定性定理 可可见见对对于于同同步步方方式式，，它它对对连连接接权权矩矩阵阵W的的要要求求更更高高了了，，若若不不满满足足W为为非非负负定定对对称称阵阵的的要要求求，，则则网网络可能出现自持震荡，即极限环络可能出现自持震荡，即极限环 由由于于异异步步工工作作方方式式比比同同步步工工作作方方式式有有更更好好的的稳稳定定性性能能，，实实现现时时较较多多采采用用异异步步工工作作方方式式。

异异步步工工作作方式的主要缺点是失去了神经网络并行处理的优点方式的主要缺点是失去了神经网络并行处理的优点 2021/6/712       联想记忆（联想记忆（Associative Memory，，AM）功能）功能是是DHNN的一个重要应用的一个重要应用 四、四、DHNN的联想记忆功能与权值设计的联想记忆功能与权值设计 在在Hopfield网网络络的的拓拓扑扑结结构构及及权权值值矩矩阵阵均均一一定定的的情况下，网络的情况下，网络的稳定状态将与其初始状态稳定状态将与其初始状态有关 也也就就是是说说，，Hopfield网网络络是是一一种种能能储储存存若若干干个个预预先先设设置置的的稳稳定定状状态态的的网网络络若若将将稳稳态态视视为为一一个个记记忆忆样样本本，，那那么么初初态态朝朝稳稳态态的的收收敛敛过过程程便便是是寻寻找找记记忆忆样样本本的的过过程程初初态态可可认认为为是是给给定定样样本本的的部部分分信信息息，，网网络络改改变变的的过过程程可可认认为为是是从从部部分分信信息息找找到到全全部部信信息息，，从从而而实实现现了联想记忆的功能了联想记忆的功能 2021/6/713 Hopfield网网络络没没有有与与之之相相关关的的学学习习规规则则。

它它的的权权值值不不被被训训练练，，也也不不会会自自己己学学习习它它的的权权值值矩矩阵阵是是事事前计算出来的前计算出来的 在在这这种种网网络络中中，，不不断断更更新新的的不不是是权权值值，，而而是是网网络络中中各各神神经经元元的的状状态态，，网网络络演演变变到到稳稳定定时时各各神神经经元元的的状状态便是问题的解态便是问题的解 权权值值设设计计的的目目的的：：使使任任意意输输入入矢矢量量经经过过网网络络循循环环最终收敛到网络所记忆的某个样本上最终收敛到网络所记忆的某个样本上四、四、DHNN的联想记忆功能与权值设计的联想记忆功能与权值设计2021/6/7141. 海布海布(Hebb)学习规则学习规则向量形式：向量形式： 当当 时：时：m m为为 样样 本本 数数 ；； α为为学学习习速速率率；；I I为为单单位位对对角角矩矩阵 假设需要存储的记忆样本有假设需要存储的记忆样本有四、四、DHNN的联想记忆功能与权值设计的联想记忆功能与权值设计2021/6/7151. 海布海布(Hebb)学习规则（外积和法）学习规则（外积和法）采用采用Hebb规则设计的权值，可以满足规则设计的权值，可以满足从而可以保证网络在从而可以保证网络在异步工作异步工作时收敛。

时收敛 若按同步工作时，网络或收敛或出现极限环若按同步工作时，网络或收敛或出现极限环缺点：给定样本不一定是网络的吸引子，需要样本缺点：给定样本不一定是网络的吸引子，需要样本满足一定的条件满足一定的条件四、四、DHNN的联想记忆功能与权值设计的联想记忆功能与权值设计2021/6/716设设样样本本维维数数为为n，，样样本本个个数数为为m，，则则根根据据Hebb规规则则设设计计的的DHNN，，实实现现样样本本均均为为吸吸引引子子的的充充分分条条件件（样本应满足的条件）（样本应满足的条件）为：为：（（1）若）若m个样本两两正交，则充分条件为个样本两两正交，则充分条件为（（2）若）若m个样本不是两两正交，则为个样本不是两两正交，则为四、四、DHNN的联想记忆功能与权值设计的联想记忆功能与权值设计2021/6/7172. 正交化的权值设计正交化的权值设计1)保证系统在异步工作时的稳定性；保证系统在异步工作时的稳定性；2)保保证证所所有有要要求求记记忆忆的的稳稳定定平平衡衡点点都都能能收收敛敛到到自自己；己；3)使使伪伪稳稳定定点点（（网网络络最最终终稳稳定定到到一一个个渐渐近近稳稳定定点点上上，，但但这这个个稳稳定定点点不不是是网网络络设设计计所所要要求求的的解解））的的数数目尽可能的少；目尽可能的少；4)使稳定点的吸引域尽可能的大。

使稳定点的吸引域尽可能的大四、四、DHNN的联想记忆功能与权值设计的联想记忆功能与权值设计2021/6/718    设设给给定定m个个样样本本向向量量 x(k)=(k=1,2,…,m) ，，首首先先组组成如下的成如下的n × (m-1) 阶矩阵阶矩阵对对A进行奇异值分解进行奇异值分解U是是n n正交阵，正交阵，V是是(m-1)× (m-1) 正交阵2. 正交化的权值设计正交化的权值设计2021/6/719则则 u1,u2,…,ur 是是对对应应于于非非零零奇奇异异值值σ1, σ2,…, σr 的的左左奇奇异异向向量量，，且且组组成成了了A的的值值域域空空间间的的正正交交基基；；ur+1,…,un 是是 A的值域的正交补空间的正交基的值域的正交补空间的正交基 按如下方法组成连接权矩阵按如下方法组成连接权矩阵W和阈值向量和阈值向量bU可表示成可表示成2. 正交化的权值设计正交化的权值设计2021/6/7202. 正交化的权值设计正交化的权值设计 虽虽然然正正交交化化设设计计方方法法的的数数学学设设计计较较为为复复杂杂，，但但与与外外积积和和法法相相比比较较，，所所设设计计出出的的平平衡衡稳稳定定点点能能够够保保证证收收敛到自己并且有较大的稳定域。

敛到自己并且有较大的稳定域在在MATLAB工具箱中已将此设计方法写进了函数工具箱中已将此设计方法写进了函数2021/6/721五、五、DHNN的权值设计及网络工作过程示例的权值设计及网络工作过程示例例例1  采采用用Hebb规规则则，，设设计计离离散散Hopfield网网络络，，判判断断样样本本是是否否均均为为吸吸引引子子，，并并考考察察这这两两个个吸吸引引子子的的吸吸引能力   两个样本为两个样本为2021/6/722解解 1）求连接权矩阵）求连接权矩阵五、五、 DHNN的权值设计及网络工作过程示例的权值设计及网络工作过程示例2021/6/723可见，两个样本可见，两个样本 均为网络的吸引子均为网络的吸引子不满足前面给出的充分条件，是否为吸引子需具体加不满足前面给出的充分条件，是否为吸引子需具体加以检验：以检验：2）判断样本是否为吸引子）判断样本是否为吸引子 两个样本不正交，根据第二种情况判断两个样本不正交，根据第二种情况判断2021/6/7243）考察两个吸引子的吸引能力（联想记忆的功能）考察两个吸引子的吸引能力（联想记忆的功能) )  显显然然它它比比较较接接近近x(1),用用异异步步方方式式按按1,2,3,4的的调调整整次次序来演变网络：序来演变网络：(1)可见，只需异步方式调整一步既收敛到可见，只需异步方式调整一步既收敛到 x(1) 。

即即2021/6/7253）考察两个吸引子的吸引能力（联想记忆的功能）考察两个吸引子的吸引能力（联想记忆的功能) )  显显然然它它比比较较接接近近x(2),用用异异步步方方式式按按1,2,3,4的的调调整整次次序来演变网络：序来演变网络：(2)可见，只需异步方式调整一步既收敛到可见，只需异步方式调整一步既收敛到 x(2) 即即2021/6/726(3)可见，此时可见，此时x(5)收敛到收敛到 x(2) 即即    它它与与 x(1) 和和x(2) 的的海海明明距距离离（（两两个个向向量量不不相相同同元元素素的的个个数数））均为均为2若按1,2,3,4的调整次序调整网络可得的调整次序调整网络可得即即2021/6/727若按若按3,4,1,2的调整次序调整网络可得的调整次序调整网络可得即即即即可见，此时可见，此时x(5)收敛到收敛到 x(1) 2021/6/728下面对该例应用同步方式进行计算，仍下面对该例应用同步方式进行计算，仍取取x(0)为为x(3)，， x(4)，， x(5) 三种情况三种情况1)可见，可见， x(3)收敛到收敛到 x(1) 2021/6/729(2)可见，可见， x(4)收敛到收敛到 x(2) 。

2021/6/730(3)     可可见见，，它它将将在在两两个个状状态态间间跳跳跃跃，，产产生生极极限限环环为为2的的自自持持振振荡荡若若根根据据前前面面的的稳稳定定性性分分析析，，由由于于此此时时连连接接权权矩阵矩阵W不是非负定阵，所以出现了振荡不是非负定阵，所以出现了振荡    因因为为网网络络有有四四个个节节点点，，所所以以有有24=16个个状状态态（（阈阈值值取取0）），，其其中中只只有有以以上上两两个个状状态态 x(1) 和和x(2)是是稳稳定定的的，，其其余余状状态态都都会会收收敛敛到到与与之之邻邻近近的的稳稳定定状状态态上上，，所所以以说说这这种种网络具有一定的纠错能力网络具有一定的纠错能力2021/6/731    为为了了能能实实现现联联想想记记忆忆，，对对于于每每一一个个吸吸引引子子应应该该有一定的吸引范围，这个吸引范围便称为吸引域有一定的吸引范围，这个吸引范围便称为吸引域 对对于于异异步步方方式式，，对对同同一一个个状状态态，，若若采采用用不不同同的的调调整整次次序序，，有有可可能能弱弱吸吸引引到到不不同同的的吸吸引引子子若若存存在在一一个个调调整整次次序序可可以以从从x x演演变变到到吸吸引引子子x x(a)(a)，，则则称称x x弱弱吸吸引引到到x(a) ；；若若对对于于所所有有的的调调整整次次序序，，都都可可以以从从x演演变变到吸引子到吸引子x(a)，则称，则称x强吸引到强吸引到x(a) 。

   对对于于同同步步方方式式，，由由于于无无调调整整次次序序问问题题，，所所以以相相应应的吸引域也无强弱之分的吸引域也无强弱之分1. 吸引域吸引域六、若干相关概念六、若干相关概念2021/6/732 所所谓谓记记忆忆容容量量是是指指：：在在网网络络结结构构参参数数一一定定的的条条件件下下，，要要保保证证联联想想功功能能的的正正确确实实现现，，网网络络所所能能存存储储的的最最大的样本数大的样本数 也也就就是是说说，，给给定定网网络络节节点点数数n，，样样本本数数m最最大大可可为为多多少少，，这这些些样样本本向向量量不不仅仅本本身身应应为为网网络络的的吸吸引引子子，，而而且且应应有有一一定定的的吸吸引引域域，，这这样样才才能能实实现现联联想想记记忆忆的的功功能  2. DHNN的记忆容量（的记忆容量（Memory Capacity））五、若干相关概念五、若干相关概念2021/6/733五、若干相关概念五、若干相关概念3. 伪状态（伪状态（Spurious States））       伪伪状状态态是是指指除除记记忆忆状状态态之之外外网网络络多多余余的的稳稳定定状状态。

态2021/6/7345.2 Hopfield 网络的网络的Matlab仿真仿真2021/6/735Net=Newhop（（T））Matlab工具箱函数工具箱函数T为目标向量，即存储在网络中的目标平衡点为目标向量，即存储在网络中的目标平衡点1  设计一个具有两个神经元的设计一个具有两个神经元的DHNN2  设计一个具有三个神经元的设计一个具有三个神经元的DHNNT=[1 -1;-1 1]T=[1 1;-1 1;-1 -1]5.2 Hopfield 网络的网络的Matlab仿真仿真2021/6/7365.3 CHNN与优化计算与优化计算 CHNN主要用于优化计算主要用于优化计算       若若将将稳稳态态与与某某种种优优化化计计算算的的目目标标函函数数相相对对应应，，并并作作为为目目标标函函数数的的极极小小点点那那么么初初态态朝朝稳稳态态的的收收敛敛过过程程便便是是优优化化计计算算过过程程该该优优化化计计算算是是在在网网络络演演变变过程中自动完成的过程中自动完成的2021/6/737一、一、CHNN网络结构网络结构2021/6/738一、一、CHNN网络结构网络结构  这这里里，，假假定定wij=wji ，，它它与与离离散散的的Hopfield网网络络相相比比，，这这里里多多了了中中间间一一个个式式子子，，该该式式是是一一阶阶微微分分方方程程，，相相当当于于一一阶阶惯惯性性环环节节，，si是是该该环环节节的的输输入入，，yi是该环节的输出。

是该环节的输出 神经元模型为神经元模型为2021/6/739f(·)函数一般取函数一般取S形函数形函数                它们都是连续的单调上升的函数它们都是连续的单调上升的函数2021/6/740连续连续Hopfield网络的电路模型网络的电路模型Hopfield利利用用模模拟拟电电路路设设计计了了一一个个连连续续Hopfield网网络络的的电电路路模模型型下下图图表表示示了了其其中中由由运运算算放放大大器器电电路路实实现现的的一个节点的模型一个节点的模型2021/6/741其中其中经整理得经整理得可以列出如下的电路方程：可以列出如下的电路方程：若令若令2021/6/742可可以以看看出出，，连连续续Hopfield网网络络实实质质上上是是一一个个连连续续的的非非线线性性动动力力学学系系统统，，它它可可用用一一组组非非线线性性微微分分方方程程来来描描述述当当给给定定初初始始状状态态 ，，通通过过求求解解非非线线性性微微分分方方程程组组可可求求的的网网络络状状态态的的运运动动轨轨迹迹若若系系统统是是稳稳定定的，则它可最终可收敛到一个稳定状态。

的，则它可最终可收敛到一个稳定状态则上式化为则上式化为式中式中 f(.)常用常用Sigmoid函数：函数：2021/6/743 若若用用图图示示的的硬硬件件来来实实现现，，则则这这个个求求解解非非线线性性微微分分方方程程的的过过程程将将由由该该电电路路自自动动完完成成，，其其求求解解速速度度是是非非常常快的 用运算放大器构造的连续型用运算放大器构造的连续型Hopfield网络网络2021/6/744二、二、 稳定性分析稳定性分析定义连续定义连续Hopfield网络能量函数为网络能量函数为由由于于              或或              ，，因因此此上上述述定定义义的的能能量量函函数数E是是有有界界的的，，因因此此只只需需证证得得                 ，，即即可可说说明明系统是稳定的系统是稳定的2021/6/745当当2021/6/746前前面面已已假假设设              是是单单调调上上升升函函数数，，显显然然它它的的反函数反函数                    为单调上升函数，即有为单调上升函数，即有根根据据李李雅雅普普诺诺夫夫稳稳定定性性理理论论，，该该网网络络一一定定是是渐渐近近稳稳定定的的。

即即随随着着时时间间的的演演变变，，网网络络状状态态总总是是朝朝E减减小小的的方方向向运运动动，，一一直直到到E取取得得极极小小值值，，这这时时所所有有的的xi变为常数，也即网络收敛到稳定状态变为常数，也即网络收敛到稳定状态因而有因而有（所有（所有xi均为常数时才取等号）均为常数时才取等号）2021/6/747稳定性定理稳定性定理对对于于连连续续Hopfield网网络络，，若若网网络络对对称称（（wij=wji）），，且神经元功能函数为连续单调递增函数，则有且神经元功能函数为连续单调递增函数，则有且上式等号成立的充要条件为且上式等号成立的充要条件为2021/6/748 在在应应用用连连续续型型Hopfield网网络络解解决决实实际际问问题题时时，，如如果果能能将将某某个个待待研研究究解解决决的的问问题题，，化化为为一一个个计计算算能能量量函函数数，，且且使使这这个个能能量量函函数数的的最最小小值值正正好好对对应应于于一一定定约约束束条条件件下下问问题题的的解解答答时时，，则则此此问问题题就就可可以以用用连连续续型型Hopfield网络来求解了网络来求解了 如如何何设设计计连连接接权权系系数数及及其其它它参参数数需需根根据据具具体体问问题题来来加加以以确确定定。

下下面面以以连连续续型型HopfleldHopfleld神神经经网网络络应应用用于于TSP(Travelling TSP(Travelling Salesman Salesman Problem)Problem)为为例例加加以以说说明明TSPTSP问题是人工智能中的一个难题问题是人工智能中的一个难题三、三、CHNN用于优化计算用于优化计算2021/6/749     推推销销员员要要到到n个个城城市市去去推推销销产产品品，，要要求求推推销销员员每每个个城城市市都都要要去去到到，，且且只只能能去去一一次次，，如如何何规规划划路路线线才才能能使使所所走走的的路路程程最最短短利利用用连连续续Hopfield网网络络来来进进行优化计算行优化计算解解 这这是是一一个个典典型型的的组组合合优优化化问问题题下下面面要要解解决决的的问问题题是是如如何何恰恰当当地地描描述述该该问问题题，，使使其其适适合合于于用用 Hopfield网网络络来来求求解解正正是是由由于于 Hopfeld成成功功地地求求解解了了 TSP问问题题，，才才使使得得人人们们对对神神经经网网络络再再次次引引起起了广泛的兴趣了广泛的兴趣。

CHNN应用于应用于TSP问题问题2021/6/750对对于于n个个城城市市的的TSP问问题题，，可可以以使使用用n2个个神神经经元元，，用用神神经经元元的的状状态态表表示示某某一一城城市市在在某某条条路路径径中中被被访访问问的顺序第第αi个个神神经经元元的的状状态态用用xαi表表示示，，其其中中，，表表示示α城城市市名名称，称，i表示访问顺序表示访问顺序xαi =1表示城市表示城市α在该路径中第在该路径中第i个被访问，个被访问， xαi =0表示城市表示城市α在该路径中第在该路径中第i个没有被访问个没有被访问2021/6/751这这里里取取较较大大的的λλ，，以以使使S形形函函数数比比较较陡陡峭峭，，从从而而稳稳态时态时 能够趋于能够趋于1或趋于或趋于0 A、、B、、C、、D、、E表表示示城城市市名名称称；；l、、2、、3、、4、、5表示路径顺序表示路径顺序神经元采用如下的神经元采用如下的S形变换函数形变换函数这里以这里以n=5的的TSP问题为例问题为例2021/6/752 12345A01000B00010C10000D00001E00100访问顺序访问顺序访访问问城城市市5城市城市TSP问题的一条有效路径的关联矩阵问题的一条有效路径的关联矩阵其相应的路径顺序为：其相应的路径顺序为：所走路径的总长度为：所走路径的总长度为：2021/6/753为为了了保保证证每每个个城城市市只只去去一一次次，，方方阵阵每每行行只只能能有有一一个个元元素素为为1，，其其余余为为零零。

为为了了保保证证在在某某一一时时刻刻只只能能经经一一个个城城市市，，方方阵阵中中每每列列也也只只能能有有一一个个元元素素为为l为为使使每每个城市必须经一次，方阵中个城市必须经一次，方阵中1的总个数必须为的总个数必须为n表示城市表示城市 到城市到城市 的距离对于任意路径，所走路程的总长度可以表示为对于任意路径，所走路程的总长度可以表示为路径最短是我们的目标路径最短是我们的目标2021/6/754根根据据路路径径最最短短的的要要求求，，并并考考虑虑约约束束条条件件，，可可以以写写出出总的能量函数为总的能量函数为第一项为优化目标第一项为优化目标第第二二项项为为列列约约束束条条件件，，保保证证每每次次只只访访问问一一个个城城市市，，满足此条件时，该项的值为零；满足此条件时，该项的值为零；第三项为行约束条件，保证每个城市只访问一次第三项为行约束条件，保证每个城市只访问一次第第四四项项为为全全局局约约束束条条件件，，确确保保即即方方阵阵中中l的的个个数数总总和为和为n；；第五项是第五项是Hopfield网络本身的要求；网络本身的要求；是各项的加权系数是各项的加权系数2021/6/755CHNN用于用于TSP 的的CHNN2021/6/7562021/6/757选选择择适适当当的的参参数数值值 1, 2, 3, 4和和初初值值y0y0，，按按上上式式迭迭代代直直到到收收敛敛，，其其稳稳态态解解即即为为所所要要求求的的解解。

或或根根据据以以上上方方程程构构成成连连续续的的Hopfield网网络络，，并并适适当当地地给给定定xai(0)（（若若无无先先验验知知识识，，可可随随机机给给定定）），，运运行行该该神经网络，其稳态解即为所要求的解神经网络，其稳态解即为所要求的解 从而可将从而可将TSP问题表示成连续的问题表示成连续的Hopfield网络网络其中其中         是离散是离散 δ函数，即函数，即2021/6/758Hopfield 网络的应用网络的应用模式分类与识别模式分类与识别知识处理、容错计算、数据查询知识处理、容错计算、数据查询图像、语音、信号处理图像、语音、信号处理主主要要应应用用形形式式为为联联想想记记忆忆和和优优化化计计算算两两种种，，具具体体应用领域有：应用领域有：2021/6/759That’all for That’all for todaytoday！！Thank youThank you！！2021/6/760部分资料从网络收集整理而来，供大家参考，感谢您的关注！。