利用遗传模拟退火算法优化神经网络结构.doc

word 格式论文格式论文利用遗传模拟退火算法优化神经网络结利用遗传模拟退火算法优化神经网络结 构构摘要：常用的神经网络是通过固定的网络结构得到最优权值，使网络 的实用性受到影响引入了一种基于方向的交叉算子和变异算子，同时把模拟 退火算法引入了遗传算法，结合遗传算法和模拟退火算法的优点，提出了一种 优化神经网络结构的遗传模拟退火混合算法，实现了网络结构和权值的同时优 化仿真实验表明，与遗传算法和模拟退火算法相比，该算法优化的神经网络 收敛速度较快、预测精度较高，提高了网络的处理能力关键词：遗传算法;模拟退火算法;神经网络;优化l、引言神经网络是由多个简单的处理单元彼此按某种方式相互连接而形成的 计算系统，该系统通过对连续或断续式的输入作状态响应而进行信息处理虽 然每个神经元的结构和功能十分简单，但由大量神经元构成的网络系统的行为 却丰富多彩和十分复杂神经网络在国民经济和国防科技现代化建设中具有广 阔的应用领域和应用前景主要应用领域有：语音识别、图像识别、计算机视 觉、智能机器人、故障机器人、故障检测、实施语言翻译、企业管理、市场分 析、决策优化、物资调运自适应控制、专家系统、智能接口、神经生理学、心 理学和认知科学研究等等。

随着神经网络理论研究的深入以及网络计算能力的不断拓展，神经网 络的应用领域将会不断拓展，应用水平将会不断提高，最终达到神经网络系统 可用来帮人做事的目的，这也是神经网络研究的最终目标神经网络具有很强的自适应、自组织和自学习的能力，具有大规模并word 格式论文格式论文行运算的能力常用的神经网络系统的行为主要由两方面因素决定：其一为拓 扑结构;其二是节点间连接权值一般来讲，在应用神经网络过程中只是得到最 优权值，结构在整个过程中是固定的，而且在确定结构时，经常根据人为经验 或经验公式先拟定一个结构，在此基础上不断地训练网络、调整结构，最后得 到确定的网络结构，进而应用这个固定的网络结构得到最优的权值因此，构 造一个准确定量构效关系人工神经网络模型需要耗费大量的时间，有时利用该 方法构造的模型结构还可能不是最佳的 l_近年来，用遗传算法(Genetic Algorithms，GA)解决神经网络优化设计问题受到广泛重视GA 在寻优时搜索 方向不停的发生变化，具有较强的全局搜索能力但是，在应用遗传算法寻优的过程中，仍存在着困难翻：遗传算法对 好的个体易造成块破坏、易出现早熟因此，许多学者采取了遗传算法和其它 算法相结合 的措施，如先用遗传算法进行全局搜索，确定最优解所在的区域后， 再用 BP 算法(拟牛顿 LM 算法)进行局部搜索，但仍然存在耗时较多、精度较低 的不足。

Eh Kolmogarav 定理可知在有合理的结构和恰当的权值条件下，三层前 向网络能以任意精度逼近有界非线性函数对于三层神经网络来说，输入层、 输出层节点的个数由目标函数结构决定，故而在优化网络结构时，也优化它的 隐层节点的个数本文将对应用最为广泛的三层前向网络进行优化设计，把基于方向的 遗传交叉算子和变异算子引入了遗传算法，并且与模拟退火算法(Simulated Annealing，SA)结合，提出了自适应遗传一模拟退火混合算法，使在得到神经 网络最优权值的同时，也自动得到最优网络结构仿真研究表明，此算法在以 负荷作为训练样本的神经网络中具有良好的实用性不仅能确定出最佳隐层节 点个数，同时能生成落在全局最优区域的权值2、遗传算法遗传算法是近年来迅速发展起来的一种全新的随机搜索与 优化算法，其基本思想是基于 Darwin 的进化论和 Mendel 的遗传学说该算法 由密执安大学教授 Hol 1and 及其学生于 1975 年创建 随后经过 20 多年的发 展，取得了丰硕的应用成果和理论研究成果，特别是近年来世界范围内形成的 进化汁算热潮，汁算智能已作为人工智能研究的一个重要方向，以及后来的人 工生命的兴起，使 GA 受到广泛的关注。

遗传算法主要通过选择复制和遗传算子 的作用使种群不的网络结构都满足前面所述的研究前提条件，因此不存在所对 应的网络结构无效的个体2.2 适应度函数的确定及选择运算2.3 交叉率和变异率的确定2.4 交叉算子对控制基因和实数编码的基因分别采用不同的交叉算子word 格式论文格式论文对于控制基因，采用两点交叉;对于用实数编码的代表各个节点权值的 基因，采用下面所述交叉方法：假设要参与交叉操作的两个个体分别为 ，两个个体上相对应位的权值 分别为 ，并且 的适应度高于 的适应度，定义式(2)、(3)所示的△ 、△ 两个 中间变量：2.5 变异算子随机取出需要变异的一个个体，再从控制码中随机选出 一个数，这个数的变异采用基本变异算子若这个数变异后的控制基因是 1， 则从控制基因 1 对应的权值串中选一随机位，设这一随机位上的权值为 Xc 的 变异为：在区间 ，X21 上随机取一数 ：代替 区问 ]如式(6)、(7)确定3、模拟退火算法模拟退火算法的思想最早由 Metropolis 等于 1 953 年提出SA 又称为模拟冷却法、统计冷却法、Monte-Carlo 退火法、随机松弛 法和概率爬山法等。

1983 年 Kirkpatriekm 等开展了一些富有成效的工作，成 功地将该思想引入组合优化理论，解决了许多诸如 VLSI 等大规模优化设计问题 SA 算法是基于 Mente Carlo 迭代求解策略的一种随机寻优方法，其出发点是基 于物理中固体物质的退火过程与一般组合优化问题之间的相似陛SA 算法在某 一初温下，伴随温度参数的不断下降，结合概率突跳特性在解空间中随机寻找 目标函数的全局最优解，即在局部优解能概率性的跳出并最终趋于全局最优 [81SA 算法具有质量高、初始鲁棒性强、通用易实现的优点但是为寻到最 优解，算法通常要求较高的初温、较慢的降温、较低的终止温度以及各温度下 足够多的抽样，因而 SA 算法往往优化过程较长，这是 SA 算法的最大缺点4、训练步骤步骤 1 设定三层前向神经网络的输入节点 r、隐含层节点、 输出节点 c、初始温度 、退火次数 Num、退火个体数Ⅳ;步骤 2 在【0，l】范围 内随机产生 PP 条染色体，得到初始种群，并设初始进化代数 L=0; 一步骤 3 由 设定的选择概率按选择机制对个体选择;步骤 4 由自适应交叉概率按交叉算子进 行交叉操作;步骤 5 由自适应变异概率按变异算子进行变异操作;步骤 6 把由步 骤 3,4、5 得到的个体放到起作为中间种群;步骤 7 计算中间种群的适应度，将 适应度大的个体分别进行模拟退火 Num 次;步骤 8 将模拟退火次后得到的Ⅳ个最 好的个体替代中间种群中取出的Ⅳ个个体，组成新的种群;步骤 9 如果进化代数 小于预先设定的最大遗传代数，令= +1，转步骤 3，否则，终止网络的训练， 选出最优个体，转步骤 10;步骤 10 将最优个体按顺序拆分，作为 BP 网络的最 优权值;步骤 1 1 输入与训练样本集模式相一致的预测样本，得到预测值，并计 算出相对误差。

5、仿真实验及结果本文在河北地区 1999 年 7 月 1 日至 2003 年 l2 月 31 日的历史负荷中 筛选了多组样本数据，训练神经网络6、结论word 格式论文格式论文本文提出的遗传模拟退火算法是一种同时优化神经网络结构和权值的 算法，它是在遗传算法中对控制码和权值域分别引进算子在交叉过程中，对 权值应用自适应交叉和变异率，引入向适应度高的方向进化的交叉算子，对控 制基因用两点交叉在变异时，对控制基因采用基本变异算子，之后将中间种 群中的适应度高的个体在其周围进行模拟退火，这样充分发挥了遗传算法和模 拟退火算法的优点，克服了遗传算法在神经网络优化过程中存在的不足表 2 说明，本文算法确实有效地使神经网络的结构和权值同时得到了优化;表 3 说明 将本文算法优化神经网络应用于预测，确实提高了收敛速度，得到了较高的预 测精度。