基于BP神经网络的手写数字识别研究(人工智能).doc

基于BP神经网络的手写数字识别研究1神经网络 摘要 关键词 1.引言2 BP神经网络 3基于BP神经网络的手写数字识别 3.1输入向量与目标向量 3.2 BP神经网络的构建 3.3网络的训练 4实验结果与分析 5结论 基于BP神经网络的手写数字识别研究摘要：将BP神经网络应用于手写数字识别,通过实验证实，该方法具有较高 的识别率和可靠性.关键词：BP神经网络;模式识别;图像处理;特征提取1-引言手写数字识别是光学字符识别技术的一个分支，研究如何利用电子计算机自动辨 认人手写在纸张上的阿拉伯数字.由于手写体数字的随意性很大，例如，字体的 大小、倾斜、笔画的粗细等等，都会对识别结果造成影响•在过去的数十年中， 研究者们提出了许多识别方法,取得了较大的成果.手写数字识别技术的实用性 很强，例如在大规模数据统计(人口普查、例行年检)、财务、保险、税务、邮件 分拣等应用领域中都有广阔的应用前景.手写数字识别一般通过基于结构的识 别法及模板匹配法来进行处理,但识别率和可靠性都不高.为了提高识别率，就 必须寻求新的方法和途径.近年来，BP神经网络技术取得了巨大发展，它是一种 前馈反向型神经网络，具有并行处理信息、自组织、自学习信息等优点，特别适用 于模式识别领域.本文基于BP神经网络原理对手写数字进行识别，通过对1000个 手写数字的识别，证实本方法在手写数字识别方面的有效性.2 BP神经网络神经网络的概念、原理和设计是受生物、特别是人脑神经系统的启发提出的.神 经网络由大量简单的处理单元来模拟真实人脑神经网络的机构和功能以及若干 基本特性，是一个高度复杂的非线性自适应动态处理系统• BP网络是1986年由 Rinehart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的 多层前馈网络，是目前应用最广泛的神经网络模型之一.BP网络能学习和存贮大 量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程. 它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值， 使网络的误差平方和最小.BP神经网络模型拓扑结构包括输入(input)、隐层 (hide layer)和输出层(output layer)，如图1 所示.输出层LCwfiij …...R, j ...( h陰输出层LC•5V…(A„ J —•- 九输出层LAAATkkka\anffi 1基本BP神经网络拓扑结构图3基于BP神经网络的手写数字识别3. 1输入向量与目标向量首先对手写数字图像进行预处理,包括二值化、去噪、倾斜校正、归一化和特征 提取，生成BP神经网络的输入向量Alphabet和目标向量Tar2get.其中Alphabet 选取40 X 10的矩阵，第1列到第10列代表0〜9的数字.Target为10 X 10的单位 矩阵，每个数字在其所排顺序位置输出1,其他位置输出0.3. 2 BP神经网络的构建BP算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成. 正向传播时,传播方向为输入层一隐层一输出层，每层神经元的状态只影响下一 层神经元.若在输出层得不到期望的输出，则转向误差信号的反向传播流程.通 过这两个过程的交替进行,在权向量空间执行误差函数梯度下降策略，动态迭代 搜索一组权向量,使网络误差函数达到最小值，从而完成信息提取和记忆过程•首 先考虑正向传播，设输入层有“个节点，隐层有个节点，输出层有g个节点.输入 层与隐层之间的权值为必乙隐层与输出层之间的权值为歹丿上 隐层的传递函数 为门（頁，输出层的传递函数为吃（址，则隐层节点的输出为(V输出层节点的输出为(2)通过式（1）和（2）可得BP神经网络完成n维到q维的映射.其次考虑反向传播. 在反向传播中，需要对不理想的权值进行调整，B冲申经网络的核心要务即在于调 权.定义误差函数，设输入戶个学习样本，用xl , x2 ,…,xp来表示.第p个样 本输入网络得到输出ypj ( j二2,…，Q ,其误差为1 q坊仔v ⑶厶 J=1式中E为期望输出.P个样本的全局误差为将式 鸟丿代入得P - P Q订邓⑷输出层权值的变化采用累计误差BP算法调整％弘使全局误差戲小，即(5)式佶丿中！1为学习率.现定义误差信号为、—眩_生a "j 为 $(6)将式(3)代入可得第一项为(7)第二项为输出层传递函数吃(x)的偏微分"J将式(I)和侶丿代入可得误差信号为 =耳仔 H (Sj)(9)则输出层各神经元权值△久必调整公式将式e丿代入可定义为p q△冲=/>/2 (Sj)^ (10)在得到输出层权值调整公式后，需要定义隐层权值△必j调整公式(11丿根据输出层各神经元权值△心％调整公式推导过程，可得AM i为P ?丈)& (Sj)、必(SjXi(\2)3. 3网络的训练神经网络的训练过程是识别字符的基础，十分重要,直接关系到识别率的高低. 输送训练样本至B冲申经网络训练，在梯度方向上反复调整权值使网络平方和误 差最小.为使网络对输入向量有一定鲁棒性，可先用无噪声的样本对网络进行训 练，直到其平方和误差最小，再用含噪声的样本进行训练，保证网络对噪声不敏感. 训练完毕，把待识别数字送BP神经网络中进行仿真测试.4实验结果与分析权值初始化为1丿之间的随机数，期望误差为0. 01,最大训练步数5000, 动量因子为0. %；隐层和输出层均采用“logsig”函数，手写数字的识别结果如图2 (a)〜 (e)所示，以数字4为例给出处理过程码切等系列处理后的数字图像 (d)持征提取图像4Ce)最终识另U的数宁图2对1000个手写数字每个数字取100幅不同的图像丿进行识别，其识别结果如表1 所示.表1各数字识别率数字0123456789识别 率/%939493939492939294945 结论针对传统的手写数字识别中识别率和可靠性不高的情况，提出了将B冲申经网络 应用于数字识别，并通过实验，证实B冲申经网络算法识别率较高，具备可行性.参考文献[1 ] 张猛等.手写体数字识别中图像预处理的研究[J ].微计算机信息，2006[2] Pandya A S, Macy R B.神经网络模式识别及其实现[M ].徐勇，荆涛 译.北京：电子工业出版社，1999.[3 ] 朱小燕等.手写体字符识别研究[J ]•模式识别与人工智能，2000[4 ] 马少平等.基于模糊方向线索特征的手写体汉字识别【J ] •清华大学学报，1997[5 ] 王爱玲，叶明生，邓秋香.图像处理技术与应用[M ].北京：电子工业出版社，2008.[6 ]人工智能及其应用 蔡自兴，徐光祜 编著 清华大学出版社。