深度学习报告.docx

电子科技大学实验报告（实验）课程名称 深度学习学生姓名：李寒雪指导教师：杨波学号：2015060101029一、实验名称：基于MINST数据的CNN设计二、网络设计网络设计如上图所示：分为特征提取子网络和分类子网络，特征提取子网络分为卷积和池化部分，MNIST数据是28x28的矩阵，选择卷 积函数为20个9x9的滤波器，即图中的W1（20x9x9），于是可以将 原来的一个输入数据（28x28）降解为20个特征矩阵（20x20），接 下来这20个特征矩阵各自经过ReLU激活函数后作为进入池化层的 输入，池化层采用2x2的平均池化，那么池化层的输出20个10x10 的特征矩阵，再讲它们reshape为2000x1的列向量作为分类子网络 的输入；分类子网络采用单隐层，因此包含两个隐层矩阵参数W3(100x2000)和W4(10x100)，隐层采用ReLU激活方便误差反向传播时计算更新参数，因为是多分类问题，输出层采用softmax激活函 数三、训练方法 对真实数据标记与模型预测标记之间的误差目标函数最小化，利用梯 度下降算法更新参数，在模型隐层和卷积池化层的参数利用误差反向 传播算法计算它们的更新值。

对所有MNIST训练数据输入一遍，每 次输入更新一次模型参数，最后利用更新好的模型参数在所有测试数据上进行准确率计算关键更新过程和验证过程如下:1、模型向前计算预测标记过程：X: 28x280像(矩阵)，为方便计算保素值可归一化为【0~1]W1 I 9x9x20的滤波器(蚯阵).可初始化为：W1 = randn(9.乩20);V1: 20x20x20的Featur&MapJ®阵，i X. 'valid');Y1:与VI 同尺寸矩阵,Y1 =max(0,V1);Y2; 10x10x20的矩阵，Y2 = (Y1(1:2:en0,1:2:end,:)十 Y1(2:2：End」:2:end,:)+Y1(1:2:end,2:2:endf:)+Y1(2:2:end>2:2:end,:))/4;y2: 2000x1 的列向％ v2 = reshap§(Y2, [], 1);W3: 100x2000的矩阵.可初始化为；W3 = (2*nd(100,2000)-1)您0; Iv3: 1OOXI 的列向量，v3 = W3+y2;y3:与v3同尺寸，y3=max(0pv3);W4： 10x100的矩阵,可初始化为；W4 = (2*rand(10,100)-1 yiO；v: 10x1 的列向量.'v = W4xy3;y：与v同尺寸，y = Softmax(v);I haaii.fc rff lip_fcBBir1jrMiii|p r«indcff-ri0Bn3i2、模型向后误差传播参数更新过程：dW4: W4的更新量(矩阵)dW4 = alpha*delta*y3';e: 10x1的输出偏差列向量=d-y;d:与e同尺寸，delta = e; %交叉Jffi+SoftrdW3: W3的更新量(矩阵)dW3 = alpha*delta3*y2';e3: 100x1 维的列向量，e3 = W4P * delta;b3:与93同尺寸 t delta3 = (v3 > 0) .* b3;€2: 2000x1 维的列向量，e2 = W3，*deltas；E2; 10x10x20的矩阵.E2 = reshape(e2, size(Y2));El: 20x20x20的矩阵.E1=? E1 = zeros(size(Y1)); E2_4=」 一 E2/4;b1;与El 同尺寸[deltal = (VI > 0) .* E1(1:2:endJ:2:end,:) = E2_4;E1； E1(1:2;end,2:2:日 nd,:) = E2_4;E1(2:2:endT1:2:endt:)二 E2_4;口 j— “-―心 2:2:end!2:2:endt:) = E2 4;用M各页直接(不翻转)对X滑宙派波，RJtvalld区域% *3斜■止务huiraiy J^anrnii< J^auiijt^nri 口dWI (:jijk) = alpha*filter2(dclta1 (:X. \aidX四、实验结果(含运行界面截图)：1、运行实验代码：实验平台(1・6 GHz Intel Core i5\ macOS\ 4GB\MatlabR2016b)HOMER.OT5EDmOKPUBLEISlflQkLift,1 hiQhi:™ rap.f teciainTatas Purciilun +Fl Shrink Tabs nFhCuitamHLE3H AlphibafcoiHMHUWUVT - «5Current FolderIfe NarvA rf M学习骨论・单13… 图珈学曰聆沧■宅］2\.. 窖脚I学习聆艳-初L“.衲半习■艳-条】CL. 虹况应半司I!■怆■整9淋. B普息学司导论■史&淋. 才宗度拳习导怆■■HF讲. h就里半约导怆・峰6淋. 丁节扇学习导怆■档5洪. F海度半习导幻第"出g F海扇半习导此-第3翊 F海扇半习导怆・第7湖 呻澈4学习后论-第仙g •席』既学习祎业L 2....作业四.五.六p*gw$ 作业 7- l^.pag&E之| Tcst€nn.nrb芝| SsoftmastmMNI3TOx*I.J.rn”tn F_f.Es|_£J F_5C.mMq F.D.martI Cnn.ni■ B * ■事勺淋Mallab晶de二 辫 HakUb Cd.._TVGtt u-.+Nh 〜土蜘 5n(Wl."丸*4,七聊HaQhbflhc currAr-ii 保r3 hm HuiiibAriC'3 □ £j |L 圈None Lclti1 T口叫 E耳E W*3rt.l1 DOCIMEHTEjipUllid 匚口 All AJI[:dDEraiDHL』"I l::-r /Ust r± ； ihjn k u i： .■ I>:. m.i:湘3 $ ：:「e、L匚 rin rriTguiCnn.irniCnn.nn | +—Erublit djilJilipB u4iih i^fcr^DlbriAYr3 H尊UghcTiJi：的tdityLommand Window21 22 23 24 25 2G 11 ZB ZQ 3E 31 32 3334 35 始Tor K ■ 1FMIT 95Bendul = ze-rciE 12^,20,20):x = X_TestC 孔孔 I:);far j = 1:1avlC! r - - j ) = filter! (Wl (i a: j j ), x_ va Lid") jcho]¥1 = maLKi'B.vll:¥2 - (Tl(] iZzefiEl, 1:3 lend. :1+Y1I2:2 :endr3 :2:efid,: )f-¥lyZ 二 reshape(rZ00B.1 J;v2二制*方y3 = naixl' 6』心1 ：v 二 bl4+-y2;y = SoftnaxCvl;f口 = nax(ylj—jj = ■inM(D_7e5t(EJkJ] 3d.cMpI k.^ = 1)d.truelkJ - j;if d_ciMip(k^ = d_true (acc = ac< ■+ ijels?false - false * 1；sjalsit Sa i false) = xj(UtaJseVm 观」=j;^Jalsi^alse] = 1;enJ腿EKJ9«Kisa^-e CF_X,riit ,R'K_f,slse, Jtsare ('F-D.Riit\,di_Ti>l5.e,);EKturacy Is 0.57660® raise nui«Heir is HL画 »save (BF_¥,natfprlntri 'accuracy is %f\n' Pa

2、实验结果分析：我们把分类错误的234个28X28的数据矩阵保存在同目录下F_X.mat 文件中，把这234个数据对应的正确的分类标记保存在F_D.mat文 件中，把模型对着234个数据预测的错误的分类标记保存在F_Y mat中，对比分析探究本实验模型分类错误的原因分类错误的234个数据样本加上它们对应的真实标记（左上）和预测标记（左下）如下图所示:歹淑；夕A筲3a nMl■1 1件9 ‘5土 W2LEH升：，；《KI:平；1 3B-mIm1B. J 1ft2- 5、”：7：? ；¥：卜快，；＜：42fL g. j；4：工3/6177 n 2:b?225 > 歹六、总结及体会：在网络设计上是否可以设计更多更复杂的网络隐层使模型使正确率 更高，可以多尝试别的卷积矩阵大小，可以使用批量算法和动量算法 加快训练时间。