科研实验室-专利模板

说 明 书 摘 要本发明公开了一种面向深度神经网络的损失敏感通道剪枝算法，其涉及模型压缩技术，本质上是一种基于深度学习的通道剪枝方法。该方法包括以下步骤：（a）在原网络结构上插入多个辅助损失函数；（b）使用引入的辅助损失函数和原损失函数对预训练模型进行训练；（c）对通道进行选择，得到输入特征图中重要的通道；（d）对通道选择向量和模型参数W进行优化；（e）训练结束后保留选择的通道，获得结构更加紧凑的模型。本发明提出的损失敏感通道剪枝算法主要解决深度神经网络参数多、计算量大的问题，可以有效地减少模型冗余而不影响模型的性能。4摘 要 附 图 1、一种面向深度神经网络的损失敏感通道剪枝算法，其特征在于通过引入辅助的损失函数对网络中真正具有表征能力的通道进行选择，从而实现对深度模型的压缩，具体有以下步骤： （a）在原网络结构上插入多个辅助损失函数；（b）使用引入的辅助损失函数和原损失函数对预训练模型进行训练；（c）对通道进行选择，得到输入特征图中重要的通道；（d）对通道选择向量和模型参数W进行优化； （e）训练结束后保留选择的通道，获得结构更加紧凑的模型。2、根据权利要求1所述的面向深度神经网络的损失敏感通道剪枝算法，其特征在于，在所述的步骤中更为细化为：步骤（a）在任意给定的预训练模型的网络结构上插入批量归一化层、线性整流层、平均池化层构建辅助分类器，辅助损失函数采用交叉熵损失函数；步骤（c）引入一个通道选择向量，使用贪婪算法对通道进行选择，得到输入特征图中重要的通道；步骤（d）通过SGD算法对通道选择向量和模型参数W进行优化;步骤（e）训练结束后，根据通道选择向量保留选择的通道，获得结构更加紧凑的模型。一种面向深度神经网络的损失敏感通道剪枝方法技术领域本发明涉及一种模型压缩技术，特别是涉及一种面向深度神经网络的损失敏感通道剪枝方法。背景技术深度神经网络在图像分类、人脸识别、目标检测、视频分析等计算机视觉领域实现了重大的突破。然而，深度神经网络具有参数多、计算量大的特点，造成了大量的内存需求以及计算负担，使得深度神经网络模型难以应用到存储和计算资源有限的硬件设备中，例如手机等。通过模型压缩的办法可以有效地减少模型冗余而不影响模型的性能。现有的模型压缩方法主要包含四类，包括权值量化、稀疏连接、低秩近似和通道剪枝。权值量化通过将高精度的权值转换为低精度的权值，从而实现神经网络模型的压缩。然而量化模型中存在着较大的性能损失以及训练过程难以收敛的问题。稀疏连接主要通过权值的大小衡量连接的重要性，从而去除不重要的连接。但实际上，稀疏连接算法需要依赖特殊的操作（如稀疏矩阵乘法等）对模型进行加速，往往带来硬件实现的困难。深度模型的通道之间通常存在着较大的相关性，为了去除通道的冗余性，目前已有大量的工作围绕权值矩阵的低秩分解展开，并且取得了与基准模型相近的性能。通道剪枝算法根据模型中通道的冗余性，直接去除网络层中的冗余通道，从而减少网络的宽度，实现网络模型的压缩。通道剪枝算法的关键问题在于如何衡量各个通道的重要性。相比于低秩近似和稀疏连接的方法，通道剪枝直接改变网络的宽度，可直接应用于深度学习框架中。然而现有通道剪枝算法对所有网络层都设定了同样的剪枝率，并没有考虑各个网络层的冗余情况以及所保留通道是否真正对模型的最终分类能力有贡献。为此，本发明提出了损失敏感的通道剪枝算法。发明内容为了解决上述问题，本发明设计了一种面向深度神经网络的损失敏感通道剪枝算法，其本质是一种基于深度学习的模型压缩算法，具体步骤如下： （a）在任意给定的预训练模型的网络结构上插入批量归一化层、线性整流层、平均池化层构建辅助分类器，辅助损失函数采用交叉熵损失函数；（b）使用引入的辅助损失函数和原损失函数对预训练模型进行训练；（c）引入一个通道选择向量，使用贪婪算法对通道进行选择，得到输入特征图中重要的通道；（d）通过SGD算法对通道选择向量和模型参数进行优化；（e）训练结束后，根据通道选择向量保留选择的通道，获得结构更加紧凑的模型。同时，步骤（a）-（e）中所述的预训练模型是指任意的深度神经网络模型，训练集是原网络模型所用的训练集。与现有技术相比，本发明具有以下有益效果：（1）采用引入了辅助损失函数和原损失函数对网络进行阶段式的剪枝和模型更新，不会依赖于原始训练的模型；（2）引入了通道选择向量，将通道选择的问题转化为一个带有l0约束的优化问题；（3）实现了对真正具有表征能力的通道进行选择；（4）对深度神经网络模型进行压缩的同时能够保持模型原有性能甚至是提高性能。附图说明图1是本发明提出的面向深度神经网络的损失敏感通道剪枝算法示意图；图2是通道剪枝示意图。具体实施方式为便于本发明技术方案的理解，图1展示了一种面向深度神经网络的损失敏感通道剪枝算法。下面结合具体的实施方式进行介绍：（a）在原网络结构上插入多个辅助损失函数在原始网络中插入P个辅助损失函数LSp，令L1,L2,LP,LP+1表示插入位置，其中LP+1=L表示最后一层。使用第p个损失函数LSp对第lLp-1+1,Lp层进行通道选择。在任意给定的预训练模型的网络结构上插入批量归一化层、线性整流层、平均池化层构建辅助分类器，辅助损失函数采用交叉熵损失函数。令Fp,i表示对应第i个输入样本的输入特征图，对应于第p个交叉熵损失函数的定义如下：LSpW,=-1Ni=1Nt=1mIy(i)=tlogetTF(p,i)k=1mekTF(p,i)其中，I表示指数函数，Rnpm表示全连接层的权值，m表示类别的数量，np为全连接层的输入通道的数量。需要注意的是，由于插入太多的辅助损失函数将带来巨大的计算代价，因此我们并没有在每个层后面插入损失函数。（b）对预训练模型进行训练在对预训练模型进行训练的过程中，使用引入的辅助损失函数和原损失函数进行训练。需要注意的是，在每一个步骤中，不会同时使用所有的辅助损失函数，而是只考虑两个损失函数当前步骤的辅助损失函数和原损失函数。该训练过程实际上是使用辅助损失函数和原损失函数对模型进行微调的过程。在微调的过程中，模型的所有参数将被更新。该微调过程可以补偿由先前剪枝导致的准确率损失，进一步抑制累积误差。（c）对通道进行选择本算法中引入一个通道选择向量来衡量各个通道的重要性，使用贪婪算法对通道进行选择，即通过在零处的梯度来判断通道的重要性，梯度越大，重要性越大。最终得到输入特征图中重要的通道。另外，由于不同层的通道冗余层度不同，因此，可以通过所选择的通道对模型损失的影响实现自适应的剪枝。即在通道选择过程中，若模型损失不再明显下降，则提前停止通道选择，从而达到自适应剪枝的目的。（d）对通道选择向量和模型参数进行优化随机选择批训练样本，通过随机梯度下降SGD算法对通道选择向量和模型参数W进行优化。我们希望最小化剪枝前后模型的重构误差：LM=12Qi=1Nj=1nOi,j,:,:-Oi,j,:,:F2其中，Q=Nnhoutwout，Oi,j,:,:为第i个输入样本和第j个通道的特征图，并且F表示费罗贝尼乌斯范数（Frobenius Norm）因此，最终的损失函数定义为：LW,=LMW,+LSp(W,)其中，表示所对应损失函数的权重。（e）训练结束后保留选择的通道训练结束后，根据通道选择向量保留选择的通道，也就是说，将向量元素为0所对应的通道去除，获得结构更加紧凑的模型。我们所选择的通道具有特征描述能力，去除这些通道将对模型最终的性能造成很大影响。上述技术方案仅体现了本发明技术方案的优选技术方案，本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，属于发明的保护范围之内。图1图2