深度学习总结范例精选.docx

深度学习总结范例精选一、DeepLearning的基本思想假设我们有一个系统S,它有n层（S1, ・・・Sn）,它的输入是I, 输出是0,形象地表示为：I=>S1=>S2=>・・・..=>Sn=>0，如果输出O等 于输入1，即输入I经过这个系统变化之后没有任何的信息损失（呵 呵，大牛说，这是不可能的信息论中有个“信息逐层丢失”的说法 （信息处理不等式），设处理a信息得到b,再对b处理得到c,那 么可以证明：a和c的互信息不会超过a和b的互信息这表明信息 处理不会增加信息，大部分处理会丢失信息当然了，如果丢掉的是 没用的信息那多好啊），保持了不变，这意味着输入I经过每一层 Si都没有任何的信息损失，即在任何一层Si,它都是原有信息（即 输入I）的另外一种表示现在回到我们的主题DeepLearning，我们 需要自动地学习特征，假设我们有一堆输入（（如一堆图像或者文本）， 假设我们设计了一个系统S （有n层），我们通过调整系统中参数， 使得它的输出仍然是输入I,那么我们就可以自动地获取得到输入I 的一系列层次特征，即S1,…,Sn对于深度学习来说，其思想就是对堆叠多个层，也就是说这一 层的输出作为下一层的输入。

通过这种方式，就可以实现对输入信息 进行分级表达了另外，前面是假设输出严格地等于输入，这个限制 太严格，我们可以略微地放松这个限制，例如我们只要使得输入与输 出的差别尽可能地小即可，这个放松会导致另外一类不同的 DeepLearning方法上述就是DeepLearning的基本思想深度学习是机器学习研究中的一个新的领域，其动机在于建立、 模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据， 例如图像，声音和文本深度学习是无监督学习的一种深度学习的概念源于人工神经网络的研究含多隐层的多层感 知器就是一种深度学习结构深度学习通过组合低层特征形成更加抽 象的高层表示属性类别或特征，以发现数据的分布式特征表示Deeplearning本身算是machinelearning的一个分支，简单可 以理解为neuralnetwork的发展大约二三十年前，neuralnetwork 曾经是ML领域特别火热的一个方向，但是后来确慢慢淡出了，原因 包括以下几个方面：1） 比较容易过拟合，参数比较难tune，而且需要不少trick；2） 训练速度比较慢，在层次比较少（小于等于3）的情况下效 果并不比其它方法更优；所以中间有大约20多年的时间，神经网络被关注很少，这段时 间基本上是SVM和boosting算法的天下。

但是，一个痴心的老先生 Hinton，他坚持了下来，并最终（和其它人一起Bengio、Yann.lecun 等）提成了一个实际可行的deeplearning框架Deeplearning与传统的神经网络之间有相同的地方也有很多不 同二者的相同在于deeplearning采用了神经网络相似的分层结构， 系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相 邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logisticregression模型；这种分层结构，是比较 接近人类大脑的结构的而为了克服神经网络训练中的问题，DL采用了与神经网络很不 同的训练机制传统神经网络中，采用的是backpropagation的方式 进行，简单来讲就是采用迭代的算法来训练整个网络，随机设定初值， 计算当前网络的输出，然后根据当前输出和label之间的差去改变前 面各层的参数，直到收敛（整体是一个梯度下降法）而deeplearning 整体上是一个layer-wise的训练机制这样做的原因是因为，如果 采用backpropagation的机制，对于一个deepnetwork（7层以上）， 残差传播到最前面的层已经变得太小，出现所谓的 gradientdiffusion （梯度扩散）。

这个问题我们接下来讨论三、Deeplearning训练过程3.1、传统神经网络的训练方法为什么不能用在深度神经网络BP算法作为传统训练多层网络的典型算法，实际上对仅含几层 网络，该训练方法就已经很不理想深度结构（涉及多个非线性处理 单元层）非凸目标代价函数中普遍存在的局部最小是训练困难的主要 来源BP算法存在的问题：（1） 梯度越来越稀疏:从顶层越往下，误差校正信号越来越小；（2） 收敛到局部最小值:尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）；（3） 一般，我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的的数据中学习；3.2、deeplearning 训练过程如果对所有层同时训练，时间复杂度会太高；如果每次训练一 层，偏差就会逐层传递这会面临跟上面监督学习中相反的问题，会 严重欠拟合（因为深度网络的神经元和参数太多了）20xx年，hinton提出了在非监督数据上建立多层神经网络的一 个有效方法，简单的说，分为两步，一是每次训练一层网络，二是调 优，使原始表示x向上生成的高级表示r和该高级表示r向下生成的 x'尽可能一致方法是：1） 首先逐层构建单层神经元，这样每次都是训练一个单层网络。

2） 当所有层训练完后，Hinton使用wake-sleep算法进行调优将除最顶层的其它层间的权重变为双向的，这样最顶层仍然是 一个单层神经网络，而其它层则变为了图模型向上的权重用于“认 知”，向下的权重用于“生成”然后使用Wake-Sleep算法调整所 有的权重让认知和生成达成一致，也就是保证生成的最顶层表示能 够尽可能正确的复原底层的结点比如顶层的一个结点表示人脸，那 么所有人脸的图像应该激活这个结点，并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像 Wake-Sleep算法分为醒（wake）和睡（sleep）两个部分1）wake阶段：认知过程，通过外界的特征和向上的权重（认 知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修 改层间的下行权重（生成权重）也就是“如果现实跟我想象的不一 样，改变我的权重使得我想象的东西就是这样的”2）sleep阶段：生成过程，通过顶层表示（醒时学得的概念） 和向下权重，生成底层的状态，同时修改层间向上的权重也就是“如 果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景 象在我看来就是这个概念”deeplearning训练过程具体如下：1） 使用自下上升非监督学习（就是从底层开始，一层一层的往 顶层训练）:采用无标定数据（有标定数据也可）分层训练各层参数， 这一步可以看作是一个无监督训练过程，是和传统神经网络区别最大 的部分（这个过程可以看作是featurelearning过程）：具体的，先用无标定数据训练第一层，训练时先学习第一层的 参数（这一层可以看作是得到一个使得输出和输入差别最小的三层神 经网络的隐层），由于模型capacity的限制以及稀疏性约束，使得 得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示 能力的特征；在学习得到第n-1层后，将n-1层的输出作为第n层的 输入，训练第n层，由此分别得到各层的参数；2） 自顶向下的监督学习（就是通过带标签的数据去训练，误差 自顶向下传输，对网络进行微调）：基于第一步得到的各层参数进一步fine-tune整个多层模型的 参数，这一步是一个有监督训练过程；第一步类似神经网络的随机初 始化初值过程，由于DL的第一步不是随机初始化，而是通过学习输 入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果；所以deeplearning效果好很大程度上归功于第一步的featurelearning 过程。

四、DeepLearning的常用模型或者方法4.1、AutoEncoder自动编码器DeepLearning最简单的一种方法是利用人工神经网络的特点， 人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个 神经网络，我们假设其输出与输入是相同的，然后训练调整其参数， 得到每一层中的权重自然地，我们就得到了输入I的几种不同表示 （每一层代表一种表示），这些表示就是特征自动编码器就是一种 尽可能复现输入信号的神经网络为了实现这种复现，自动编码器就 必须捕捉可以代表输入数据的最重要的因素，就像PCA那样，找到可 以代表原信息的主要成分具体过程简单的说明如下：1）给定无标签数据，用非监督学习学习特征：在我们之前的神经网络中，如第一个图，我们输入的样本是有 标签的，即（input,target），这样我们根据当前输出和target（label） 之间的差去改变前面各层的参数，直到收敛但现在我们只有无标签 数据，也就是右边的图那么这个误差怎么得到呢？如上图，我们将input输入一个encoder编码器，就会得到一 个code，这个code也就是输入的一个表示，那么我们怎么知道这个 code表示的就是input呢？我们加一个decoder解码器，这时候decoder就会输出一个信息，那么如果输出的这个信息和一开始的输 入信号input是很像的（理想情况下就。