深度学习在自然语言处理的应用v课件.ppt

深度学习在自然语言处理的应用张俊林畅捷通股份有限公司2014.10.31•深度学习在自然语言处理的应用v课件大纲•深度学习简介•基础问题：语言表示问题–Word Embedding–不同粒度语言单元的表示•字符/单字/单词/短语/句子/文档•值得重点关注的模型–RAE/Tensor Network/卷积网络•NLP的应用–语言模型–中文分词–知识挖掘–情感计算–机器翻译–Paraphrase–IR•探讨与思考2•深度学习在自然语言处理的应用v课件深度学习（表示学习）3•深度学习在自然语言处理的应用v课件深度学习（表示学习）4•深度学习在自然语言处理的应用v课件Layer-Wise Pre-Training5•深度学习在自然语言处理的应用v课件Denoising Autoencoder6•深度学习在自然语言处理的应用v课件自然语言交互的时代7•深度学习在自然语言处理的应用v课件大纲•深度学习简介•基础问题：语言表示问题–Word Embedding–不同粒度语言单元的表示•字符/单字/单词/短语/句子/文档•值得重点关注的模型–RAE/Tensor Network/卷积网络•NLP的应用–语言模型–中文分词–知识挖掘–情感计算–机器翻译–Paraphrase–IR•探讨与思考8•深度学习在自然语言处理的应用v课件One-Hot 表示•One Hot表示在传统NLP中很常用Similarity(dog,cat)=09•深度学习在自然语言处理的应用v课件Word Embedding•词向量：单词的分布向量表示（Distributional Representation）•词向量表征了单词使用上下文中的句法语义特征–One-Hot的字面匹配到DR的语义匹配Similarity(dog,cat)>Similarity(dog,the)Similarity(“the dog smiles.”,“one cat cries.”）10•深度学习在自然语言处理的应用v课件无监督训练获得单词的WE-word2vec单词：苹果11•深度学习在自然语言处理的应用v课件无监督训练获得单词的WE-word2vec单词：长颈鹿12•深度学习在自然语言处理的应用v课件无监督训练获得单词的WE-word2vec单字：张13•深度学习在自然语言处理的应用v课件无监督训练获得单词的WE-word2vec单字：雯14•深度学习在自然语言处理的应用v课件无监督训练获得单词的WE-word2vec单字：葱15•深度学习在自然语言处理的应用v课件Word2vecCBOW：16•深度学习在自然语言处理的应用v课件word2vecSkip-Gram:17•深度学习在自然语言处理的应用v课件word2vecCBOW+ Hierarchical Softmax18•深度学习在自然语言处理的应用v课件word2vecCBOW+Negative Sampling最大化：st：正例负例19•深度学习在自然语言处理的应用v课件不同粒度语言单元的表示-字符/单字字符上下文向量 英文：捕获构词法中文：捕获字搭配 英文拓展：字符N-Gram 中文拓展：单字N-Gram？20•深度学习在自然语言处理的应用v课件不同粒度语言单元的表示-短语/句子/文档•方法一：单词词向量取和（Summrization）–很多情况都做此种简化处理–过于简单,但是仔细思考有一定道理•方法二：单词词向量加权求和–Huang’s Work–权重：类似于IDF•方法三：RNN21•深度学习在自然语言处理的应用v课件不同粒度语言单元的表示-短语/句子/文档•方法四：Matrix-Vector NN22•深度学习在自然语言处理的应用v课件不同粒度语言单元的表示-短语/句子/文档•方法五：卷积神经网络23•深度学习在自然语言处理的应用v课件大纲•深度学习简介•基础问题：语言表示问题–Word Embedding–不同粒度语言单元的表示•字符/单字/单词/短语/句子/文档•值得重点关注的模型–RAE/Tensor Network/卷积网络•NLP的应用–语言模型–中文分词–知识挖掘–情感计算–机器翻译–Paraphrase–IR•探讨与思考24•深度学习在自然语言处理的应用v课件RAE(Recursive AutoEncoders)•推导短语及句子级别的Word Embedding表示25•深度学习在自然语言处理的应用v课件Neural Tensor Networks•表达多个实体之间的关系 /两个单词之间某种操作26•深度学习在自然语言处理的应用v课件Neural Tensor Networks27•深度学习在自然语言处理的应用v课件卷积网络（ Convolutional Deep Neural Network ）•全局特征选择与融合/不定长转换为定长表示28•深度学习在自然语言处理的应用v课件大纲•深度学习简介•基础问题：语言表示问题–Word Embedding–不同粒度语言单元的表示•字符/单字/单词/短语/句子/文档•值得重点关注的模型–RAE/Tensor Network/卷积网络•NLP的应用–语言模型–中文分词–知识挖掘–情感计算–机器翻译–Paraphrase–IR•探讨与思考29•深度学习在自然语言处理的应用v课件语言模型30•深度学习在自然语言处理的应用v课件语言模型Bilinear-LM31•深度学习在自然语言处理的应用v课件语言模型RNNLM32•深度学习在自然语言处理的应用v课件深度学习用于中文分词-思路133•深度学习在自然语言处理的应用v课件深度学习用于中文分词-思路234•深度学习在自然语言处理的应用v课件深度学习用于中文分词•两者思路基本相同–基于字的Word Embedding+三层神经网络+BEMS标记序列分类–思路2引入全局的Viterbi解码（分类后处理）–效果：和主流分词算法效果接近•CRF/Maxent+二元特征–类似思路同样可以套用到POS/NER/Parser等场景–这是利用Word Embedding解决NLP问题最直观的NLP应用思路–考虑探索下非标准三层神经网络结构的复杂模型35•深度学习在自然语言处理的应用v课件深度学习用于知识挖掘•两大类问题–现有知识库的新知识推理•CYC,WordNet,FreeNet……•目前的文献做法大思路基本一致–已知实体用Word Embedding表示–实体关系用Tensor Network建模–后向传播+SGD训练–从自由文本中挖掘结构化知识36•深度学习在自然语言处理的应用v课件现有知识库的新知识推理37•深度学习在自然语言处理的应用v课件现有知识库的新知识推理最小化目标函数：正例：负例：38•深度学习在自然语言处理的应用v课件从自由文本中挖掘结构化知识整体结构词法级特征39•深度学习在自然语言处理的应用v课件从自由文本中挖掘结构化知识句子级特征抽取：卷积网络40•深度学习在自然语言处理的应用v课件机器翻译（通用模型）最常见的通用模型：Encoder-Decoder ModelEncoderDecoder语义向量41•深度学习在自然语言处理的应用v课件机器翻译（Encoder-Decoder具体例子）ACL2014 Best Paper：Fast and Robust Neural Network Joint Models Joint Models for Statistical Machine Translation网络结构语言模型翻译模型42•深度学习在自然语言处理的应用v课件机器翻译-很多地方可以引入DL•单词对齐•短语对齐•短语重排序•语言模型•翻译模型•联合模型•翻译结果重排序•……………单词对齐43•深度学习在自然语言处理的应用v课件情感计算•核心的两个问题–句子级的Word Embedding表示•前面讲过这个问题–如何将情感倾向编码到各级Word Embedding中•半监督或者监督学习：通过训练过程将情感倾向编码到WE结构中44•深度学习在自然语言处理的应用v课件Paraphrase(整体框架)S1：The judge also refused to postpone the trial date of Sept. 29.S2： Obus also denied a defense motion to postpone the September trial date.Paraphrase的问题：Semantic(S1)=Semantic(S2)?45•深度学习在自然语言处理的应用v课件Paraphrase（RAE）Darling!I’m here!Darling!I’m here!46•深度学习在自然语言处理的应用v课件Paraphrase（Dynamic Pooling）应用拓展：很明显这个方法可以照搬不动放到应用拓展：很明显这个方法可以照搬不动放到QA问题匹配中问题匹配中（一篇灌水论文就此诞生了！）（一篇灌水论文就此诞生了！）欧式距离：越小越好47•深度学习在自然语言处理的应用v课件DL for IR一种直观的方法48•深度学习在自然语言处理的应用v课件DL for IR一种没那么直观的方法49•深度学习在自然语言处理的应用v课件大纲•深度学习简介•基础问题：语言表示问题–Word Embedding–不同粒度语言单元的表示•字符/单字/单词/短语/句子/文档•值得重点关注的模型–RAE/Tensor Network/卷积网络•NLP的应用–语言模型–中文分词–知识挖掘–情感计算–机器翻译–Paraphrase–IR•探讨与思考50•深度学习在自然语言处理的应用v课件探讨与思考•与传统方法比较DL的优势所在–抛掉特征选择步骤–简洁地融入语义级特征–很多应用可以直接绕过NLP的中间场景比如POS，句法，减少错误累加–语言长程依赖容易建模：词向量+卷积网络–可以解决语言模型的数据稀疏问题：15-Gram–很多场景如果优化速度非常快，方便应用的工程化实用化51•深度学习在自然语言处理的应用v课件探讨与思考•目前研究模式中最基础和重要的问题–短语、句子、段落、文档级别的有效Word Embedding表示–文档级别表示很多应用直接受益:分类，IR等•问题：文档级别采用低维表示，是否丢失细节信息？只能作为辅助手段？句子级别的低维表示很有意义，最关键。

•如何更能体现“深度”的思想–目前还说不上很Deep：WE为主–是否有除了“Word Embedding”外更Deep的模式？•目前看DL在NLP哪些方面好哪些一般？–涉及语义处理的应用：表现好–不涉及太多语义的应用：State-of-the-art–说明什么？•Word Embedding已经把传统ML方法使用特征融合进去了•语义级别特征效果体现明显52•深度学习在自然语言处理的应用v课件探讨与思考•与CRF的比较及区别与联系–CRF:线性 VS DL:非线性–CRF:高维离散特征 VS: DL:低维连续特征–结论：非线性模型对于低维连续特征有效，对高维离散特征无效•DL在推荐系统方面应用方法的思考–不成熟的初步思路•我个人看好DL在NLP方面的作用–与传统方法比有明显优点–发展初期：机会多、挑战大•NLP方向博士生的黄金时代–非常容易想到很多New Idea–一把新的锤子，很多钉子可以去敲53•深度学习在自然语言处理的应用v课件广告时间54•深度学习在自然语言处理的应用v课件Thanks!55•深度学习在自然语言处理的应用v课件。