主题模型lda

主题模型LDA,北京10月机器学习班 邹博 2014年11月16日,2/49,主要内容和目标,共轭先验分布 Dirichlet分布 unigram model LDA Gibbs采样算法,3/49,随机变量的分布,4/49,思考,尝试计算X(k)落在区间x,x+x的概率：,5/49,划分为3段,6/49,事件E1的概率,7/49,事件E2：假设有2个数落在区间x,x+x,8/49,只需要考虑1个点落在区间x,x+x,9/49,X(k)的概率密度函数,10/49,补充：函数,函数是阶乘在实数上的推广,11/49,利用函数,12/49,增加观测数据,13/49,思考过程,14/49,思考过程,15/49,共轭分布,注：上式中的加号“+”，并不代表实际的数学公式是相加，事实上，实际计算过程是相乘的。,16/49,Beta分布的概率密度曲线,17/49,18/49,直接推广到Dirichlet分布,19/49,贝叶斯参数估计的思考过程,20/49,共轭先验分布,在贝叶斯概率理论中，如果后验概率P(|x)和先验概率p()满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。 In Bayesian probability theory, if the posterior distributions p(|x) are in the same family as the prior probability distribution p(), the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood function.,21/49,共轭先验分布的提出,某观测数据服从概率分布P()时， 当观测到新的X数据时，有如下问题： 可否根据新观测数据X，更新参数 根据新观测数据可以在多大程度上改变参数 + 当重新估计的时候，给出新参数值的新概率分布。即：P(|x),22/49,分析,根据贝叶斯法则 P(x|)表示以预估为参数的x概率分布，可以直接求得。P()是已有原始的概率分布。 方案：选取P(x|)的共轭先验作为P()的分布，这样，P(x|)乘以P()然后归一化结果后其形式和P()的形式一样。,23/49,举例说明,投掷一个非均匀硬币，可以使用参数为的伯努利模型，为硬币为正面的概率，那么结果x的分布形式为： 其共轭先验为beta分布，具有两个参数和，称为超参数（hyperparameters）。简单解释就是，这两个参数决定了参数。 Beta分布形式为,24/49,先验概率和后验概率的关系,计算后验概率 归一化这个等式后会得到另一个Beta分布，即：伯努利分布的共轭先验是Beta分布。,25/49,伪计数,可以发现，在后验概率的最终表达式中，参数和和x，1-x一起作为参数的指数。而这个指数的实践意义是：投币过程中，正面朝上的次数。因此， 和常常被称作“伪计数”。,26/49,推广,二项分布多项分布 Beta分布Dirichlet分布,27/49,Dirichlet分布的定义,28/49,Dirichlet分布的分析,是参数，共K个 定义在x1,x2xK-1维上 x1+x2+xK-1+xK=1 x1,x2xK-10 定义在(K-1)维的单纯形上，其他区域的概率密度为0 的取值对Dir(p| )有什么影响？,29/49,Symmetric Dirichlet distribution,A very common special case is the symmetric Dirichlet distribution, where all of the elements making up the parameter vector have the same value. Symmetric Dirichlet distributions are often used when a Dirichlet prior is called for, since there typically is no prior knowledge favoring one component over another. Since all elements of the parameter vector have the same value, the distribution alternatively can be parametrized by a single scalar value , called the concentration parameter(聚集参数).,30/49,对称Dirichlet分布,31/49,对称Dirichlet分布的参数分析,=1时 退化为均匀分布 当1时 p1=p2=pk的概率增大 当1时 p1=1，pi=0的概率增大,图像说明：将Dirichlet分布的概率密度函数取对数,绘制对称Dirichlet分布的图像，取K=3，也就是有两个独立参数x1,x2，分别对应图中的两个坐标轴，第三个参数始终满足x3=1-x1-x2且1=2=3=，图中反映的是从0.3变化到2.0的概率对数值的变化情况。,32/49,参数对Dirichlet分布的影响,33/49,参数选择对对称Dirichlet分布的影响,When =1, the symmetric Dirichlet distribution is equivalent to a uniform distribution over the open standard (K1)-simplex, i.e. it is uniform over all points in its support. Values of the concentration parameter above 1 prefer variants that are dense, evenly distributed distributions, i.e. all the values within a single sample are similar to each other. Values of the concentration parameter below 1 prefer sparse distributions, i.e. most of the values within a single sample will be close to 0, and the vast majority of the mass will be concentrated in a few of the values.,34/49,多项分布的共轭分布是Dirichlet分布,35/49,unigram model,unigram model假设文本中的词服从Multinomial分布，而Multinomial分布的先验分布为Dirichlet分布。 图中双线圆圈wn表示在文本中观察到的第n个词，n1,N表示文本中一共有N个词。加上方框表示重复，即一共有N个这样的随机变量wn。p和是隐含未知变量，分别是词服从的Multinomial分布的参数和该Multinomial分布的先验Dirichlet分布的参数。一般由经验事先给定，p由观察到的文本中出现的词学习得到，表示文本中出现每个词的概率。,36/49,为上述模型增加主题Topic,假定语料库中共有m篇文章，一共涉及了K个Topic，每个Topic下的词分布为一个从参数为的Dirichlet先验分布中采样得到的Multinomial分布（注意词典由term构成，每篇文章由word构成，前者不能重复，后者可以重复）。每篇文章的长度记做Nm，从一个参数为的Dirichlet先验分布中采样得到一个Multinomial分布作为该文章中每个Topic的概率分布；对于某篇文章中的第n个词，首先从该文章中出现每个Topic的Multinomial分布中采样一个Topic，然后再在这个Topic对应的词的Multinomial分布中采样一个词。不断重复这个随机生成过程，直到m篇文章全部完成上述过程。这就是LDA的解释。,37/49,详细解释,字典中共有V个term，不可重复，这些term出现在具体的文章中，就是word 语料库中共有m篇文档d1,d2dm 对于文档di，由Ni个word组成，可重复； 语料库中共有K个主题T1，T2Tk； ，为先验分布的参数，一般事先给定：如取0.1的对称Dirichlet分布 是每篇文档的主题分布 对于第i篇文档di，它的主题分布是i=(i1, i2 ,iK)，是长度为K的向量 对于第i篇文档di，在主题分布i下，可以确定一个具体的主题zij=j，j1,K， k表示第k个主题的词分布 对于第k个主题Tk，词分布k=(k1, k2 kv)，是长度为v的向量 由zij选择 zij，表示由词分布 zij确定word，从而得到wix,38/49,详细解释,图中K为主题个数，M为文档总数，Nm是第m个文档的单词总数。是每个Topic下词的多项分布的Dirichlet先验参数，是每个文档下Topic的多项分布的Dirichlet先验参数。zmn是第m个文档中第n个词的主题，wmn是m个文档中的第n个词。两个隐含变量和分别表示第m个文档下的Topic分布和第k个Topic下词的分布，前者是k维(k为Topic总数)向量，后者是v维向量（v为词典中term总数）,39/49,参数的学习,给定一个文档集合，wmn是可以观察到的已知变量，和是根据经验给定的先验参数，其他的变量zmn，和都是未知的隐含变量，需要根据观察到的变量来学习估计的。根据LDA的图模型，可以写出所有变量的联合分布：,40/49,似然概率,一个词wmn初始化为一个term t的概率是 每个文档中出现topick的概率乘以topick下出现termt的概率，然后枚举所有topic求和得到。整个文档集合的似然函数为：,41/49,Gibbs Sampling,Gibbs Sampling算法的运行方式是每次选取概率向量的一个维度，给定其他维度的变量值采样当前维度的值。不断迭代，直到收敛输出待估计的参数。 初始时随机给文本中的每个单词分配主题z(0)，然后统计每个主题z下出现term t的数量以及每个文档m下出现主题z中的词的数量，每一轮计算p(zi|z-i,d,w)，即排除当前词的主题分配：根据其他所有词的主题分配估计当前词分配各个主题的概率。当得到当前词属于所有主题z的概率分布后，根据这个概率分布为该词采样一个新的主题。然后用同样的方法不断更新下一个词的主题，直到发现每个文档下Topic分布和每个Topic下词的分布收敛，算法停止，输出待估计的参数和，最终每个单词的主题zmn也同时得出。 实际应用中会设置最大迭代次数。每一次计算p(zi|z-i,d,w)的公式称为Gibbs updating rule。,42/49,联合分布,第一项因子是给定主题采样词的过程 后面的因子计算，nz(t)表示term t被观察到分配topicz的次数， nm(t) 表示topic k分配给文档m中的word的次数。,43/49,计算因子,44/49,计算因子,45/49,Gibbs updating rule,46/49,词分布和主题分布,47/49,48/49,参考文献,Gregor Heinrich, Parameter estimation for t