高教社课件语言模型第2章.pdf
24页语言模型:向量空间模型刘均西安交通大学计算机学院liukeen2026 年 4 月 7 日概述向量空间模型(Vector Space Model,VSM)一种将非结构化自然语言文本转化为结构化数据的 BoW 模型;给定文档集 D=d1,d2,.,dM 与词汇表 T=t1,t2,.,tN;VSM 将文档 di表示为 N 维向量(wi,1,wi,2,.,wi,N);wi,j表示词汇 tj在文档 di中的词频或其他权重如何确定词汇表 T?如何确定词汇 tj在文档 di中权重 wi,j?如何计算 di与 dj向量的相似性?概述2/24主要内容1Zipf 定律2词频-逆文档频3相似度计算4一个实例Zipf 定律3/24Zipf 定律语言学家 George Kingsley Zipf 为证明人类活动符合最小努力原则(Principle of LeastEffort,PLE),分析了语言、人口地理分布和经济活动等数据,提出了Zipf 定律1:当测量值按递减顺序排序时,第 n 项的值与 n 成反比词频分布的 Zipf 定律:在大规模文本中,一个词汇的频率 f 与其排序 r 成反比,即 f r=c,c 为常数。
Zipf 定律4/24Zipf 定律为何成立?解释 1:PLE 原则冠词、介词、代词等“功能词”,如 the、of、and、a、to,无具体含义,但对语法结构和理解至关重要,因处理和理解“最省力”而频繁使用频率较低的名词、动词、形容词等是“内容词”,具有特定含义,处理和理解需较高的认知负荷功能词”与“内容词”的词频差异使得能用较少词汇表达尽可能多的语义,符合 PLE 原则Zipf 定律5/24Zipf 定律为何成立?“Millers monkey”假设2由心理学教授 George A.Miller 在 1957 年提出,设想一只猴子在打字机上随机输入27 个字符(26 个字母与 1 个空格键),那么输入长度为 i 的单词的概率为 1/27i+1,由此推导出词频符合幂指数约为 1 的幂律分布在没有任何语言结构或规则的情况下,仅通过随机敲击也能产生符合 Zipf 定律的词频分布Zipf 定律的成因仍存在争议Zipf 定律6/24Zipf 定律为何成立?”Millers monkey”假设的推导假设键盘有 27 个键,则生成长度为 i 的词的概率为 p(i)=127?126?i;长度为 i 的词数量为 26i,排名 ri满足i1Xj=126j riiXj=126j;对于排名为 r 的词,可推导出”分数长度”为 ifrac=log?2526r+1?log26;该词的频率为:p(ifrac)=127?126?ifrac=127?126?log(2526r+1)log 26=12726log26(2526r+1)=127?2526r+1?1.参考:pages.cs.wisc.edu/jerryzhu/cs838/words.pdf.Zipf 定律7/24如何用 Zipf 定律选取词汇表?Luhn 截断4IBM 科学家 Hans Peter Luhn 认为高频词和低频词在文本分析中重要性较低,频次适中的词汇更重要,应列入词汇表。
高频词:通常为停用词,如助词、介词、连接词,位于 Zipf 定律曲线头部,频率高但缺乏特定语义低频词:出现次数少,位于 Zipf 定律曲线尾部,难以提取文本内容的有效信息Zipf 定律8/24Heap 定律及其与 Zipf 定律的联系Heap 定律描述文本集或语料库统计特性的另一个经验法则,用于描述词汇表大小 V 与文本长度 n 的关系V=K n,通常为 0.4 到 0.6用于估计大型语料库的词汇表大小,从而优化存储和计算资源用于设计高效的索引结构,优化搜索引擎的存储和检索性能Heap 定律是 Zipf 定律的衍生5;词汇表增长规律在一定程度上是由词频分布规律决定的Zipf 定律9/24主要内容1Zipf 定律2词频-逆文档频3相似度计算4一个实例词频-逆文档频10/24词频-逆文档频(Term Frequency-Inverse Document Frequency,TF-IDF)TF-IDF 综合词频(TF)与逆文档频(IDF)来评估一个词汇 tj在文档di中的重要性 wi,jwi,j=tfidf(di,tj)=tf(di,tj)idf(tj).词频:tf(di,tj)=nijPtkTnik。
为什么要除以PtkTnik?逆文档频:idf(tj)=logMMjZipf 分布“头部”词的 idf?词频-逆文档频11/24为什么 IDF 中引入 log从感觉强度与刺激强度间的关系来解释韦伯-费希纳定理(Weber-Fechner law):感觉强度 p 与刺激强度 S 的对数成线性关系,即 p=klogS+c,k 与 c 为常数可推出:词汇的文档数量增加时,其区分度以对数关系而非等比例降低从信息论角度来解释IDF 部分 logMMj表示选择词汇 tj后文档集 D 的自熵变化;TF 部分表示 tj的选择概率nijnlogMMj表明选择 tj查询减少了返回文档 di的不确定性词频-逆文档频12/24TF-IDF 的变体【词频的常见变体】名称公式说明对数标准化log(1+nij)能够降低高频词的影响,同时也符合韦伯-费希纳定理,即随着词频增加,词汇重要性的增长速率会逐渐降低双重标准化 KK+(1 K)nijmaxtkTnik防止偏向于篇幅较长的文档;常见的 K为 0.5逆文档频的常见变体】名称公式说明平滑 IDFlog MMj+1!分母中“+1”是为了避免因 D 中未包含词汇 tj的文档导致分母为 0 的状况。
IDF Maxlog maxtkTMkMj+1!也用于平滑目的,缓解低频词获得过高的权重词频-逆文档频13/24主要内容1Zipf 定律2词频-逆文档频3相似度计算4一个实例相似度计算14/24相似度计算文档 dA=(wA,1,wA,2,.,wA,N)与 dB=(wB,1,wB,2,.,wB,N)的欧氏距离和余弦相似度分别如下:dist(dA,dB)=q?wA,1 wB,1?2+?wA,2 wB,2?2+.+?wA,N wB,N?2=vuutNXi=1?wA,i wB,i?2,cos(dA,dB)=PNi=1wA,iwB,iqPNi=1w2A,iqPNi=1w2B,i.相似度计算15/24相似度计算为什么余弦相似度比欧氏距离更适合度量文档相似性?在什么情况下两者等效?相似度计算16/24相似度计算高维空间中的距离失效问题(“维度诅咒”的一个表现)在高维空间中,随着维度 n 趋于无穷,一组 n 维空间的随机点到一个随机参考点的最大距离 distmax(n)与最小距离 distmin(n)的相对差异趋近于 0limndistmax(n)distmin(n)distmin(n)0.但是,对于高度稀疏的文本向量,随着维度增加,距离失效问题相对并不严重。
相似度计算17/24距离失效的解释对于随机向量 x=(x1,.,xd),xii.i.d.N(0,1),则 x2=Pdi=1x2i 2(d)(卡方分布是标准正态变量的平方和形成的分布),Ex2=d,Var(x2)=2dd 很大时,x d,多数样本集中在半径为d 的薄球壳上,中心区域几乎为空对于独立样本 x,y N(0,Id),有 xy2=Pdi=1(xiyi)2 22(d),因而 Ex y2=2d,即任意两点的距离高度集中当参考点固定时,样本点到它的距离落在同一窄区间内,于是distmax(d)distmin(d)相对尺度越来越小,即distmax(d)distmin(d)distmin(d)0,表明:最近邻与最远邻越来越难区分演示相似度计算18/24主要内容1Zipf 定律2词频-逆文档频3相似度计算4一个实例一个实例19/24一个实例例:利用 TF-IDF 对以下文档进行表征,并计算文档间的余弦相似度文档集:d1:达芬奇的代表作包括蒙娜丽莎d2:大卫像是文艺复兴时期米开朗基罗的代表作d3:米开朗基罗、达芬奇是文艺复兴时期的艺术领域代表性人物d4:电影是科技与艺术相结合的产物d5:不少科幻电影中的科技已经成为现实。
词汇表:1:达芬奇 2:代表作 3:文艺复兴 4:米开朗基罗 5:艺术 6:电影7:科技8:科幻一个实例20/24一个实例【计算每个文档中每个词汇的 tf(di,tj)】文档达芬奇代表作文艺复兴米开朗基罗艺术电影科技科幻d11/21/2000000d201/31/31/30000d31/401/41/41/4000d400001/31/31/30d5000001/31/31/3【计算每个词汇的 idf(tj)】达芬奇代表作文艺复兴米开朗基罗艺术电影科技科幻log?52?log?52?log?52?log?52?log?52?log?52?log?52?log?51?一个实例21/24一个实例【计算 idf(tj)tf(di,tj)】文档达芬奇代表作文艺复兴米开朗基罗艺术电影科技科幻d10.1990.199000000d200.1330.1330.1330000d30.09900.0990.0990.099000d400000.1330.1330.1330d5000000.1330.1330.233文档间的余弦相似度一个实例22/24优点与局限性优点简单灵活实现简单且直观,能有效支持检索、分类、聚类等下游任务。
支持检索结果排序可通过 TF-IDF 等方法调整词汇权重,能有效地计算查询和文档间的相似度,并进行排序局限性维度灾难词汇表很大时,向量维度会很高,计算复杂度与存储需求大幅提升忽略词序信息词袋模型忽略了词汇间复杂依赖关系,很难准确捕捉语义信息语义缺失无法有效处理同义词和多义词难以处理短文本短文本对应的词汇向量高度稀疏,损失大量上下文信息总结23/24参考文献 I1George Kingsley Zipf.Human behavior and the principle of least effort:An introductionto human ecology.Ravenio Books,2016.2George A Miller.“Some effects of intermittent silence”.In:The American journal ofpsychology 70.2(1957),pp.311314.3Xiaojin Zhu.CS838-1 Advanced NLP:Words,Zipfs Law,Millers Monkeys.2007.4Hans Peter Luhn.“The automatic creation of literature abstracts”.In:IBM Journal ofresearch and development 2.2(1958),pp.159165.5Linyuan L,Zi-Ke Zhang,and Tao Zhou.“Zipfs law leads to Heaps law:Analyzing theirrelation in finite-size systems”.In:PloS one 5.12(2010),e14139.。





