自然语言处理作业流程.docx

1、文本挖掘关键内容存放信息使用最多是文本，文本挖掘被认为比数据挖掘含有更高商业潜力，当数据挖掘对象完全由文本这种数据类型组成时，这个过程就称为文本数据挖掘1.1文本分类及情感分析文本分类指根据预先定义专题类别，为文档集合中每个文档确定一个类别需要训练集训练分类器，然后应用于测试集关键有朴素贝叶斯分类、决议树等情感分析是多年来中国外研究热点，是基于计算机整理、分析相关评价信息，对带有感情色彩主观性文本进行分析、处理和归纳情感分析包含情感分类、见解抽取、见解问答等1.2文本聚类聚类和分类不一样之处于于，聚类没有预先定义好一部分文档类别，它目标是将文档集合分成若干个簇，要求同一簇内文档内容相同度尽可能大，而不一样簇之间相同度尽可能小1.3文本结构分析其目标是为了愈加好地了解文本专题思想，了解文本表示内容和采取方法，最终止果是建立文本逻辑结构，即文本结构树，根结点是文本专题，依次为层次和段落1.4 Web文本数据挖掘在Web迅猛发展同时，不能忽略“信息爆炸”问题，即信息极大丰富而知识相对匮乏据估量，Web已经发展成为拥有3亿个页面分布式信息空间，而且这个数字仍以每4-6个月翻1倍速度增加，在这些大量、异质Web信息资源中，蕴含着含有巨大潜在价值知识。

Web文本挖掘能够构建社交复杂网络、用户标签、网络舆情分析等2、自然语言处理步骤2.1获取原始文本文本最关键起源无疑是网络我们要把网络中文本获取形成一个文本数据库(数据集)利用一个爬虫抓取到网络中信息爬取策略有广度和深度爬取；依据用户需求，爬虫能够有专题爬虫和通用爬虫之分2.1.1 HTML数据2.1.2 RSS订阅源博客是文本关键起源，不管是正式还是非正式经过Universal Feed Parser第三方库能够访问博客内容2.1.3 当地文件2.2对文本进行预处理2.1.1 文本编码格式1.decode early；2.unicode everywhere；3.encode later具体见Python 2.X 编码问题汇总2.1.2 文本模式匹配Python自带部分方法就能完成一部分字符检测工作，比如endswith(‘ly’)能够找到”ly”结尾词然而，正则表示式提出了一个更强大、更灵活字符匹配模式2.1.3 规范化文本（1）经过lower()将文本规范化为小写，即可忽略”The”和”the”区分（2）词干提取：nltk提供Porter和Lancaster词干提取器，根据内嵌规则剥离词缀。

以下例，Porter能将lying正确地映射为lie，而Lancaster就没处理好3）词性归并：重视词性统一，而不考虑词缀以下例，将”women”转换为”woman”4）非标准词规范：包含数字，缩写，日期等从非标准格式映射为标准格式2.3分词经过上面步骤，我们会得到比较洁净素材不过，文本中起到关键作用是部分词，甚至关键词就能起到决定文本取向英文分词有nltk提供nltk.word_tokenize()汉字分词，出现了很多分词算法，有最大匹配法、最优匹配法、机械匹配法、逆向匹配法、双向匹配法等中科院张华平博士研发分词工具ICTCLAS，该算法经过众多科学家认定是当今汉字分词中最好，而且支持用户自定义词典，加入词典；对新词，人名，地名等发觉也含有良好效果Jieba分词工具：支持繁体分词；支持自定义词典支持三种分词模式：1.正确模式，试图将句子最正确地切开，适合文本分析；2.全模式，把句子中全部能够成词词语全部扫描出来，速度很快，不过不能处理歧义；3.搜索引擎模式，在正确模式基础上，对长词再次切分，提升召回率，适适用于搜索引擎分词 阿里分词工具2.4去除停顿词英文停顿词内嵌在nltk中汉字停顿词比如句号，显然句号对意思表示没有什么效果。

还有"是"、“”等词因为这些词在全部文章中全部大量存在，并不能反应出文本意思，能够处理掉当然针对不一样应用还有很多其它词性也是能够去掉，比如形容词等2.5特征选择 经过上面步骤，我们基础能够得到有意义部分词然而并不是全部词全部有意义，有些词会在这个文本集中大量出现，有些只是出现少数几次而已她们往往也不能决定文章内容还有一个原因就是，假如对全部词语全部保留，维度会尤其高，矩阵将会变得尤其稀疏，严重影响到挖掘结果那么怎样选择关键词比较合理呢？针对特征选择也有很多个不一样方法，不过TF-IDF往往起到效果是最好tf-idf 模型关键思想是：假如词w在一篇文档d中出现频率高，而且在其它文档中极少出现，则认为词w含有很好区分能力，适适用来把文章d和其它文章区分开来在一份给定文件里，词频(term frequency, TF) 指是某一个给定词语在该文件中出现次数这个数字通常会被归一化，以预防它偏向长文件同一个词语在长文件里可能会比短文件有更高词频，而不管该词语关键是否）逆向文件频率 (inverse document frequency, IDF) 是一个词语普遍关键性度量某一特定词语IDF，能够由总文件数目除以包含该词语之文件数目，再将得到商取对数得到。

假如该词语不在语料库中，就会造成分母为零，所以通常情况下使用Tf-idf计算公式为：某一特定文件内高词语频率，和该词语在整个文件集合中低文件频率，能够产生出高权重TF-IDF所以，TF-IDF倾向于保留文档中较为尤其词语，过滤常见词 缺点：IDF简单结构并不能有效地反应特征词分布情况，使其无法很好完成对权值调整功效，所以在一定程度上该算法精度并不是很高除此之外，算法也没有表现位置信息，对于出现在文章不一样位置词语全部是一视同仁，因为在文章首尾词语势必关键性要相对高点2.6利用算法进行挖掘 经过上面步骤以后，我们就能够把文本集转化成一个矩阵我们能够利用 多种算法进行挖掘，比如说假如要对文本集进行分类，我们能够利用KNN算法，贝叶斯算法、决议树算法等等2.7程序示例2.7.1 新闻聚类2.7.2 Bayes文本分类。