知识发现过程与应用结构
55页1、主讲:赵宏庆,数据挖掘原理与算法,Chinese Academy of Science,2,第二章 知识发现过程与应用结构,Chinese Academy of Science,3,第二章 知识发现过程与应用结构,2.1 知识发现的基本过程 2.2 数据库中的知识发现处理过程模型 2.3 知识发现软件或工具的发展 2.4 知识发现项目的过程化管理 2.5 数据挖掘语言介绍,Chinese Academy of Science,4,如何学习本章内容,在上一章我们指出,数据挖掘有广义和狭义两种理解。为了避免混淆,本章使用知识发现而把数据挖掘限制在上面所描述的狭义概念上。,Chinese Academy of Science,5,如何学习本章内容,虽然不同企业会有不同的业务逻辑,解决问题的具体方法有所差异,但是它们进行知识发现的目的和基本思路是一致的。 本章首先对知识发现的基本过程进行分析,旨在使读者从总体上掌握知识发现的基本步骤和技术。 然后对目前比较流行的KDD过程处理模型进行剖析,了解KDD系统的应用体系结构。 通过对KDD系统的基本技术环境和主要部件功能分析,对KDD系统的体系结构有
2、一个更深入的了解。 在此基础上对KDD软件和工具进行归纳、举例和分析,帮助读者在实际应用中学会选择和使用相应的软件和工具。,Chinese Academy of Science,6,如何学习本章内容,本章也对KDD系统项目的过程化管理、交互式数据挖掘过程以及通用的KDD原型系统进行讨论,从软件项目管理角度来更好地理解KDD过程。 最后对数据挖掘语言的类型和特点进行介绍。,Chinese Academy of Science,7,2.1 知识发现是一个系统化的工作,从源数据中发现有用知识是一个系统化的工作。 首先必须对可以利用的源数据进行分析,确定合适的挖掘目标。然后才能着手系统的设计和开发。 完成从大型源数据中发现有价值知识的过程可以简单地概括为: 首先从数据源中抽取感兴趣的数据,并把它组织成适合挖掘的数据组织形式; 然后,调用相应的算法生成所需的知识; 最后对生成的知识模式进行评估,并把有价值的知识集成到企业的智能系统中。 一般地说,KDD是一个多步骤的处理过程,一般分为问题定义、数据抽取、数据预处理、数据挖掘以及模式评估等基本阶段。,Chinese Academy of Scien
3、ce,8,问题定义阶段的功能,KDD是为了在大量数据中发现有用的令人感兴趣的信息,因此发现何种知识就成为整个过程中第一个也是最重要的一个阶段。 在问题定义过程中,数据挖掘人员必须和领域专家以及最终用户紧密协作 一方面了解相关领域的有关情况,熟悉背景知识,弄清用户要求,确定挖掘的目标等要求; 另一方面通过对各种学习算法的对比进而确定可用的学习算法。后续的学习算法选择和数据集准备都是在此基础上进行的。,Chinese Academy of Science,9,2.1.1 数据抽取与集成,数据抽取与集成是知识发现的关键性工作。早期的数据抽取是依靠手工编程来实现的,现在可以通过高效的抽取工具来实现。 源数据库的选取以及从中抽取数据的原则和具体规则必须依据系统的任务来界定。 主要任务是设计存储新数据的结构和准确定义它与源数据的转换和装载机制,以便正确地从每个数据源中抽取所需的数据。 这些结构和转换信息应该作为元数据(Metadata)被存储起来。 来自不同源的数据可能有模式定义上的差异,也可能存在因数据冗余而无法确定有效数据的情形。此外,还要考虑数据库系统本身可能存在不兼容的情况,Chinese
4、 Academy of Science,10,2.1.2数据清洗与预处理,在开始一个知识发现项目之前必须清晰地定义挖掘目标。因此,要提高挖掘结果的准确率,数据预处理是不可忽视的一步。 对数据进行预处理,一般需要对源数据进行再加工,检查数据的完整性及数据的一致性,对其中的噪音数据进行平滑,对丢失的数据进行填补,消除“脏”数据,消除重复记录等。 数据清洗是指去除或修补源数据中的不完整、不一致、含噪音的数据。,Chinese Academy of Science,11,2.1.2数据清洗与预处理,常见的不完整数据的修补办法有: 使用一个全局值来填充(如“unknown”、估计的最大数或最小数)。 统计该属性的所有非空值,并用平均值来填充空缺项。 只使用同类对象的属性平均值填充。 利用回归或工具预测最可能的值,并用它来填充。 数据不一致可能是由于源数据库中对同样属性所使用的数据类型、度量单位等不同而导致的。因此需要定义它们的转换规则,并在挖掘前统一成一个形式。,Chinese Academy of Science,12,2.1.3数据的选择与整理,没有高质量的数据就不可能有高质量的挖掘结果。
《知识发现过程与应用结构》由会员tian****1990分享,可在线阅读,更多相关《知识发现过程与应用结构》请在金锄头文库上搜索。
2018-2019学年八年级历史上册 第3单元 新民主主义革命的兴起 第12课 国民革命导学案北师大版
2018-2019学年八年级历史上册 第六单元 中华民族的抗日战争 第21课 敌后战场的抗战导学案(新人教版
2018-2019学年八年级历史上册 第1单元 民族危机与晚晴时期的救亡运动 第1课 鸦片战争导学案2北师大版
2018-2019学年八年级历史上册 第2单元 辛亥革命与中华民国的建立 第8课 辛亥革命导学案北师大版
2018-2019学年八年级历史上册 第六单元 中华民族的抗日战争 第20课 正面战场的抗战导学案(新人教版
2018-2019学年八年级历史上册 第2单元 辛亥革命与民族觉醒 第10课 新文化运动导学案华东师大版
2018-2019学年八年级历史上册 第2单元 辛亥革命与民族觉醒 第8课 袁世凯称帝与军阀混战导学案2华东师大版
2018-2019学年八年级历史上册 第4单元 中华民族的抗日战争 第14课 民族危机的空前严重导学案华东师大版
2018-2019学年八年级历史上册 第五单元 从国共合作到国共对峙 第17课 中国工农红军长征导学案(新人教版
2018-2019学年八年级历史上册 第1单元 民族危机与晚晴时期的救亡运动 第5课 中日甲午战争导学案1北师大版
2018-2019学年八年级历史上册 第2单元 辛亥革命与民族觉醒 第8课 袁世凯称帝与军阀混战导学案1华东师大版
2018-2019学年八年级历史上册 第1单元 民族危机与晚晴时期的救亡运动 第5课 中日甲午战争导学案2北师大版
2018-2019学年八年级历史上册 第1单元 民族危机与晚晴时期的救亡运动 第1课 鸦片战争导学案1北师大版
2018-2019学年八年级历史上册 第2单元 辛亥革命与中华民国的建立 第10课 新文化运动导学案北师大版
2018-2019学年八年级历史上册 第1单元 民族危机与晚晴时期的救亡运动导学案北师大版
2018-2019学年八年级物理上册 第二章 第1节 声音的产生与传播导学案 (新版)新人教版
2018-2019学年八年级地理上册 第四章 第三节 工业的分布与发展(第1课时)学案(新版)新人教版
2018-2019学年八年级物理上册 第二章 第2节 声音的特性导学案 (新版)新人教版
2018-2019学年八年级地理上册 3.3 中国的水资源教学案(新版)湘教版
2018-2019学年八年级物理上册 第三章 第3节 汽化和液化(第1课时 汽化)导学案 (新版)新人教版
2024-04-11 25页
2024-04-11 37页
2024-04-11 28页
2024-04-11 31页
2024-04-11 36页
2024-04-11 29页
2024-04-11 22页
2024-04-11 27页
2024-04-11 34页
2024-04-11 32页