数据挖掘的主要内容

Java语言,WangYang126.com,1/32,“数据挖掘综述” Overview for Data Mining,Data Mining,wycapustc.edu.cn,2/32,Contents,1,2,3,4,Data Mining,wycapustc.edu.cn,3/32,主要内容,基本定义 主要步骤 体系结构 主要任务 支撑学科 主要挑战,第1章 数据挖掘概论,Data Mining,wycapustc.edu.cn,4/32,数据挖掘的发展动力 -需要是发明之母,数据爆炸问题 自动数据收集工具和成熟的数据库技术使得大量的数据被收集，存储在数据库、数据仓库或其他信息库中以待分析。 我们拥有丰富的数据，但却缺乏有用的信息 解决方法：数据仓库技术和数据挖掘技术 数据仓库(Data Warehouse)和在线分析处理(OLAP) 数据挖掘：在大量的数据中挖掘感兴趣的知识（规则，规律，模式，约束）,Data Mining,wycapustc.edu.cn,5/32,基本定义,数据挖掘:(1)按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，且进一步将其模型化的数据处理方法. (2)从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识 数据仓库：是一个面向主题的、集成的、随时间布而变化的、不容易丢失的数据集合，支持管理部分决策的过程-W.H.INMON(数据仓库构造方面的领头设计师)。,第1章 数据挖掘概论,Data Mining,wycapustc.edu.cn,6/32,数据挖掘的步骤,简单 多线性程 稳定性 面向对象,数据变换,第1章 数据挖掘概论,Data Mining,wycapustc.edu.cn,7/32,数据挖掘的应用领域,市场分析和管理,欺诈行为检测和异常模式,公司分析和风险管理,社会网络和Web挖掘,电信,军事,第1章 数据挖掘概论,Data Mining,wycapustc.edu.cn,8/32,数据库、机器学习、统计 面临的挑战： 海量数据的挖掘的效率和可扩展性 在数据库中挖掘不同类型的知识 在不同抽象层上的交互式知识挖掘 数据挖掘结果的表示和可视化 处理噪声和不完全数据,学科领域和面临的挑战,第1章 数据挖掘概论,Data Mining,wycapustc.edu.cn,9/32,第1章 数据挖掘概论,典型数据挖掘系统的体系结构,数据仓库,数据清洗,过滤,数据库,数据库或数据仓库服务器,数据挖掘引擎,模式评估,图形用户界面,知识库,数据集成,Data Mining,wycapustc.edu.cn,10/32,第2章 数据预处理,为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成,Data Mining,wycapustc.edu.cn,11/32,为什么进行数据预处理？,现实世界的数据是“肮脏的”数据多了，什么问题都会出现 不完整 缺少数据值；缺乏某些重要属性；仅包含汇总数据； e.g., occupation=“ 有噪声 包含错误或者孤立点 e.g. Salary = -10 数据不一致 e.g., 在编码或者命名上存在差异 e.g., 过去的等级： “1,2,3”, 现在的等级： “A, B, C” e.g., 重复记录间的不一致性 e.g., Age=“42” Birthday=“03/07/1997”,Data Mining,wycapustc.edu.cn,12/32,数据为什么会变“脏”？,不完整数据的成因 数据收集的时候就缺乏合适的值 数据收集时和数据分析时的不同考虑因素 人为/硬件/软件 问题 噪声数据（不正确的值）的成因 数据收集工具的问题 数据输入时的 人为/计算机 错误 数据传输中产生的错误 数据不一致性的成因 不同的数据源 违反了函数依赖性,Data Mining,wycapustc.edu.cn,13/32,数据预处理为什么是重要的？,没有高质量的数据，就没有高质量的挖掘结果 高质量的决策必须依赖高质量的数据 e.g. 重复值或者空缺值将会产生不正确的或者令人误导的统计 数据仓库需要对高质量的数据进行一致地集成 数据预处理将是构建数据仓库或者进行数据挖掘的工作中占工作量最大的一个步骤,Data Mining,wycapustc.edu.cn,14/32,数据质量的多维度量,一个广为认可的多维度量观点： 精确度 完整度 一致性 合乎时机 可信度 附加价值 可解释性 跟数据本身的含义相关的 内在的、上下文的、表象的以及可访问性,Data Mining,wycapustc.edu.cn,15/32,数据预处理的主要任务,数据清理 填写空缺的值，平滑噪声数据，识别、删除孤立点，解决不一致性 数据集成 集成多个数据库、数据立方体或文件 数据变换 规范化和聚集 数据归约 得到数据集的压缩表示，它小得多，但可以得到相同或相近的结果 数据离散化 数据归约的一部分，通过概念分层和数据的离散化来规约数据，对数字型数据特别重要,Data Mining,wycapustc.edu.cn,16/32,Data Mining,wycapustc.edu.cn,17/32,第2章 数据预处理,为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成,Data Mining,wycapustc.edu.cn,18/32,描述性数据汇总,动机：为了更好的理解数据 获得数据的总体印像 识别数据的典型特征 凸显噪声或离群点 度量数据的中心趋势 均值、中位数、众数（模）、中列数 度量数据的离散程度 四分位数、四分位数极差、方差等,Data Mining,wycapustc.edu.cn,19/32,度量的分类,度量可以分为三类： 分布式度量(distributive measure)：将函数用于n个聚集值得到的结果和将函数用于所有数据得到的结果一样 比如：count()，sum()，min()，max()等 代数度量(algebraic)：可以 通过在一个或多个分布式度量上应用一个代数函数而得到 比如：平均值函数avg() （ avg() =sum()/count()） 整体度量(holistic)：必须对整个数据集计算的度量 比如：median()，mode()，rank(),Data Mining,wycapustc.edu.cn,20/32,度量中心趋势 (1),算术平均值 加权算术平均 截断均值（trimmed mean）：去掉高、低极端值得到的均值 e.g. 计算平均工资时，可以截掉上下各2的值后计算均值，以抵消少数极端值的影响 中位数：有序集的中间值或者中间两个值平均 整体度量；但是可以通过插值法计算近似值,Data Mining,wycapustc.edu.cn,21/32,度量中心趋势 (2),众数（Mode，也叫模）：集合中出现频率最高的值 单峰的（unimodal，也叫单模态）、双峰的（bimodal）、三峰的（trimodal）；多峰的（multimodal） 对于适度倾斜（非对称的）的单峰频率曲线，可以使用以下经验公式计算众数,Data Mining,wycapustc.edu.cn,22/32,对称 VS. 倾斜的数据,对称与正倾斜、负倾斜数据的中位数、均值和众数,Data Mining,wycapustc.edu.cn,23/32,度量数据的离散度 （1）,最常用度量：极差、五数概括（基于四分位数）、中间四分位数极差和标准差 极差（range）：数据集的最大值和最小值之差 百分位数(percentile)：第k个百分位数是具有如下性质的值x：k%的数据项位于或低于x 中位数就是第50个百分位数 四分位数：Q1 (25th percentile), Q3 (75th percentile) 中间四分位数极差(IQR)： IQR = Q3 Q1 孤立点：通常我们认为：挑出落在至少高于第三个四分位数或低于第一个四分位数 1.5×IQR处的值,Data Mining,wycapustc.edu.cn,24/32,度量数据的离散度 （2）,五数概括: min, Q1, Median, Q3, max 盒图：数据分布的一种直观表示 方差和标准差 方差s2：n个观测之x1,x2.xn的方差是 标准差s是方差s2的平方根 标准差s是关于平均值的离散的度量，因此仅当选平均值做中心度量时使用 所有观测值相同则 s0，否则 s0 方差和标准差都是代数度量,Data Mining,wycapustc.edu.cn,25/32,盒图示例,盒图：数据分布的一种直观表示，在盒图中： 端点在四分位数上，使得盒图的长度是IQR 中位数M用盒内的线标记 胡须延伸到最大最小观测值 该盒图为在给定时间段在AllElectronics的4个分店销售的商品单价的盒图 分店1 中位数$80 Q1: $60 Q3: $100,Data Mining,wycapustc.edu.cn,26/32,使用盒图的数据离散的可视化描述,Data Mining,wycapustc.edu.cn,27/32,基本统计类描述的图形显示直方图,常用的显示数据汇总和分布的方法： 直方图、分位数图、q-q图、散布图和局部回归曲线 直方图：一种单变量图形表示方法 将数据分布划分成不相交的子集或桶，通常每个桶宽度一致并用一个矩形表示，其高度表示桶中数据在给定数据中出现的计数或频率,Data Mining,wycapustc.edu.cn,28/32,分位数图,一种观察单变量数据分布的简单有效方法 显示所有的数据，允许用户评估总的情况和不寻常情况的出现 绘出了分位数信息 设xi是递增排序的数据，则每个xi都有相对应的fi，指出大约有100 fi 的数据小于等于xi,Data Mining,wycapustc.edu.cn,29/32,分位数分位数图（Q-Q 图）,对着另一个单变量的分位数，绘制一个单变量分布的分位数 允许用户观察是不是有从一个分布到另外一个分布的迁移,Data Mining,wycapustc.edu.cn,30/32,散布图,确定两个量化的变量之间看上去是否有联系、模式或者趋势的最有效的图形方法之一 散布图中的每个值都被视作代数坐标对，作为一个点画在平面上 易于观察双变量数据在平面上的分布,Data Mining,wycapustc.edu.cn,31/32,loess曲线,loess曲线为散布图添加一条平滑的曲线，以便更好的观察两个变量间的依赖模式 Loess (local regression)意指“局部回归”，为了拟合loess曲线，需要两个参数：平滑参数 ，被回归拟合的多项式的阶,Data Mining,wycapustc.edu.cn,32/32,第2章 数据预处理,为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成,Data Mining,wycapustc.edu.cn,33/32,数据清理,业界对数据清理的认识 “数据清理是数据仓库构建中最重要的问题”DCI survey 数据清理任务 填写空缺的值 识别离群点和平滑噪声数据 纠正不一致的数据 解决数据集成造成的冗余,Data Mining,wycapustc.edu.cn,34/32,空缺值,数据并不总是完整的 例如：数据库表中，很多条记录的对应字段没有相应值，比如销售表中的顾客收入 引起空缺值的原因 设备异常 与其他已有数据不一致而被删除 因为误解而没有被输入的数据 在输入时，有些数据应为得不到重视而没有被输入 对数据的改变没有进行日