数据治理技术知识点整理

数 据又不能共享不 数据治理技术知识点整理必需保留好和考纲一路保留好第一章：熟悉数据治理技术感受数据治理技术数据是人类社会的一种重要信息资源，是对现实世界中客观事物的符号化表示。数据治理是指对数据的搜集、分类、组织、编码、存储、查询和保护等活动。数据治理技术确实是指与数据治理活动有关的技术。数据库技术要紧应用于数据密集型应用的领域，这种数据密集型应用要紧由以下一些特点： （1）涉及的数据量专门大，数据一样需要寄存在外存中，内存只能临时存储 很小的一部份。（2 ）数据必需长期保留 在运算机系统中，不随应用程序运行的终止而消失 ，如银行系统必 需长久的保留储蓄用户的信息。（3）数据要为多个应用程序所共享，或者要求在一个单位或更大范围内共享。了解数据治理技术的变迁（1）人工治理时期1、没有专门的软件用来治理数据，治理数据需要依托应用程序本身来处置。2、数据和程序是紧密联系，一组数据只能对应一个应用程序，而。3、数据通常包括在程序中， 有独立性，一旦数据的结构发生转变，应用程序就要 作相应的修改。（2）文件系统时期一、数据独立性差二、数据冗余度大（没用的数据太多）3、数据的平安性和完整性难以保障。（3）数据库系统时期数据库治理系统：DBMS数据库：DB数据库治理系统是对数据库进行治理的通用软件系统，是数据库系统的核心。数据库治理系统具有三大功能：数据概念数据操纵数据库运行操纵数据库治理系统提供两种不同类型的语言：数据概念语言：概念数据库结构数据操纵语言：表达数据库的查询和更新数据库系统与人工治理和文件系统相较的区别：1、数据结构化。与文件系统的全然区别。2、数据共享。文件系统大体不能共享。数据库系统能够，且冗余度（没用的东西）小。3、数据具有较高的独立性。4、数据的平安性取得保证。数据的平安性和完整性由 DBMS 统一治理。熟悉数据库一张二维表在关系数据库中称作关系。（二维表确实是咱们平常常见的表，操作题中咱们一直做 的 92 那题确实是创建二维表，93 那题确实是在创建好的二维表中输入数据）关系数据库中，咱们用表格的形式来存储数据。表中的列称作字段（参照 92 那题中咱们设置的字段名，确实是给咱们要创建的字段命名） 表中的行称作记录（参照 93 那题，咱们输入的每一行都是一个记录）并非是所有的二维表都能称作关系。关系数据库规定，在关系数据库中的二维表（记得：关系数据库中的二维表叫做关系），必需知 足一下条件：1、表中的一列的数据类型必需相同。（例如：姓名那一列，设置的数据类型是文本型，不能显现 整型等其他数据类型。）2、表中不许诺有重复的字段（例：同一张关系表不能同时存在两个字段名都是“姓名”的字段， 因为没成心义。）3、表中不该该有内容完全相同的行（例：一张学生表中不能同时存在两个9 班 43 号张三，因为 这两条记录都表示同一个人。但能够存在一个 9 班 43 号张三，和一个 10 班 43 号张三，因为这两条 记录表示的是两个不同的人。）4、任意互换两行、两列，不阻碍整个表的内容，行和列的排列顺序是无关紧要的。5、表中的每一个字段必需是简单数据项，而不是组合数据项（组合数据项参照“统计表.xls”那 题中题目行，那个确实是组合数据项。）常见的数据库治理系统 SQLserver，Oracle，Sybase，FoxPro，Access关键字 ：唯一标识一条记录。（例如：一个学生的学号能够唯一的确信一个学生，因此学号确实 是关键字，可是一个学生的姓名不能唯一的标识一个学生，因为可能存在同名同姓的人，因此姓 名不是关键字）第二章：构建关系数据库成立数据库的进程：1、数据的搜集与分类2、成立“实体联系”模型 ER 图3、将 E-R 图转换为关系数据模型4、创建数据库数据的分析与建模概念模型：现实世界的具体事物通过人们的熟悉、整理、分类以后在信息世界的表现形式。 数据模型：对现实世界数据特点的抽象表示，通常具有严格的概念，以便在机械上实现。 （明白得辅助：概念模型确实是咱们熟悉的世界，可是那个熟悉不能存储到运算机中，咱们就要将它用必然的二进制数来表示，如此就能够够将咱们熟悉的世界记录到运算机中。就像拍照，咱们看到的景色是无法存储到运算机中的，就必需借助相机，将咱们看 到的景色拍成数码相片，如此就能够够在运算机中存储。）现实世界用户观点信息世界（概念模型）机器观点机器世界（数据模型）现实世界：真是存在的世界信息世界：现实世界在头脑中的反映信息世界的术语：实体：客观存在能够彼此区别的事物称为实体。例如：一个人是一个实体，一本书是一 个实体，一辆车是一个实体属性：实体的特点称为属性。一个实体能够拥有多种属性。例如：一个学生包括姓名、 性别、班级、座号属性。键：能在实体中唯一标识一个实体的属性称为键。键能够只包括一个属性，也能够包括 多个属性。例如：学号确实是一个学生的键，因为学号能够唯一确信一个学生。学校+年段+ 班级这三个属性结合能够唯一确信班主任。联系：在现实世界中，事物内部和食物之间是有联系的，这些联系在信息世界中反映实 体内部的联系和实体之间的联系。机械世界：又称数据世界，信息世界中的信息通过抽象和组织，以数据形式存储在运算机中，就 成为机械世界。机械世界的经常使用术语：字段：字段用来标记实体的一个属性，它是能够命名的最小信息单位 。（关系表中一列 确实是一个字段）记录：记录是有必然逻辑关系的字段的组合。（关系表中一行确实是一条记录） 文件：文件是同一类记录的集合。关键字：关键字是能够唯一标识一条记录的字段。它能够是一个字段，也能够是多个字 段。关键字与信息世界的键相对应。三个世界的术语对照表现实世界对象特征总体关键特征 事物及其联系信息世界实体属性实体集键概念模型机器世界记录字段文件关键字数据模型实体名成立关系数据模型 实体集属性名属性联系名联系E-R 图的大体元素正校长学生学生1 n m担任所在所在属性名1 1 n学校一对一联系班级一对多关系班级多对多关系（注意看那个图，有 时候联系也有属性）实体集间的三种联系成立实体-联系模型（E-R 模型）的四个步骤1、确信实体2、确信相关实体的属性3、确信实体之间的联系类型4、设计出 E-R 图所表示的概念模型。E-R 图转换成关系数据模型，一样分两步：（数据治理技术讲义 P25）1、将每一个实体集转换成一个二维表；2、将实体集之间的联系转换成一个二维表。其他常见的数据模型：层次模型：实体间的联系一层一层（参照数据治理技术讲义 P27） 网状模型：实体之间的联系彼此交叉（明白层次和网状长什么样就好 ）关系模型：关系表成立的模型创建数据库的结构编辑数据库关系数据库标准化思想标准化处置的目的：对关系模式进行分解与转换，以排除数据冗余（没用的数据重复太多）、插 入异样（数据无法插入）、删除异样（数据无法删除）等不正常现象。关系模式标准化：确实是对关系模式进行某种处置，使它知足必然的标准化要求。关系模式标准化的形式能够分成六级，每一级称为一个范式（NF），记为 XNF，其中 X 表示级 别。第一范式（1NF）：若是关系模式 R 的每一个属性的域都只包括单纯值，而不是一些值的集合， 那么称 R 知足第一范式。第二范式（2NF）：若是关系模式 R 知足第一范式，且它的任一非关键字属性都函数依托于任一 候选关键字，那么成 R 知足第二范式。函数依托：若是关于属性 A，有且只有一个属性 B 与之对应，也确实是说，A 决定 B，咱们就说 B 函数依托于 A。第三范式（3NF）：若是关系模式 R 知足第二范式，且每一个非关键字属性都不传递依托于候选 关键字，那么称 R 知足第三范式。第三章：利用数据库数据段排序和挑选数据的查询数据的统计和报表输出数据的导入、链接和导出结构化查询语言 SQL结构化查询语言（SQL）是关系数据库的标准语言。SQL 语言具有以下特点：1、数据描述、操纵、操纵等功能一体化a) 数据概念语言，用于概念、撤销和修改数据库、表、视图及索引。b) 查询语言，用于查询数据c) 数据操纵语言，用于增、删、改数据d) 数据操纵语言，用于数据访问权限的操纵2、两种利用方式，统一的语法结构a) 交互式联机利用方式。适合对系统的保护。b) 嵌入到某一种高级语言中利用。要紧用于应用程序的开发。3、高度的非进程化。利用 SQL，用户只要提出“干什么”，而无需具体指明“怎么干”，像 存取途径选择和具体处置操作等，均由系统自动完成。4、语言简练，易学易用。SQL 的核心动词SQL 功能数据查询 数据定义（对表操作）动词SELECT（查询） CREATE，DROP，ALTER数据操纵（对数据操作） INSERT（插入数据），UPDATE（修改数据），DELETE（删除数据）数据控制SQL 语句CREATE TABLEALTER TABLEDROPCREATE INDEX第四章：开发数据库应用系统 数据库应用系统简介GRANT,REVOKE数据定义查询语句功能功能创建表将新字段或限制条件添加到已有的表中 从数据库中删除表，或从字段、字段组中删除一项索引创建字段或字段组的索引数据库应用系统是指针对某个特定目标，成立在数据库治理系统之上的运算机应用系统。数据库强调的是数据数据库治理系统强调的是对数据库进行存储和治理的系统软件数据库应用系统强调的是面向具体应用的应用软件数据库应用系统中一样有三类用户：1、数据库治理员（DBA）2、系统开发人员3、终端用户数据库应用系统的开发流程：1、需求分析2、系统设计3、系统实现4、系统测试与保护需求分析与系统设计需求分析最重要的目标确实是：弄清楚系统究竟要“做什么”系统设计最重要的目标确实是：明确系统究竟要“怎么做”系统设计分为：一、功能设计2、界面设计系统功能的实现软件测试与数据库保护软件测试的目的确实是在软件投入正式运行之前，尽可能多的发觉并排除软件中潜在的和隐藏的 错误，最终将一个高质量的软件系统交给用户利用。软件测试分为三个时期：1、单元测试：每一个模块编写完成以后就对它进行测试，以保证每一个模块都能正常运行。2、集成测试 ：单元测试完成后才进行集成测试。把各个功能模块依照设计要求组装起来进 行测试，要紧目标是发觉与接口有关的问题。3、验收测试：目的是向以后用户说明，系统能够像预定要求那样工作。a) 黑盒测试：明白系统应该具有的功能，能够通过测试来查验是不是每一个功能都能 正常利用。例如网游的公测。b) 白盒测试：明白系统内部的工作进程，能够通过测试来查验系统内部是不是依照设 计要求的规定正常运行。第五章：数据库技术新进展新一代数据库技术数据仓库与数据挖掘数据处置大致分为两类