数据仓库教材

中科信软高级技术培训中心www.info-数据仓库高级应用数据仓库高级应用中科信软高级技术培训中心www.info-课程内容v数据仓库和商业智能的关系v数据仓库的概念和术语v设计，分析，和管理数据仓库项目v数据仓库建模v构建数据仓库: 抽取数据简介v元数据简介v数据仓库基本概念介绍v定义数据仓库的商业和逻辑模型v创建维模型v创建物理模型v物理模型的存储vETL策略vBIEE开发详解vOracle数据仓库解决方案面临的问题面临的问题人们在日常生活中经常会遇到这样的情况：v超市的经营者希望将经常被同时购买的商品放在一起，以增加销售；v保险公司想知道购买保险的客户一般具有哪些特征；v医学研究人员希望从已有的成千上万份病历中找出患某种疾病的病人的共同特征，从而为治愈这种疾病提供一些帮助；v企业面临的问题企业面临的问题v经过多年的计算机应用和市场积累，许多企业保存了大量原始数据和各种业务数据, 它是企业生产经营活动的真实记录v由于缺乏集中存储和管理，这些数据不能为本企业加以利用, 不能进行有效的统计、分析及评估，无法将这些数据转换成企业有用的信息数据数据Bao Zha问题问题自动的数据收集工具和成熟的数据库技术导致巨大的数据存储在文件系统、数据库和其它的信息库中 。我们会淹没在数据中, 但却为信息、知识所饿! 面临的挑战面临的挑战v如何在堆积如山的企业交易数据中发现具有商业价值的闪光点？v如何使您的企业或组织在激烈的市场竞争中保持对客户的吸引力？v如何预先发现和避免企业运作过程中不易察觉的商业风险？7商业智能是对商业信息的搜集、管理和分析过程。商业智能的目的是使企业的各级管理者获得知识或洞察力，促使他们做出对企业更有利的决策。 什么是商业智能什么是商业智能商业智能概述商业智能概述商业智能概述商业智能概述商业智能是指通过对商业智能是指通过对数据数据的收集、管理、分析以及转化，使数据成为可的收集、管理、分析以及转化，使数据成为可用的用的信息信息，从而获得必要的，从而获得必要的洞察力洞察力和和理解力理解力，更好地辅助，更好地辅助决策决策和指导和指导行动。行动。其基本体系结构包括：其基本体系结构包括： 数据仓库数据仓库, ,多维分析多维分析(OLAP),(OLAP),数据挖掘数据挖掘。OLTP数据仓库数据分析决策支持企业知识商业智能概述商业智能概述中科信软高级技术培训中心www.info-OLAP技术技术101.从不同的数据源收集的数据中提取有用的数据，对数据进行清理以保证数据的正确性；2.将数据经转换、重构后存入数据仓库或数据场（这时数据变为信息）；3.选择合适的查询和分析工具，数据挖掘工具，OLAP工具对信息进行处理（这时信息变为辅助决策的知识）；4.将知识呈现于用户面前，转变为决策。商业智能的处理过程 商业智能概述商业智能概述11企业决策企业决策企业管理企业管理管理信息系统管理信息系统MIS商业智能系统商业智能系统BIS商业智能的地位商业智能的地位数据仓库和商业智能关系数据仓库和商业智能关系中科信软高级技术培训中心www.info-数据仓库和商业智能关系在早期，业务人员考虑如何实现自动化.计算机发展史计算机发展史在数据库应用的早期，计算机系统所处理的是从无到有的问题，是传统手工业务自动化的问题。例如银行的储蓄系统、电信的计费系统，它们都属于典型的联机事务处理系统。computer手工业务自动化手工业务自动化computercomputer很快就建立了许多应用系统，在当时，一个企业可以简单地通过拥有联机事务处理的计算机系统而获得强大的市场竞争力。联机事务系统的建立联机事务系统的建立联机事务系统的建立（续）联机事务系统的建立（续）v当时单位容量的联机存储介质比现在昂贵得多，相对于市场竞争的压力，将大量的历史业务数据长时间联机保存去用于分析显然是过于奢侈了。因此，联机事务处理系统只涉及当前数据，系统积累下的历史业务数据往往被转储到脱机的环境中。v在计算机系统应用的早期，还没有积累大量的历史数据可供统计与分析。从而，联机事务处理成为整个80年代直到90年代初数据库应用的主流。 中科信软高级技术培训中心www.info-联机事务系统的功能联机事务系统的功能在数据仓库以前大都是事物处理系统(OLTP)的天下（1965 -1990）这个现状持续了 25 年，它主要实现 - 数据的收集 - 数据的存储 - 数据的在线存取联机事务系统的问题联机事务系统的问题中科信软高级技术培训中心www.info-但是在OLTP系统中存在着若干问题- 数据不是综合的- 没有历史数据- 没有汇总数据computercomputercomputerQ1Q2Q3Q1Q2Q3Q4管理者想要了解公司的情况管理者想要了解公司的情况数据集成问题数据集成问题有多少品种有多少品种?computer缺乏数据集成不是一个唯一缺乏数据集成不是一个唯一的问题的问题- 历史数据的缺乏是另一个历史数据的缺乏是另一个应用问题应用问题- 在过去的三年中，我的帐户每月平均余额在过去的三年中，我的帐户每月平均余额是多少是多少?- 我怎样才能知道这些数字我怎样才能知道这些数字?- 我的帐户现在有多少钱我的帐户现在有多少钱?- 你有你有 2,704.87元元历史数据问题历史数据问题computer另一个问题是汇总另一个问题是汇总 .- 发往发往A公司的货物在哪里公司的货物在哪里?- 在出厂中心，将于下周一运到在出厂中心，将于下周一运到-我们上个月、去年有多少货物发往我们上个月、去年有多少货物发往A公司公司?- 有多少货物准时到达有多少货物准时到达? 晚到晚到? 发生货损发生货损?- 我要写个汇总报告我要写个汇总报告.汇总问题汇总问题computer - 贯穿公司的数据集成贯穿公司的数据集成? - 公司的历史数据公司的历史数据? - 详细数据及汇总数据详细数据及汇总数据?获取信息的重要因素获取信息的重要因素应用在不断地进步，当联机事务处理系统应用到一定阶段的时候，企业家们便发现单靠拥有联机事务处理系统已经不足以获得市场竞争的优势；他们需要对其自身业务的运作以及整个市场相关行业的态势进行分析，从而做出有利的决策。决策的需要决策的需要决策需要对大量的业务数据包括历史业务数据进行分析才能得到，而这种基于业务数据的决策分析，我们把它称之为联机分析处理。如果说传统联机事务处理强调的是更新数据库向数据库中添加信息，那么联机分析处理就是要从数据库中获取信息、利用信息。联机分析处理联机分析处理中科信软高级技术培训中心www.info-业务系统业务系统DSS（决策决策支持系统）支持系统）现在现在1990数据集市数据集市ODS近线存储器近线存储器探索探索仓库仓库数据仓库概念的诞生数据仓库概念的诞生1、及时获取生产管理综合信息，为决策者提供科学分析依据；2、改善管理能力，可以得到凭直觉无法得到的结论；3、对转瞬即逝的机会快速作出反应，提高竞争能力；4、既能够管理宏观信息也能够管理微观数据，可以追朔历史；数据仓库的优点数据仓库的优点5、建立企业内部各部门之间的合作关系。 6、提供了面向主题的信息架构，存取数据 方便，业务用户也能方便的取用这些数据。 7、开拓了进一步探索和研究的广阔空间数据仓库支持进一步的探究，以发现数据所形成的趋势、构成的模式及其间的关系，这可引导用户改进现行的业务处理过程或作出正确的决策。8、改善客户关系管理，让客户能获得更多的好处。数据仓库的优点（续）数据仓库的优点（续）使用数据仓库来加速商业决策和提高决策的质量使用数据仓库来加速商业决策和提高决策的质量中科信软高级技术培训中心www.info-中科信软高级技术培训中心www.info-课程内容v数据仓库和商业决策的关系v数据仓库的概念和术语v设计，分析，和管理数据仓库项目v数据仓库建模v构建数据仓库: 抽取数据简介v元数据简介v数据仓库基本概念介绍v定义数据仓库的商业和逻辑模型v创建维模型v创建物理模型v物理模型的存储vETL策略vBIEE开发详解vOracle数据仓库解决方案30数据仓库概述数据仓库概述v数据仓库的产生 1988年IBM爱尔兰公司第一次提出了“信息仓库”的概念。90年代初数据仓库的基本原理、框架架构，分析系统的主要原则都已经确定，主要的技术已具备，一些公司开始建立数据仓库。92年美国著名的信息工程学家William H.Inmon 在Building the Data Warehouse（建立数据仓库）一书中首先系统的阐述了数据仓库的思想、理论。被人们尊称为“数据仓库之父”。 31数据仓库概述数据仓库概述v数据仓库的发展过程1995年开始盛行，作为数据库的高端扩展技术一直是一大热点。IBM所推崇的商业智能（BI）核心就是数据仓库；微软的SQL Server 7.0 已经绑定了OLAP服务器，将数据仓库功能集成到数据库中，并建立了数据仓库联盟；Oracle公司的Oracle Express系列OLAP产品用来提供决策支持。 32数据仓库概述数据仓库概述v数据仓库的定义数据仓库的定义W.H.Inmon的定义：数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员的决策。公认的定义：数据仓库（Data Warehouse，DW）是面向主题的、集成的、不可更新的（稳定性）随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。 v数据仓库一般采用业界主流的关系数据库数据仓库一般采用业界主流的关系数据库如Oracle、DB2 、Informix、SQL Server等数据仓库四大特性数据仓库四大特性v面向主题的（Subject Oriented）数据仓库是面向在数据模型中已定义好的企业的主要主题域的。数据仓库的数据按照主题域组织数据，主题域是已一组相关的表来实现的。v集成的（Integrate）数据仓库集成企业多个数据源的数据，数据进入数据仓库之前要经过ETL过程。v相对稳定的（Non-Volatile）数据仓库中的数据是相对稳定的，一般不进行更新操作。v反映历史变化（Time Variant）数据仓库系统存储大量的历史数据，因此能够反映历史变化。34n从多个数据源搜集数据，存储于一个统一的数据模式下，通常驻留在单一站点。特点: 面向主题的，集成的，时变的，非易失的;数据仓库概述数据仓库概述数据仓库的概念、特点数据仓库的概念、特点从数据组织的角度来说，数据仓库是存储数据的一种组织形式，它从传统数据库中获得原始数据，先按辅助决策的主题要求形成当前基本数据层，再按综合决策的要求形成综合数据层。其最根本的特点是物理地存放数据，但这些数据并不是最新的、专有的，而是来源于其它数据库。数据仓库的数据量很大，是一般数据库数据量的几十甚至几百倍，大型数据仓库达到TB级数据仓库与业务数据库的比较数据仓库与业务数据库的比较数据仓库和数据仓库系统数据仓库和数据仓库系统v当今，IT系统已经进入到以应用为核心的时代，数据仓库已经不仅仅是一种理论和方法，而是一种实际的企业级应用v与之对应，我们试图描述的就是数据仓库系统。v数据仓库系统是一个信息提供平台，它从业务处理系统获得数据，主要以星型模型和雪花模型进行数据组织，并为用户提供各种手段从数据中获取信息和知识。 v数据仓库所对应的是整个企业的层面的整体信息视图，体现决策信息在企业的共性需求v数据集市可以理解为为部门范围级别的决策支持应用而设计的，其数据模型设计和数据组织上更多地服务于一个部门的信息需求v数据集市分为两种，即独立的数据集市（Independent Data Mart）和非独立的数据集市（Dependent Data Mart），中科信软高级技术培训中心www.info-独立数据集市与非独立数据集市区别独立数据集市与非独立数据集市区别中科信软高级技术培训中心www.info-数据集市数据集市B数据集市数据集市A数据仓库数据仓库数据集市数据集市D数据集市数据集市C非独立的数据集市非独立的数据集市独立的数据集市独立的数据集市数据源数据源独立数据集市与非独立数据集市区别