电子文档交易市场
安卓APP | ios版本
电子文档交易市场
安卓APP | ios版本

数据仓库的物理模型维护和优化

54页
  • 卖家[上传人]:F****n
  • 文档编号:93494822
  • 上传时间:2019-07-23
  • 文档格式:DOC
  • 文档大小:1.19MB
  • / 54 举报 版权申诉 马上下载
  • 文本预览
  • 下载提示
  • 常见问题
    • 1、摘 要自20世纪90 年代以来,计算机技术发展迅猛,各通信商逐步开发出新的BI系统。实现给通信领域提出了充分利用数据仓库技术,将现有的海量数据构造成为可用、可控、可扩展的数据组织,以适应通信领域各级主管和业务人员的分析需要。在本论文中从数据仓库需求分析包括参与成员、各个成员所起到的作用;逻辑模型建设通过软件设计,确定表之间的关系;物理模型建设中对表和过程进行详细的审核,用来支持所提出的需求;数据仓库设计以ODS、DWD、DWA为层次,采用横向分层纵向分域的理念,进行具体的实施建立,并在后期提供了错误的应急措施、数据仓库的维护和优化。关键词: 数据仓库,物理模型,维护和优化English abstractSince the nineteen ninties, computer technology is developing rapidly, the communication business gradually developed a new BI system. Reality to communication field is presented for fully using

      2、data warehouse technology to existing data structures become available, controllable, scalable data organization, to adapt to the field of communication at all levels of managers and business analysis.In this paper from the data warehouse requirement analysis includes the participation of members, each member of the role played by; logic model construction through software design, to determine the relationship between tables; physical model construction process table and detailed audit, used to

      3、support the proposed requirement; data warehouse design with ODS, DWD, DWA levels, the horizontally stratified longitudinal domain concept, specific implementation of the establishment, and in late stage provides error emergency measures, data warehouse maintenance and optimization.Keywords: data warehouse, physical model, maintenance and optimization目录第一章 数据仓库概述11.1 本论文采用数据仓库的目的11.2 数据仓库的定义和特点11.3 数据仓库与数据库21.5 元数据31.5.1 技术元数据31.5.2 业务元数据31.5.3 元数据的作用41.6 数据仓库发展方向51.6.1 数据仓库的产生和发展51.6.2 数据仓库发展趋势

      4、71.6.3 数据集市、集市群行业的发展方向81.6.4 基于Internet2、光处理器计算机和GGG技术的DW111.7建设数据仓库的必要性14第二章 数据仓库需求分析152.1 需求分析原因152.2 需求分析阶段152.2.1 需求分析成员确立162.2.2 需求会议18第三章 数据仓库总体设计193.1 数据仓库实施环境193.2 确定数据仓库开发的生命周期193.3 通讯数据仓库设计原则253.4 确定数据仓库系统的结构及各部分的主要功能26第四章 数据仓库详细设计314.1 逻辑模型设计314.2 物理模型设计32第五章 数据仓库实现345.1 ODS层建设345.1.1 接口数据抽取345.1.2 数据抽取策略355.1.3 ODS层的作用365.2 DWD层建设365.2.1 DWD定义365.2.2 实体选取的原则365.2.3 字段选取的原则375.2.4 数据转换375.2.5 数据加载技术及策略385.3 DWA汇总层建设395.4 DWA衍生层建设40第六章 数据仓库后期运维426.1 数据仓库测试42 6.1.1 分析源文件426.1.2 开发策略和测试计

      5、划426.1.3 测试的开发与执行436.2 数据仓库后期维护436.2.1 数据仓库数据清理436.2.2 数据仓库模型更改446.3 数据仓库性能优化446.3.1 调整数据库服务器的性能446.3.2 调整内存分配446.3.3 使用ORACLE的数据完整性约束456.3.4 使用数据库触发器456.3.5 使用存储过程466.3.6 应用程序调整46总结47致谢48参考文献49第一章 数据仓库概述1.1 本论文采用数据仓库的目的当前,通信行业(以联通为例)内部已经积累了大量的业务处理数据,但是这些数据分布在各级机构、各个部门中,而且数据的操作平台各异,有DOS 的、有Windows 的、有Unix 的、有Solaris 的;数据的来源复杂,有存储在硬盘上的,也有存储在磁带、光盘上的;数据的文件格式多样,有各种不同数据库的,也有文本文件型的,还有多媒体文件型的。这些数据是通信行业决策的宝贵信息资源,在构造新的系统时必须要善加利用。数据仓库技术为解决充分有效的利用超大容量、多平台数据资源这个问题提供了方法和手段,能够充分利用现有的海量数据资源,并从中找出对通信的运作和决策有价值的信

      6、息。1.2 数据仓库的定义和特点数据仓库是决策支持系统(dss)和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。(1) 数据仓库是面向主题的操作型数据库的数据组织面向事务处理任务,而数据仓库中的数据是按照一定的主题域进行组织。主题是指用户使用数据仓库进行决策时所关心的重点方面,一个主题通常与多个操作型信息系统相关。(2) 数据仓库是集成的数据仓库的数据有来自于分散的操作型数据,将所需数据从原来的数据中抽取出来,进行加工与集成,统一与综合之后才能进入数据仓库。(3) 数据仓库是不可更新的数据仓库主要是为决策分析提供数据,所涉及的操作主要是数据的查询。(4) 数据仓库是随时间而变化的传统的关系数据库系统比较适合处理格式化的数据,能够较好的满足商业商务处理的需求。稳定的数据以只读格式保存,且不随时间改变。(5) 汇总的操作性数据映射成决策可用的格式。(6) 大容量时间序列数据集合通常都非常大。(7) 非规范化的DW数据可以是而且经常是冗余的。(8) 元数据将描述数据的数据保存起来。(9) 数据源数据来自内部

      7、的和外部的非集成操作系统。 1.3 数据仓库与数据库数据库已经在信息技术领域有了广泛的应用,我们社会生活的各个部门,几乎都有各种各样的数据库保存着与我们的生活息息相关的各种数据。作为数据库的一个分支,数据仓库概念的提出,相对于数据库从时间上就近得多。美国著名信息工程专家William博士在90年代初提出了数据仓库概念的一个表述,认为:“一个数据仓库通常是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,它用于对管理决策过程的支持。”这里的主题,是指用户使用数据仓库进行决策时所关心的重点方面,如:收入、客户、销售渠道等;所谓面向主题,是指数据仓库内的信息是按主题进行组织的,而不是像业务支撑系统那样是按照业务功能进行组织的。集成,是指数据仓库中的信息不是从各个业务系统中简单抽取出来的,而是经过一系列加工、整理和汇总的过程,因此数据仓库中的信息是关于整个企业的一致的全局信息。 随时间变化,是指数据仓库内的信息并不只是反映企业当前的状态,而是记录了从过去某一时点到当前各个阶段的信息。通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。二者的联系:数据仓库的出现,并

      8、不是要取代数据库。目前,大部分数据仓库还是用关系数据库管理系统来管理的。可以说,数据库、数据仓库相辅相成、各有千秋。 二者的区别: (1) 出发点不同数据库是面向事务的设计,数据仓库是面向主题设计的。 (2) 存储的数据不同数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。 (3) 设计规则不同数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计。(4) 提供的功能不同数据库是为捕获数据而设计,数据仓库是为分析数据而设计。(5) 基本元素不同数据库的基本元素是事实表,数据仓库的基本元素是维度表。(6) 容量不同数据库在基本容量上要比数据仓库小的多。(7) 服务对象不同数据库是为了高效的事务处理而设计的,服务对象为企业业务处理方面的工作人员,数据仓库是为了分析数据进行决策而设计的,服务对象为企业高层决策人员。1.5 元数据元数据(Metadata)是关于数据的数据。在数据仓库系统中,元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据;元数据是描述数据仓库内数据的结构和建立方法的数据,可将其按用途的

      9、不同分为两类:技术元数据(TechnicalMetadata)和业务元数据(BusinessMetadata)。1.5.1 技术元数据技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使用的数据,它主要包括数据仓库结构的描述,包括仓库模式、视图、维、层次结构和导出数据的定义,以及数据集市的位置和内容;业务系统、数据仓库和数据集市的体系结构和模式。l 汇总用的算法,包括度量和维定义算法,数据粒度、主题领域、聚集、汇总、预定义的查询与报告。l 由操作环境到数据仓库环境的映射,包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则、安全(用户授权和存取控制)。1.5.2 业务元数据业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统之间的语义层。业务元数据主要包括以下:使用者的业务术语所表达的数据模型、对象名和属性名;访问数据的原则和数据的来源;系统所提供的分析方法以及公式和报表的;具体包括以下:l (1)企业概念模型这是业务元数据所应提供的重要的,它表示企业数据模型的高层、整个企业的业务概念和相互关系。(2) 多维数据模型这是企业概念模型的重要组成部分,确定业务分析人员在数据集市当中有哪些维、维的类别、数据立方体以及数据集市中的聚合规则。这里的数据立方体表示某主题领域业务事实表和维表的多维组织形

      《数据仓库的物理模型维护和优化》由会员F****n分享,可在线阅读,更多相关《数据仓库的物理模型维护和优化》请在金锄头文库上搜索。

      点击阅读更多内容
    最新标签
    发车时刻表 长途客运 入党志愿书填写模板精品 庆祝建党101周年多体裁诗歌朗诵素材汇编10篇唯一微庆祝 智能家居系统本科论文 心得感悟 雁楠中学 20230513224122 2022 公安主题党日 部编版四年级第三单元综合性学习课件 机关事务中心2022年全面依法治区工作总结及来年工作安排 入党积极分子自我推荐 世界水日ppt 关于构建更高水平的全民健身公共服务体系的意见 空气单元分析 哈里德课件 2022年乡村振兴驻村工作计划 空气教材分析 五年级下册科学教材分析 退役军人事务局季度工作总结 集装箱房合同 2021年财务报表 2022年继续教育公需课 2022年公需课 2022年日历每月一张 名词性从句在写作中的应用 局域网技术与局域网组建 施工网格 薪资体系 运维实施方案 硫酸安全技术 柔韧训练 既有居住建筑节能改造技术规程 建筑工地疫情防控 大型工程技术风险 磷酸二氢钾 2022年小学三年级语文下册教学总结例文 少儿美术-小花 2022年环保倡议书模板六篇 2022年监理辞职报告精选 2022年畅想未来记叙文精品 企业信息化建设与管理课程实验指导书范本 草房子读后感-第1篇 小数乘整数教学PPT课件人教版五年级数学上册 2022年教师个人工作计划范本-工作计划 国学小名士经典诵读电视大赛观后感诵读经典传承美德 医疗质量管理制度 2 2022年小学体育教师学期工作总结 2022年家长会心得体会集合15篇
    关于金锄头网 - 版权申诉 - 免责声明 - 诚邀英才 - 联系我们
    手机版 | 川公网安备 51140202000112号 | 经营许可证(蜀ICP备13022795号)
    ©2008-2016 by Sichuan Goldhoe Inc. All Rights Reserved.