能源云数据平台建设项目技术方案

1、能源云数据平台建设项目技术方案目录1项目背景42需求理解53项目目标63.1建立健全的数据管理体系63.2为未来的大数据平台建设提供基础保障73.3提升对现有业务系统及数据平台的管理水平83.4帮助新奥能源建立自己的数据管理能力83.5建立云端大数据平台支撑业务创新和管理变革84项目范围94.1云数据平台架构规划设计94.2数据管理体系咨询与设计94.3云数据平台建设与实施94.4数据分析展示应用设计开发105总体方案概述115.1总体方案架构115.2总体方案说明116技术方案136.1技术方案136.2产品配置清单516.3产品功能清单526.4平台部署架构1397实施方案1407.1项目要求1407.2项目实施计划1427.3主要人员及其技术资格一览表1437.4项目管理及质量控制1587.5交付成果及形式要求1668售后与技术支持1678.1普元的服务体系与能力1678.2服务水平协议1738.3服务期限1739数据管理参考案例1779.1江西电力数据资产管理项目1779.2国家开发银行数据管理系统项目1839.3上海银行数据治理平台1879.4中国移动数据管理系统1899.5

2、浙江省财政厅云搜索一期项目1919.6金关二期海关情报分析系统建设项目1941 项目背景随着大数据时代的来临，面对爆发式增长的海量数据，基于传统架构的信息系统已难以应对，同时传统商业智能系统和数据分析软件，面对以视频、图片、文字等非结构化数据的大量数据时，也缺少有效的分析工具和方法。基于公司现有ERP系统、BW数据仓库和BO工具生成报表已经不能很好的满足公司运营管理需求，且现有BW中数据模型越来越复杂，无法对数据变更产生的影响和数据流转过程进行追溯，数据的及时性、准确性也无法保证。通过搭建大数据平台是解决上述问题的有效途径，如下图：其中数据管理平台是大数据平台的必要组成部分。借助数据管理工具能够更加有效的发掘和利用信息资产的价值，提升数据资产的可信度，实现精准高效的分析和决策，推进系统变更管理，降低项目风险。通过数据管理平台元数据抓取、数据模型管理、报表指标管理、数据质量监控等能力，绘制企业级数据全景地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更，并通过开放元数据的基础数据能力，为灵活多变的元数据应用提供元数据基础服务支持；为大数据平台的日常运维和数据质量管理提供数据链路

3、分析功能支持。2 需求理解1）数据平台中数据内容繁多，难以全面掌控。通过多年的信息化建设和运营，新奥能源已经建立了完善的业务应用系统，有效的支撑了核心业务的创新和发展，但随着应用系统的增多，数据量和数据应用环境增大，在对这些数据进行使用的过程中逐渐存在不合理、不统一的问题。目前新奥能源信息化系统架构主要划分了3层，包括源系统层、数据仓库层及数据应用层。l 源系统层包括ERP系统、CCS系统、EAS财务系统、加气站管理系统等。l 数据仓库层由BW构建，ERP系统体系内的数据由BW直接抽取，其他系统由ETL工具dataservice抽取，抽取汇总后进行指标的提取和统计分析。l 数据应用主要包括门户和报表展现，展现的工具有SAP BO、BW的Query、管理员驾驶仓，展现直接嵌入门户，也有自装客户端进行报表展现。2）数据平台中数据的流转和逻辑过程复杂，难以追溯数据来源。公司目前没有统一的数据资产标准，各业务系统中数据质量参差不齐，存在信息孤岛现象，不同部门同一名称数据可能有不同的含义，同一个数据可能又有不同的命名，数据有效交互和共享存在问题。存在部分系统数据更新不及时的问题，核心业务数据无法

4、朔源，数据的准确性和及时性较低，现有报表在建模时几乎每个报表都要重复建模，人为参与工作过多且层次复杂，无法高效的对流程及指标进行精确监控及分析，数据的利用效率和模型重复使用率较低。由于没有统一的工具提供统一的数据流视图，无法实现数据台账可视化管理、数据来源的可追朔以及数据质量监控全过程管理等功能，对于在应用层的结果数据无法追溯数据流转和处理过程，也无法对于数据变更产生的影响进行分析，在数据资产的管理上消耗很多人力和时间成本，降低了公司的数据管理水平和数据使用效率。3）业务部门对数据结构和质量无法管控目前数据管控的发展方向和需求是由业务部门提出，但业务人员对公司复杂的系统无法进行全面深入掌握，特别是技术层面。为了使业务部门从数据结构到数据质量上更好的管控，梳理业务系统与数据库结构关系，成为目前急需解决的问题之一。4）需要新型的大数据平台挖掘数据价值新奥能源目前正在规划未来的大数据平台，以应对日益增长的业务数据并从中挖掘更多价值，增强企业竞争力。作为新规划的大数据平台，要充分利用现有数据平台实施和运维过程中积累的经验，同时避免一些已经发现的问题。因此，需要在大数据平台规划时对新的平台在数据

5、规范、实施、管理、分析方面进行考虑，避免发生现有平台已经存在的问题。3 项目目标项目目标是依托新奥业务发展对各应用系统的数据管理进行整体规划，完成数据价值链的挖掘，引导建立数据管理体系，最终形成能满足企业数据发布及数据分析应用的数据应用系统。云数据平台是践行信息化建设从流程为中心转向以数据为中心的核心架构，支撑日常统计分析、实时业务运营监测、经营度量分析、业务&管理评估、规划、预测、决策支持、业务优化及变革等行为，践行智慧企业。3.1 建立健全的数据管理体系通过企业数据成熟度模型系统评估和分析新奥能源现有情况，建立健全数据管理体系，解决企业现在面临的数据方面问题。数据管理体系主要包含以下几个部分：l 梳理数据资产关系，制定管理目标制定数据资产管理目标，根据数据使用、问题分类采用不同的策略解决，保障数据管理目标实现。通过梳理企业的数据资产关系，帮助管理人员全面掌握和理解企业数据资产现状及数据间的影响和依赖关系。l 建立企业的数据资产目录建立企业内数据资产目录，实现相关人员对企业内数据资产的全面掌握。明确数据资产的所有者、管理者和使用者的主要工作任务和职责，清晰界定并有效整合这三个角色，泛

6、化到数据管理整个过程涉及到的业务部门等组织实体。l 建立数据管理组织架构，落实数据管理设计专门的，责任到岗的联合组织架构，制定数据管控政策，保障数据的质量和日常使用，确保有人跟踪、协调、解决数据使用中遇到的重大问题。l 完善数据管控流程和规范，提高数据质量制定数据管理工作制度规范，从数据管控和数据运维的专业视角提出管控需求，制定管理规范，包括时间、工具、方法模板；针对组织架构中各方的职责，构建数据管理如数据采集创建、数据资产变更、数据质量问题处理、数据分级授权使用等工作流程，形成流程体系，促进各项管理工作流程化和标准化，使得任务相关的各方能够紧密协作，推进各项工作顺利进行。深化数据治理工作，为分析数据统计方式的科学性、合理性奠定基础，提升数据质量，为企业及时、快速掌握企业经营健康情况提供有效途径，为业务系统提供集中服务的数据环境。3.2 为未来的大数据平台建设提供基础保障新奥能源的大数据平台正在规划中，部分业务模型已完成梳理工作，明确了业务、系统和数据三者的关联关系，并形成相应文档。通过建立数据治理平台，将已梳理的数据资产系统化，构建数据资产地图，将数据资产形成可视化的统一管理界面，实

7、现数据资产管理工作的可视性、全面性和统一性。在大数据平台建设过程中，通过数据治理平台可随时对业务模型的设计态与运行态进行比对，及时发现实施过程中与设计的偏差，确保最终实现与设计的一致性，为大数据平台实施提供可靠的保障。有效改善系统实施不规范的现象，逐步推动企业信息化系统向标准化、规范化方向发展，也为系统的稳定性、可靠性提供坚实的基础。3.3 提升对现有业务系统及数据平台的管理水平目前新奥能源的数据平台以BW为基础，主要为生成报表服务，但报表的业务模型复杂且没有进行系统化的管控，数据质量无法得到保证。通过数据治理平台，摸清这些数据资产的情况，形成数据资产地图，实现对数据模型变更时进行影响分析、对任意点的数据进行溯源分析，减少系统变更、维护、升级的时间以及减少误操作，使系统运行、应用系统升级、数据迁移更加便利高效，降低系统运行和维护操作的风险，提升IT运维能力；同时基于数据治理平台灵活、全面的业务数据规则检核机制，对业务数据进行质量监控和分析，帮助数据平台进行数据质量的提升，确保业务数据在企业范围内的及时性、准确性、完整性、唯一性。3.4 帮助新奥能源建立自己的数据管理能力在与新奥能源一起

8、进行数据治理体系建设、数据治理平台实施的过程中，帮助新奥能源的业务部门和IT部门建立自己的数据治理能力，而不仅仅是提供一个工具或系统。企业自身掌握数据治理能力，可以持续的为后续不断增多的数据应用需求提供数据治理服务，在未来从大数据中挖掘业务价值时更好的提供支撑，不断提升企业的竞争实力。3.5 建立云端大数据平台支撑业务创新和管理变革帮助新奥能源建立基于云端的大数据分析平台，未来的大数据平台既可以作为独立的分布式大数据系统进行部署，也可以灵活部署在专有云上，为公司各业务部门及合作伙伴等提供统一的大数据分析云服务。通过对新奥能源业务的分析梳理，场景应用建模，实现新奥能源业务的数字化，将数据作为新奥能源的“第二种清洁能源”，充分挖掘数据资产价值，发挥存量价值，发现增量价值，数据资产将成为新奥能源的核心价值资产。大数据平台可以帮助新奥能源建立业务的分析预测模型，驱动新奥能源全价值链业务的创新发展，及时洞察清洁能源市场的变化，适时转变管理方式，变流程驱动为数据驱动，树立数据为中心的管理理念，沉淀知识资产，打造新奥能源智能运作体系。4 项目范围4.1 云数据平台架构规划设计从新奥整体云数据平台的定

9、位出发，设计平台的总体架构，为本期建设以及后续建设指明方向。主要工作内容包括：l 云数据平台的总体逻辑架构设计；l 云数据平台的集成架构设计；l 云数据平台的数据架构设计；l 云数据平台的应用架构设计；l 云数据平台的部署架构设计；l 云数据平台的安全架构设计。4.2 数据管理体系咨询与设计数据管理体系是保障可持续数据管理的组织、流程、工具的总体框架体系。本部分内容需要在项目前期进行咨询设计，用以指导后续的项目实施，以及未来的常态化数据管理：l 新奥数据治理成熟度评估；l 梳理和建立数据资产目录；l 建立数据管理组织架构；l 制定数据管理流程与制度；l 梳理数据质量检核规则。4.3 云数据平台建设与实施4.3.1 数据分析平台数据分析平台主要实现数据的采集、大数据处理分析，平台建设与实施主要工作内容包括：l 数据集成平台的安装部署与配置调优；l 大数据处理平台的安装部署与配置调优；l 大数据流程调度平台的安装部署与配置调优；l 数据集成作业、作业流开发配置；l 数据采集接口设计开发；l 大数据分析组件扩展设计开发。4.3.2 数据展示平台数据展示平台主要实现大数据展示仪表板、报表、移动设备展示等内容进行开发配置。平台建设与实施主要工作内容包括：l 数据展示平台的安装部署与配置调优；l 数据展示控件与皮肤样式调整。4.3.3 数据管理平台数据管理平台主要实现元数据管理、数据质量管理，并基于元数据管理实现数据问题追溯、影响分析、数据资产盘查等一系列应用。平台建设与实施主要工作内容包括：l

《能源云数据平台建设项目技术方案》由会员尘**分享，可在线阅读，更多相关《能源云数据平台建设项目技术方案》请在金锄头文库上搜索。