行业大数据治理平台方案
行业大数据治理平台方案一、建设背景二、行业大数据治理平台方案三、核心功能介绍目录CONTENTS2发现规律：通过多源多维海量数据发现规律现状研判：通过数据统计和比对对现状进行描述科学预测：基于规律和现状，预测预警发展趋势综合服务：为社会各个方面提供知识成果与服务“资源是资产”“数据是资产”资产由企业及组织拥有和控制，能够提供增值服务、带来 经济利益的重要资源。资产不但需要管理，更需要运营。逻辑形式存在 间接或直接产生经济效益 不断增值、再利用 物理形式存在 直接产生经济效益 会折旧、会退网3数据是资产非结构化数据结构化数据交通应急数据 GIS地图数据驾驶员基础数据物流状态数据视频监控数据城市管理数据个人出行数据基础设施数据交通路况数据车辆基础数据物理资产数据资产数据大数据应用系统应用系统应用系统4信息系统建设方案的演变应用+平台应用系统一数一源规范服务当前数据管理的问题 传统的烟囱式建设模式，造成系统林立，数据分散并且封闭 为了支撑应用，相同的数据在不同系统之间 重复存放，造成资源的浪费数据开放共享的价值 数据开放共享，打破厂商垄断数据的局面，形成开放的生态格局 避免数据的重复存放，减少资源浪费统一5数据资产运营中的问题数据开放共享平台 数据整体质量不高，监管机制不健全。缺乏 面向数据质量的评估机制和数据质量的服务 体系 建立统一完善的数据质量体系，从数据质 量管理系统和数据服务体系两方面保障数 据的全程质量 数据共享困难，系统间接口繁多，实现复杂 度高，且可靠性难以保证 形成应用和数据分离的体系架构，底层 共享的数据统一支撑上层各种应用分散重复接口 复杂统一 治理质量 较差集中 共享 数据资产管理与企业IT信息化过程紧密相连，但对数据资产管理不仅仅是建设一 套IT系统，更需要相应管理手段的跟进。对数据资产的管理需涵盖规范、采集、加工、使用、优化、服务等数据资产的全 生命周期，这样管理的数据资产才能够好用、实用，真正体现数据作为资产的价 值。清洗加工数据质量管理数据采集数据 资产 运营标准规范应用6数据资产全生命周期管理数据采集 数据采集 数据录入 数据解析 数据汇总 数据存储数 据 质 量 管 理 数据标准化 资源建模 数据架构 场景定义 指标数据管理 数据交换 数据共享 数据库模式 API接口模式 发布订阅模式 数据抽取 数据转换 数据校验 数据关联 数据脱敏 指挥调度 统计分析 实时监测 流量预测 数据服务 准确性 完整性 及时性 安全性 开放共享清洗加工标准规范创新应用开放 共享创新一、建设背景二、行业大数据治理平台方案三、核心功能介绍目录CONTENTS7行业大数据治理平台 通过平台+服务的方式，支撑ICT、能源、特种等行业用户建立全面高效的数据资产管控环境，实现多源异构数据的集中、统一和共享交换。统一数据标准、进行数据整合与治理，保障数据安全，实现跨系统、跨部门、跨层级、跨地区的数据共享和开放。大数据治理平台数据资产管理数据质量管理数据湖 内部数据 外部数据 媒体数据 物联网/IOT数据 数据开发挖掘分析应用开发决策支撑数据治理业务应用数据标准管理数据安全管理交换共享服务元数据管理开放门户8统一标准综合治理行业大数据治理平台的价值 数据开放共享，打破厂商垄断数据的 局面，形成开放的生态格局 建立统一的数据标准，实现主数据统一 治理分发，保障一数一源，解决数据的关 联能力，保障信息交互、数据流通建立完善的数据质量保障体系，从数据 质量管理系统和数据服务体系两方面保 障数据的全程质量建立安全管控体系，对数据的分级分 类、使用状况梳理、访问控制、脱敏加 密以及定期的稽核保障数据的使用安全当前数据管理的问题 传统的烟囱式建设模式，造成系统林 立，数据分散并且封闭缺乏统一的数据标准，无法有效避免数 据混乱冲突，一数多源、多样多类等问 题 数据整体质量不高，监管机制不健全 。缺乏面向数据质量的评估机制和数据 质量的服务体系缺乏有效的数据安全管理机制，对敏 感信息隐私信息、保密信息的访问缺 乏有效控制 行业大数据治理平台负责资源整合公开、协调、调度、管理与监控，凭借高效可靠的数据传输，以高安全、高可靠、高稳定的数据统一管理、共享交换能力，为各行各业的发展提供有力的支撑。行业 大 数 据 治 理 平 台分散 封闭多样 混乱质量 较差产品价值安全 难控安全 管控集中 共享9核心功能10数据来源广部门内 企业 互联网 部门间数据种类多数据库 文件 消息数据 互联网 业务填报 离线导入 服务互联网适配非结构化适配文件适配消息数据适配接口服务适配数据库适配数据消息路由数据质量核检数据清洗转换数据预处理数据格式处理整体业务过程安全可靠传输汇聚总线资源池数据源存储架构扩展接口 扩展接口模板服务、快速配置灵活适配、安全可靠Hbase加速器HDFS加速器MPP加速器Hive加速器大数据资源汇聚总线数据汇 聚过程数据加密数据标准化数据脱敏数据加工微内核SCA安全管控汇聚编排汇聚监控OSGISOA集群管控数据来源汇聚总线安全可靠传输 数据汇聚11一、行业大数据治理平台方案二、核心功能介绍1、数据共享交换平台2、主数据管理3、数据质量管理 4、数据安全管控目录CONTENTS121、浪潮制定政府数据标准规范和数据管理平台保障制度两大类17项国家标准2、浪潮负责建设国家数据共享平台和开放平台 国家级平台的政务外网门户及各子系统均已上线 与山东、四川、福建、贵州、北京江苏、浙江、广东、河南9个省份和工信部、文化部、国家旅游局、工程院、中央编办5个部委完成了目录系统的对 接3、帮助全国40余个省市政府进行数据共享开放工作，山东省政府建设的省级政务信息资源共享交换平台 已梳理了1.1亿条数据，省级排名全国第一15建设背景-助力国家政府数据共享开放平台国家政府数据共享平台省级平台部委平台部委平台地市平台厅局平台县区平台委办局平台数据共享数据共享管理数据共享门户共享工作台 内外数据互通数据资源目录数据治理数据前置交换子系统配置信息解析16 数据共享交换平台-功能框架目录体系管理 目录注册 目录发布 目录维护 目录查询 目录资源申请其它外部系统接入各部门信息系统接入国家共享交换平台接入国家共享交换 平台数据共享外部系统数据 共享数据质量 管理数据安全 管理元数据管理数据审计 管理数据开放数据交换管理系统 数据交换传输系统 数据驾驶舱应用导航展示策略交换触发服务管理服务地图配置管理订阅管理审计日志管理交换任务调度交换任务设置交换任务监控数据采集加工 数据交换数据转换数据装载数据抽取数据清洗数据集成图形化配置发布订阅流量控制集群功能日志管理数据传输交换路由数据加密数据压缩断点续传数据处理交换承接前置配置数据标准范畴数据服务标准 数据标准：建设数据标准管理及维护、标准映射、标准审批及发布流程、标准使用分析等功能，构建统一的数据标准体系，支撑数据采集、处理、质量评估等各个过程的标准化及稽核服务数据加工STG ODM DW ADS数据建模数据建模标准数据接口标准数据存储标准数据标准指标标准数据开发标准标签标准数据标准化-数据标准管理17标准推荐标准变更流程标准映射引用数据标准增删改标准遗漏分析标准发布流程数据标准分类标准映射配置数据 服务数据 采集数据传递过程数据标准分析数据标准审批数据标准维护数据标准映射数据质量 数据标准化-数据标准管理 提供数据字典、数据标准管理功能，保障企业数据的一致性。18数据字典管理数据标准管理数据标准化-基于元数据的数据建模工具 支撑多种数据存储格式（Hadoop、MPP、RDB）的数据模型生命周期管控及模型呈现元数据验证实现模型校验，校验 通过后自动写入元数 据库。校验方式：一、设计库与实际数据 库进行比对，二、通 过业务应用进行验证审核对设计的模型由数 据专家、模型专家 进行审核，对于审 核通过的模型方可 实际建立。设计根据业务需求进行模 型的设计，包含模型 的基本信息、分类、字段等。模型实施模型验证对于审核通过的模 型，根据设计在数 据库中建立模型。模型审核模型设计模型管理实施19。支持在线建立模型、模型变更、下线 等操作，支持批量模型导入（Excel 、PDM）支持Hadoop（hive、spark、Impala )、MPP（vertica、gp、gbase、IQ）、RDB（Oracle、MySQL）等 支持物理库与元数据库信息的一致 性盘点核查 可从差异直接确认同步到元数据库数据标准化-元数据建模 建模工具：基于元数据的建模工具、模型盘点、模型管控 模型设计审核流程、模型实施审核流程 审核后直接写入元数据系统可视化在线建模模型盘点模型审核20 数据标准化-元数据管理 提供元数据采集、维护、检索、分析等管理功能。21元数据分析元数据维护元数据检索元数据采集 提供对数据共享平台内数据资产的统一注册管理及发布呈现，包括采集接口、数据模型、处理任务、指标、共享服务等。服务数据API服务、数据交换服务、数据报告服务、数据应用服务任务采集任务、数据汇总任务、数据挖掘任务、数据清理任务 接口离线采集接口、实时采集接口、互联网爬取接口 全生命周期的数据统一管理22数据资产管理缓存层模型、基础层模型、汇总层模型、应用层模型.指标PI、KPI、KQI、QoE 模型目录1数据项数据分类目录1数据项数据分类目录1数据项数据分类共享数据集目录开放数据集目录政 府 数 据 资 源全 集数据资产管理-资源目录梳理更新数据开 放目录发现新目录清理目录建立数据开 放目录完整的数据资源目录完整性确认确定初步共享开放目录依据现状政府业务模型相关单位确认形成共享开放目录标签标签部门分类标签部门分类部门分类数据采集、加工数据标签、脱敏业务系统更新目录共享平台业务需求业务梳理23提取相关主题建库权责清单元数据标准办事服务事项政府业务梳理模型部门职责管理对象管理维度管理手段生命周期促进业务协同数据共享清单数据开放清单梳理事项关联关系数据 数据抽取 处理电子证照库质量 更新检测 机制数据资产管理-资源目录梳理优化服务流程建立数据治理体系标准化数据目录总结常见数据问题与解决方法政策法规、标准体系各部门业务库各部门业务库不会提供数据X不知共享需求X多次跑腿X等待时间长X自然人、法人库数据 处理更新 机制重复提交材料X数据 抽取质量 检测24标准规范25数据资产管理-形成行业资源目录 数据资产管理-资源目录管理 支持按照“类”、“项”、“目”、“细目”对资源目录体系进行维护。支持资源目录的新增、删除、导入、发布等编目管理操作。26目录发布管理资源目录管理目录体系编目27数据资产管理-资产可视化 以数据为核心，实现数据汇集、融合、治理、资产化、共享全景呈现。数据资产全景数据共享全景数据全景数据汇集全景数据融合全景数据治理全景28数据交换-交换管理交换任务配置交换作业配置前置机配置数据源配置交换任务处理过程配置交换过程监控统计29数据交换-交换管理30 数据交换-交换处理 可视化的任务编排与监控。任务概览任务监控任务编排数据共享服务总线高实时性要求小数据量交换数据量较大、低实时性要求定期或一次性大批量数数据开放共享-共享手段 以数据服务的形式封装数据，提供统一的数据开放共享。数据共享平台服务模式服务目录管理安全及自身管理服务策略管理配置管理第三方平台数据实时查询服务数据文件生成服务第三方系统服务*系统*系统*平台*应用FTP服务数 据 共 享 生 产 者消费者管理服务地图数据库模式生产者管理安全管理日志管理订阅管理服务管理发布订阅模式审批管理API接口模式认证鉴权访问会话管控访问缓存管控访问队列管控ODBC/JD BCSOAP/HTTP消费者在线交互据要求FTP31数据开放共享-共享管控 审批流程+策略控制相结合的数据共享管控手段。审批流程：1.服务注册审批2.服务变更审批 3.服务注销审批 4.服务订阅审批数据生成数据获取数据共享服务订阅审核通过数据共享服务注册数据共享服务订阅数据共享服务注册审核数据订阅需求提出数据订阅需求审核1.访问会话控制2.访问队列控制 3.数据缓存
