大数据治理平台与数据运营体系建设方案
推 动 技 术 赋 能 商 业、服 务 美 好 生 活数据治理平台与数据运营体系建设方案构建高效、安全、规范的大数据治理管理与运营体系推 动 技 术 赋 能 商 业、服 务 美 好 生 活目录数据治理总体解决方案01数据治理平台建设方案02数据治理运营实施方案03推 动 技 术 赋 能 商 业、服 务 美 好 生 活01数据治理总体解决方案4 4对数据治理的总体认识数据治理定义：数据治理定义：数据治理专注于将数据作为企事业单位数据资产进行应用和管理的一套管理机制，能够消除数据的不一致性，建立规范的数据应用标准，提高数据质量，实现数据内外部共享，并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中，发挥数据资产价值。狭义上：狭义上：数据治理是指对数据质量的管理、专注在数据本身。广义上：广义上：数据治理是对数据的全生命周期进行管理，包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据服务与应用等，整个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。数据治数据治理要素理要素明确数据治理责任，建立数据治理组织 管理出成效，制度是保障数据规范：没有规矩，不成方圆 数据治理活动，理论结合实践专业的数据治理平台数据治理方法论数据治理方法论数据治理要素数据治理要素5 5大数据管理典型方案大数据管理与应用平台AI图谱技术大数据云计算数据整合可视化数据展示功能设计应用发布需求分析数据应用模型设计辅助决策价值挖掘数据智能经营分析数据资源数据计算管理治理开发调度数据模型计算模型数据源关联业务目标表单样式计算任务调度机器学习数据应用与推送数据应用与推送整合数据资源整合数据资源连接各类人员连接各类人员数据应用数据应用/服务集市服务集市实现数据资产的保管与增值让数据赋能业务数据采集数据安全6 6大数据平台典型架构数据源业务系统数据物联网数据实时数据流非结构化数据互联网数据数据采集离线采集实时采集FTP采集接口采集流式采集数据资源中心存储RDMS消息队列分布式存储存储非结构化数据图片数据文本数据实时数据实时存储时实模型离线数据应用租户计算区离线计算实时计算标准层数据湖数据治理管理元数据管理数据标准管理数据开发管理统一调度管理数据资产管理数据架构管理数据服务管理数据质量管理数据管理门户&数据可视化数据应用经营分析辅助决策潜客挖掘用户画像业务预测风险预警数据应用服务管理统一运维基础资源监控应用服务监控监控告警故障管理运维作业管理运维流程管理数据安全统一身份管理统一认证管理数据脱敏管理安全日志管理安全告警安全审计管理7 7大数据平台典型架构基础支撑平台分布式数据存储消息队列RDB存储数据存储图数据库分布式文件存储并行大数据计算与分布式存储（HADOOP)并行分布式关系型数据库（MPP DB）数据采集平台数据采集离线采集实时采集流媒体采集数据导入上报准实时采集政务数据（区级、委办单位）公共事业数据行业数据（金融、电信）物联网数据（气象、摄像头）数据源基数据湖SRC近源数据层：区级条线业务数据，以及结构化的视频及物联网感知数据ODS源数据层：区级条线业务数据，以及结构化的视频及物联网感知数据法人组织自然人空间地理电子证照基础库主题库专题库一网通管一网通办城市规划民生幸福经济发展环境保护应急管理物联管理宏观经济医疗健康数据资源中心数据资产管理数据架构管理数据集成管理元数据管理数据异常管理数据标准管理数据开发管理数据质量管理数据治理数据管理智能标签数据智能数据探索画像分析数据DNA治理管理平台数据共享开放数据共享申请服务开发共享服务交换级联服务监控服务申请授权管理数据共享管理审计数据共享安全管控数据开放门户数据服务互动交流其他开放服务数据开放清单资源查询资源申请资源使用资源详情数据目录统一数据管理门户管理应用门户数据安全平台 统一身份管理统一权限管理敏感数据发现数据分类分级数据防泄漏加密秘钥管理安全日志采集存储统一安全审计分析数据脱敏管理统一运维平台监控资源管理基础资源监测应用系统监控业务服务监控服务启停数据质量监控运维流程管理故障预案管理（管理与开放）门户数据共享开放平台数据治理平台数据资源中心（数据湖、基础数据库、基础库、主专题库）数据基础支撑平台数据采集平台数据源统一运维管理平台数据安全管理平台8 8数据治理在整个大数据平台中的定位数据治理平台数据资产管理（元数据、标准、质量、资产、目录）应用建模数据采集数据共享数据加工数据源数据基础支撑平台数据采集平台数据资源中心质量稽核统一维护平台数据安全平台数据采集任务调度数据采集任务调度数据处理提取与存储数据处理提取与存储集中集中监控监控维护维护信息信息安全安全保障保障数据共享开放平台数据管理与应用门户数据资产数据资产&服务调度服务调度开放控制开放控制&下发调度下发调度是整个大数据资源平台管理与应用开发的统一入口是对数据资源及数据资产进行管理与应用控制的主要界面提供数据加工处理的核心能力，并串联、集成其他能力模块完成面向需求的数据生产，是实现将原始数据资源转换为数据应用服务的中心枢纽12435540资产管理9 9数据治理总体方案利用数据治理平台所覆盖的从标准、设计、采集、开发到使用，再到交付和运维的全数据治理流程，帮助组织实现一站式数据治理运营服务，可满足数据共享交换、数据开发、数据运营多种应用场景，并通过构建数据工厂，实现数据治理的标准化、流程化与组件化。数据服务数据生产者业务数据日志数据视频数据物联数据各类文件互联网数据数据消费者内部管理者内部业务部门兄弟单位合作伙伴外部机构内部下属单位大数据资源中心数据治理规范标准（元数据、标准、质量、资产、目录）大数据治理平台数据建模数据采集数据共享清洗加工质量稽核资产管理数据生命周期管理持续持续反馈反馈数据归集数据安全管控1010数据治理数据采集方案委办1委办2委办3委办N委办局政务网VPC（批数据）互联网（流数据）委办1委办2委办3委办NoracleDB类型DM其他数据类型API接口结构化文件非结构化文件MySQL大数据平台数据采集采集数据存储采集数据量数据入湖存储入湖数据量比对采集和入湖数据量数据一致性检查数据湖断流告警状态监测u批数据处理：通过数据采集平台任务调度的方式，根据时间戳定时探查委办局前置库数据以及结构化文件的变动，通过数据采集平台的解析，抽取增量数据到数据湖。u流数据处理：通过数据湖内独立部署kafka消息系统，采用委办局推送或自动拉取的方式，接入流数据。u数据抽取过程中进行监测，实施监测目前抽取的状态、抽取进度，断流告警，一致性检测结果等。并通过分布式部署提高数据抽取速度。1111数据治理数据应用开发模型开发程序开发程序测试审核上线数据探索2-模型定义创建模型基础信息、定义模型的元数据3-构建表结构添加模型字段信息提供手工/批量方式4-编辑模型应用程序可视化开发：固化程序命令，拖拽式使用，自由配置逻辑脚本开发:支持sql、Python、java、shell等类型的脚本5-程序在线测试提供WEB界面可视化测试功能;查看执行时长、执行状态等信息，方便开发人员调试，性能分析7-提交审核并上线开发人员建立上线任务，提交审核并上线6-调度配置1-数据探索根据业务逻辑做需求分析，通过探索了解相关数据情况1212数据治理统一调度方案数据采集平台采集任务调度对接数据治理开发调度平台元数据同步数据治理资产管理平台数据支撑平台JDBC接口流数据处理数据共享开放应用平台库表数据下发任务调度数据采集平台的采集任务完成后，通知开发调度管理平台的库内处理程序进行调度任务的衔接；数据采集平台的采集任务完成后，通知开发调度管理平台的库内处理程序进行调度任务的衔接；数据支撑平台提供数据支撑平台提供JDBCJDBC接口，供开发调度管理平台调用，实现数据库操作的调度开发调度管理平台对数据支撑平台发布接口，供开发调度管理平台调用，实现数据库操作的调度开发调度管理平台对数据支撑平台发布流数据处理任务；流数据处理任务；数据资产管理平台提供元数据同步接口，把模型元数据同步给开发调度管理平台做库内处理开发；数据资产管理平台提供元数据同步接口，把模型元数据同步给开发调度管理平台做库内处理开发；数据调度平台完成相关数据应用计算后，将库表数据推送给数据开放平台，对外开放使用。数据调度平台完成相关数据应用计算后，将库表数据推送给数据开放平台，对外开放使用。1313数据治理数据资产管理逻辑资源层（计算、存储、网络资源）政务云管理存储管理网络管理资源调度系统管理元数据存储库业务库主题数据库元数据数据资源基础设施层用户管理专题数据库基础数据库指标部门数据库部门数据库人口库法人库互联网+监管健康卫生城市运行经济运行根据提供方供数责任，对接入数据资源进行编目，维护其业务属性和管理属性，使其初步具备应用条件;参照数据标准设计数据模型结构、业务代码，通过建立变更管理和版本控制，实现数据模型管控；通过基础元数据定义数据资产规格（如：库表、文件、文件夹、接口等），并借助统一平台实现资源接入。数据资产管理模型管理模型管理模型维护代码关联版本管理关系关联对标分析元数据目录管理目录管理目录维护目录分类目录浏览资源编目目录标签目录级联质量管理质量管理质量定义规则管理数据纠正规则库数据检核质量报告标准管理标准管理标准维护标准浏览代码映射标准导入落地检核版本管理资源管理资源管理数据源管理资源注册资源发布资源审核前置节点库表资源文件资源接口资源.共享管理共享管理应用场景事项字典预算项目应用系统共享申请共享审核共享授权共享统计.1414数据治理项目实施方案数据治理项目实施方案数据管理平台建设数据治理开发运营平台工具支撑平台工具支撑应用需求推动应用需求推动利器工事建设一套大数据管理与应用平台以构建一个能持续高效运转的数据治理体系为目标建设县数据湖开发建设人口与法人基础库建设市场监管、工业、全民健康、惠民资金监管、农业五大示范应用1515逐步构建一套大数据治理应用与服务体系技术工具能力专业团队管理分析理论4PSTP理论PEST分析方法能力成功经验用户使用行为5W2H生命周期逻辑树数据处理管理HadoopAI技术机器学习管理治理数据仓库数据分析对比分析交叉分析回归分析数据标签回归聚类分类神经网络语音识别图像识别ETL交付流程项目需求分析系统开发与测试平台上线应用平台运营支撑功能/模型迭代平台工程师数据工程师项目管理运营支撑架构与功能设计应用开发平台建设咨询服务公式法对比法二八法漏斗法统计分析方法大数据平台建设数仓/BI建设数据治理数据建模应用开发数据分析咨询专题主题开发运营支撑功能功能/模型迭代模型迭代算法工程师数据咨询师推 动 技 术 赋 能 商 业、服 务 美 好 生 活02数据治理平台建设方案1717平台总体概述提供多种数据采集或集成，包括业务系统数据 ETL，外部文件、第三方接口抽取，实时消息采集等。采集/集成环节支撑多种数据加工方式，包括批量数据加工，实时交互计算，机器学习等。加工/计算环节支持用户个性化需求、自主数据探索，提供固定主题的报表、指标，临时报表需求、自助取数，数据探索、数据实验等功能。决策/探索环节数据治理平台适用于分析型系统数据处理的各个过程，负责数据的加工处理以及加工处理过程数据标准、元数据和数据质量的管理。平台可以提供数据输入、数据加工、数据输出等数据流图各个过程的全生命周期、全流程的数据处理，并在数据处理全过程提供中提供数据治理和数据管控的一站式解决方案。大数据时代组织普遍要面对数据多样化，缺少统一标准，集成困难；数据分散，形成信息孤岛，共享困难；数据质量低下，导致统计不准确的 诸多问题。如何有效管理数据资源使之能够驱动业务的快速发展，成为数据治理产品的核心价值所在。1818平台设计理念一个标准化工厂数据治理产品以为组织打造通用的数据工厂为设计理念，以构建流水式数据产线为核心，帮助组织快速实现从“数据原料”到“数据产品”整个过程的加工处理、价值转化以及规范管控。标准化生产自动化生产精益化管理由场景理解、场景抽象、抽象实现、抽象
