大数据治理平台总体规划方案
大数据治理平台总体大数据治理平台总体规划方案规划方案2目录目录/ContentsContents观点阐述观点阐述0101设计方案设计方案02功能设计功能设计0303案例介绍案例介绍0404总体观点阐述n对大数据治理管理的总体认知n对大数据治理面临挑战的理解n企业大数据治理的核心理念与方法14 4对“数据”与“数据治理”的总体认知需求驱动资本业务场景数据智能资产结构化流程化标准化数据治理治理&开发开发共享共享&应用应用跟踪跟踪&记录记录资源复杂性异构性多样性以采集为手段以汇聚为核心以规范为依托以模型为中心以场景为载体以效益为目标大数据治理管理核心要素数据治理数据治理组织组织数据标准数据标准规范规范治理平台治理平台工具工具数据治理数据治理活动活动数据管理数据管理制度制度战略战略引领引领投资投资驱动驱动n n数据是企业非常重要的资数据是企业非常重要的资源，但很难直接使用；源，但很难直接使用；n n需要通过一系列的治理过需要通过一系列的治理过程将数据资源转化为企业程将数据资源转化为企业可使用的数据资产；可使用的数据资产；n n而只有将数据资产真正应而只有将数据资产真正应用到业务中，才能产生效用到业务中，才能产生效益，成为企业的资本；益，成为企业的资本；n n企业进行数据治理管理的企业进行数据治理管理的最大驱动力来自数据的应最大驱动力来自数据的应用价值；用价值；n n数据治理管理是企业重要数据治理管理是企业重要的战略组成部分；的战略组成部分；n n数据治理管理需要企业投数据治理管理需要企业投资来驱动；资来驱动；n n组织、制度、规范、开发组织、制度、规范、开发与工具是企业进行数据治与工具是企业进行数据治理管理的核心要素。理管理的核心要素。汇聚融合提炼抽象服务业务5 5基于”三资模型”构建了完整大数据治理体系数据治理数据标准和规范平台和工具支持数据存储计算数据标准管理数据开发管理数据资产管理应用数据标准共享数据标准基础数据标准风险管理应用运营管理应用财务管理应用客户管理应用客户机构产品协议交易财务资产渠道营销地址代码外部数据交换内部数据共享组织与职责决策层管理层执行层制度与流程数据管控制度数据质量管理办法数据标准管理办法数据需求管理办法考核与评价数据标准落地执行数据需求有效性数据质量考核数据治理参与度4321战略愿景体系支撑数据规范支撑技术实现目标分解目标分解实现支撑实现支撑数据服务管理数据质量管理管理机构与制度沉淀数据资源，开发数据资产，构建数据服务，兑现数据价值，驱动业务增长数据采集集成元数据管理6 6当前组织在数据治理方面存在的普遍问题数据分散割裂未整合数据分散割裂未整合各类数据标准未统一各类数据标准未统一数据敏捷开发未具备数据敏捷开发未具备数据质量差错误多数据质量差错误多数据全局视图未建立数据全局视图未建立数据安全得不到保障数据安全得不到保障数据共享服务未形成数据共享服务未形成数据治理体系不完善数据治理体系不完善数据以域、系统为单位“烟囱”式分布无横向关联，造成数据壁垒未形成企业级数据治理体系和整合机制，没有定义企业统一标准数据字典数据开发需要大量数据开发人员写脚本无法实现自动化数据任务的统一编排和调度各业务系统中表的数量多、相似表数量过多、无效表过多，无法保障数据的可用性数据资产无法集中管理和展现，共享性差无法实现数据开放共享运营分析能力大量企业数据散布在各业务系统中，无法一点看全和及时掌握企业数据全貌数据权限划分不清、敏感数据得不到监控、等情况都是潜在的数据安全隐患权责不明、管理角色分工不清对于已然形成的大量数据，找不到接口人7 7对数据治理所面临根本挑战的理解异构数据多样规则数据处理计算复杂应用场景模型构建算法探究数据多源复杂性海量数据大规模计算大并发多用户大量应用需求多源系统规模化数据治理就是要数据治理就是要在高应用标准的在高应用标准的要要求下面对复杂性叠加规模化的挑战求下面对复杂性叠加规模化的挑战强需求与高标准丰富场景旺盛需求快速响应需求高性能良好体验数据安全保障8 8对数据治理挑战的应对之道企业大数据治理应对之道构建基于产线设计的数据产品工厂体系复杂性规模化强需求高标准标准化（产品&工艺）流水线（产线组装&弹性生产）体系化（规范与精益管理）自动化（机器生产）构建工厂构建工厂&车间搭建车间搭建&标准工艺标准工艺&自动工序自动工序&产线组装产线组装&产品生产产品生产&品质管控品质管控高效化生产高效化生产产品化交付产品化交付精益化管控精益化管控9 9数据治理总体解决方案数据工厂共享数据产线共享基础库/公共主题数据粗加工数据产品线A主题数据专题数据数据服务数据产线主题数据专题数据数据服务数据产品线N主题数据专题数据数据服务租户精加工成品各类数据资源原材料输入交付数据产品应用消费数据治理数据治理数据资源数据资源数据应用数据应用统一管控体系数据标准模型标准质量保障开发标准安全保障1010数据治理实施通用流图内部业务数据内部各类文件内部物联数据外部数据互联网数据数据前置库大数据资源中心-数据湖&数据库ODS贴源层DWD基础库人口、法人、空间地理主题库互联网+监管、城市管理、专题库用户画像、潜客挖掘、共享库数据前置库数数据据归归集集清清洗洗加加工工分分发发分分发发分分发发分分发发分分发发分分发发文文件件下下发发库库表表下下发发分发分发组织内部单位外部合作机构数数据据调调用用接口调用接口调用数据使用机构数据工厂数据产线A数据产线A数据产线A数据产线A1111数据治理的关键是体系化的运营数据治理构建一个能持续高效运转构建一个能持续高效运转的组织数据治理运营体系的组织数据治理运营体系始终以数据服务业务为目标，持始终以数据服务业务为目标，持续建设高价值的数据资产与服务续建设高价值的数据资产与服务大数据治理运营实施原则平台建设先行平台建设先行长期治理运营长期治理运营1+N1+N运营模式运营模式(即统即统一数据平台支持多个治理运一数据平台支持多个治理运营组营组)数据治理运营数据治理运营以业务线划分以业务线划分平台建设以平台建设以功能线划分功能线划分平台建设与治理运平台建设与治理运营团队相独立营团队相独立大数据治理运营支撑体系数据治理数据治理组织组织数据标准数据标准规范规范治理平台治理平台工具工具数据治理数据治理流程流程数据管理数据管理制度制度1212大数据治理平台建设项目实施方案企业大数据治理平台建设项目实施方案数据能力平台数据技术规范数据治理运营利器利器工事平台工具支撑平台工具支撑数据、技术与业务规范要求数据、技术与业务规范要求建设大数据治理能力平台制定企业大数据治理技术与管理流程规范汇聚业务数据建设大数据资源中心数据湖构建主数据、报表中心等基础数据应用建设智能营销风险预警等创新类数据应用平台应用运维平台功能迭代数据治理运营以构建一个能持续高效运转的大数据治理与应用运营体系为目标应用需求推动应用需求推动应用需求推动应用需求推动112334统一目标、整体规划、构建体系、集约建设、共享共治、持续运营加强顶层设计加强顶层设计数据治理平台设计方案n产品设计理念n产品总体架构与应用流程n产品应用方案与特性21414概述大数据治理平台以为组织打造通用的数据工厂为设计理念，以构建流水式数据产线为核心，为组织构建一个可持续、高效将“数据原料”加工为“数据产品”的数据治理体系，进而满足组织的各类数据应用需求，实现数据价值的转化。数据产品数据原料业务数据日志数据视频数据物联数据各类文件互联网数据数据消费内部管理者内部业务部门兄弟单位合作伙伴外部机构内部下属单位数据资源中心数据产品服务门户（门户、数据共享、数据服务）企业大数据治理平台数据治理规范与标准（元数据、标准、质量、资产、共享、安全）持续持续反馈反馈数据归集数据安全管控数据产线产线模板数据产线数据产线A数据建模数据采集数据共享清洗加工质量稽核资产管理1515设计理念数据模型标准化数据运营全员化数据安全可控化数据治理产品化数据处理工厂化数据安全可控化体现安全的重要性、必要性，保障系统数据安全和数据服务开放过程中数据的安全可控。数据模型标准化通过治理平台将数据模型的要求严格落地，杜绝不满足标准的数据模型出现在系统中。数据运营全员化体现“平台化、开放性”的思想，提高数据开放的可视化，实现人人参与数据治理、数据建设和数据运维。数据治理产品化将数据治理的成果和内容，以产品的方式来进行封装与交付，构建”场景-需求-产品”的数据治理运营模式。数据处理工厂化对数据的处理、融合开发等工作，必须实现工厂化建设和管理，以“极速、低成本、高质量”要求来响应业务部门的个性化数据需求。1616设计思路以元数据为核心驱动全链路数据治理活动数据清洗数据融合数据标准数据质量数据资产数据共享数据目录数据汇聚全生命周期元数据管控体系元数据采集元数据管理元数据版本元数据质量元数据血缘分析元数据影响分析元数据关联分析元数据质量分析元数据全生命周期管理元数据多维度分析1717设计蓝图商品商品商品商品场景产线产线产线产线产线配参产品产品产品产品产品包装需求需求需求需求场景数据原料加载数据质量稽核元数据&数据标准规范标准工序&产线模板1818总体架构大数据管理大数据治理元数据管理数据工厂数据质量管控数据共享服务应用能力应用能力解决方案解决方案金融金融零售零售制造业制造业交通交通农业农业用户角色用户角色行业应用行业应用基础平台基础平台数据开发人员数据分析师业务用户数据科学家数据管理员数据操作员组织、用户、角色、权限管理数据源管理数据采集插件管理数据管理基础平台大数据存储与计算引擎日志管理调度中心建模设计统一数据治理工作台编目管理目录统计资源挂载目录发布资源编目数据标准管理业务标准管理技术标准管理命名标准管理维度标准管理数据质量管理质量统计分析质量报告管理质量稽核管理质量规则配置数据资产管理数据资产检索数据资产总览数据资产地图数据资产目录数据开发管理统一任务调度产线模板管理可视化开发数据脚本开发数据服务管理订阅审核服务监控服务审核服务管理算法库消息管理互联网互联网电子政务电子政务教育教育数据安全管理安全审计数据脱敏数据分级数据权限元数据管理元数据血缘元数据维护元数据解析元数据采集统一监控运维1919特性兼容市面各类常用数据库EDGP-企业大数据治理平台数据底座数据底座数据源端数据源端n n与传统国外关系型数据库及开源与传统国外关系型数据库及开源hadoophadoop，华为、阿里、星环、达梦等数据底座均实现了适配；，华为、阿里、星环、达梦等数据底座均实现了适配；n n支持快速适配传统数据库、大数据平台、支持快速适配传统数据库、大数据平台、MPPMPP、KETTLEKETTLE、BIBI工具等多种数据源端的元数据与数据采集。工具等多种数据源端的元数据与数据采集。2020特性前置、自动、端到端与智能的元数据管理前向获取自动采集变更监控n提供元数据前向获取功能，在完成数据应用程序的同时，完成元数据的收集n技术与业务元数据n一键自动完成90%以上元数据采集与解析n支持自动扫描、手动配置、文件导入等多种采集方式n对元数据对象的变更情况进行监控n可对有变化的元数据进行增量扫描与采集n对元数据版本做管控一致性保障全过程管控智能应用n实现业务元数据与技术元数据、技术元数据与技术实现、元数据血缘与数据调度的一致性保障n按统一规范对元数据进行集中管理与监控n对数据的一致性、准确性和完整性进行全流程的管理和监控n通过元数据的血缘分析，影响分析帮助组织有效维护管理数据n提供快速数据资源检索与360度资产画像提供多种异构数据源的元数据采集和维护，基于提供多种异构数据源的元数据采集和维护，基于MOFMOF规规范将元数据统一管理起来，并提供端到端的元数据服务范将元数据统一管理起来，并提供端到端的元数据服务2121特性多维、全过程的数据标准管控EDGP支持多元数据标准的制定及数据标准的统一管控，并提供贯穿数据的开发、部署、治理等各个阶段数据标准的管控，确保数据在生命周期的各阶段始终都满足组织的技术与业务规范，把组织纸面上的数据管理与应用规范转化为真正可落实的数据管控策略。数
