
数据治理的灵魂三问-治什么?在哪治?怎么治?.docx
8页数据治理的灵魂三问■治什么?在哪治?怎么治?一、数据治理治的是“数据”吗? 2二、数据治理到底在哪里治?4三、数据治理到底应该怎么治?61、成立组织,育人才62、需求调研,摸家底63、梳理数据,建标准64、优化流程,定制度75、搭建平台,接数据76、建立指标,提质量77、优化模型,控平安78、开放服务,促应用89、赋能业务,抓创新810、持续优化,再出发8今天我们来探讨一下关于数据治理的灵魂三问:1、数据治理治什么,治的是数据吗?2、数据治理在哪里治,中台还是后台?3、数据治理到底怎么治?一、数据治理治的是“数据”吗?数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、 状态以及相互关系等进行记载的物理符号或这些物理符号的组合其实在我看 来,数据可以分为两个局部,一是数字,二是文字数字是没有意义的抽象符 号,数据是有意义的数字文字表意,数字表量,当两者结合起来,数据就产 生了在我们的生活和工作当中,数据无处不在对企业来讲,有很多数据是无 关企业重大利益的数据,是没有治理的必要的数据治理的对象必须是重要的 数据资源,是关乎企业重大商业利益的数据资源,这样的数据资源可以称其为 “数据资产”。
正如北大教授王汉生先生所说:“数据治理不是对“数据”的 治理,而是对“数据资产”的治理,是对数据资产所有相关方利益的协调与规 范我们需要分开来理解这句话:① 什么是数据资产?② 数据资产的相关利益方是谁?③ 协调与规范什么?先说一说什么是数据资产我们说不是所有数据都是数据资产,那到底什么才 是数据资产呢?《企业会计准那么-基本准那么》第20条规定:“资产是指企业过去的交易或 者事项形成的、由企业拥有或者控制的、预期会给企业带来经济利益的资源 如果照猫画虎修改一下,不难获得一个关于数据资产的定义:“数据资产是指 企业过去的交易或者事项形成的,由企业拥有或者控制的,预期会给企业带来 经济利益的数据资源由此可见,数据要成为数据资产,至少要满足3个核 心必要条件:① 数据资产应该是企业的交易或者事项形成的;② 企业拥有或者控制;③ 预期会给企业带来经济利益数据资产的利益相关方是谁?根据数据资产的定义,数据资产的利益相关方, 包括:① 数据的生产者,即通过业务交易或事项产生数据的人或组织② 数据的拥有或控制者,生产数据的人不一定是拥有数据,就像我们天天上网 的各种数据都不归我们自己所有,而是落在了各个互联网公司的数据库中。
③ 数据价值和经济利益的收益者数据治理就是对数据生产者、拥有或控制者, 数据价值获益者的规范和协调都什么是需要协调和规范?首先是数据的标准化,定义统一的数据标准,“写中国字、说普通话”让数据资产的相关利益方在同一个“频道”沟通数据的 标准化包含几个层面:① 数据模型标准化② 核心数据实体的标准化(主数据的标准化)③ 关键指标的标准化其次是数据确实权数据一旦成为资产,就一定有拥有方,或者实际控制人, 可以把他们统称产权人与实物不同的是,实物的产权是比拟明确的,数据那么比拟 复杂产品在生产制造过程中,并没有与消费者交易之前,制造商拥有完全产权产品生产出来后,消费者通过购买支付相应的货币,便拥有了产品的产权而数据 的生产过程就不一样了,我们的各种上网行为每天都会产生大量的数据,例如:网 上购物、浏览网页、使用地图、评论/评价……这些数据到底归谁所有?控制权 该如何治理?这是摆在面前的一个难题!我们看到近几年一些不良商家,利用我们的上网数据,导致平安隐私泄密的事件也层出不穷希望随着技术和商业的进步, 尽快能够找到解决方案!第三是流程的优化数据治理的两个目标:一个是提质 量,一个是控平安互联网数据确实权目前已经是一个世界级难题,做好企业业务 流程的优化可能会对隐私保护起到一定的作用。
通过业务流程优化,规范数据从产 生、处理、使用到销毁的整个生命周期,使得数据在各阶段、各流程环节平安可 控,合规使用另外,通过一定的流程优化,通过对相关流程进行监管,按照数据 的质量规那么进行数据校验,符合“垃圾进、垃圾出”的数据采集、处理、存储原 那么,提升数据治理,赋能业务应用二、数据治理到底在哪里治?关于数据中台到底应该在中台治理还是应该在后台治理,这个话题在笔者所在 的数据圈子中引起了激烈的讨论群里参与讨论的都是业界的大咖,讨论内容也十 分精彩,我截了局部的截图,先看看大咖们的观点:©79%黄昏6:31数据治理在概念上过于宽泛,在方 法和策略方面没有形成共识,更没 有成熟的工具软件出现,在这种情 况下,张三的数据治理与李四的数 据治理可能根本就不是一回事O中国电信今①79% 黄昏6:32< 二 …后台一般是业务数据库,不适合做 治理,对业务的影响太大H 一旦引入中台,那数据治理究竟放 在后台,还是放在中台,估计又会 纠缠不清了数据治理在金融行业尤其是大型银 行有成熟案例和咨询能力的群友, 最近有实力客户有需求,可以私聊我的意见是,数据治理应该是后台 业务,数据治理的目标定在数据资 产化,也许比拟合理。
10月11日晚上23:06@你说的应该是对的治理放在中台不全面@:数据治理应该放在数据中台治理还得从源头抓起中国电信七训今为79% ■■黄昏6:32后台一般是业务数据库,不适合做 治理,对业务的影响太大中国电信%11今O379% « 黄昏6:32< & …治理还得从源头抓起如・源头问题很多,假设不治理,中台会 背锅数据治理在金融行业尤其是大型银 行有成熟案例和咨询能力的群友.最近有实力客户有需求,可以私聊@你说的应该是对的治理放在中台不全面治理还得从源头抓起■数据治理是后台还是中台,不是一 个技术问题,是一个语文问题如 果希望这个概念内涵丰富,那就是 中台,如果希望这个概念清晰明了, 那就是后台o »"治理",治是为了秩序,理是为了 条理所以数据治理严格意义上是 以数据的条理和统计的秩序为目的 的,用个词就是“标准化"标准 化治理“这就是个后台工作数据治理到底应该放在中台,还是后台,我个人的理解是:小数据标准化治理 靠人工、大数据预测性分析靠智能,将两者结合起来:“人工+智能”形成了完整 的数据治理技术体系一个企业的数据治理既离不开小数据的标准化治理,也离不 开大数据的预测性分析这里的小数据,是在承载事物实体的数据,例如:人、财、物等,是企业所有 业务开展的载体。
其实说白了就是主数据管理对于主数据的治理笔者认为是一个 后台行为,治理核心是“唯一数据源、统一数据标准”,而要到达这一目标是需要 从数据的源头抓起的,并且需要大量的人为干预,比方:数据标准的制定和落实, 数据质量的清洗,数据的申请审批,数据的分发和共享等从这里也能够看出小数 据的治理,追求的是标准化、精确化,应该是一个后台行为而在大数据时代,得 益于大数据技术的突破,大量的结构化、非结构化、异构化的数据能够得到储存、 处理、计算和分析,这一方面提升了我们从海量数据中获取知识和洞见的能力对 于大数据,传统的一味追求精确的思维受到了挑战而对于大数据的治理,允许一 定程度上的容错,反而可以在宏观层面拥有更好的知识和洞察力对于大数据的治 理更多的是采用AI技术,例如:知识图谱、语音识别等,对大数据的采集、处 理、使用过程加以控制,使其能够合规使用所以,大数据的治理放在中台似乎更 为合适三、数据治理到底应该怎么治?数据到底怎么治,这确实是一个宽泛的话题,首先是要明确治理的内容 针对不同的治理内容采取不同的数据治理策略关于小数据和大数据的治理侧 重点上文已经说明以下为笔者在数据治理领域总结的数据治理十大关键实践:1、成立组织,育人才数据治理的根本目标的是提升数据质量,控制数据平安和合规使用。
数据治理 涉及范围广,参与人员多,需要一定的组织和制度的保障才可能获得成功首先, 依据行业经验来看,不管是基于后台的小数据治理,还是基于中台的大数据治理,“一把手”工程是数据治理组织建设的最正确实践尤其是中台数据治理更是上升至 企业战略层面,自下而上的治理几乎不太可能成功其次,数据治理组织的建立并 是组建一个非临时团队,而是要能够支撑企业数据化业务的一个完整体系,包括: 组织体系、管理体系、执行体系、技术体系等第三,数据治理组织的人员选拔和 人才培养,不同企业应有不同的策略一般来说,建立数据治理组织从企业内部进 行选拔相应的技术专家、业务专家更为合适,要比从外部招聘更能够快速上手不 过,对于传统企业,其内部更偏管理,数据治理团队建设更多需要借助外部力量2、需求调研,摸家底与数据工程一样,详细需求调研是开展数据治理工作的第一阶段的重要工作 本阶段主要是理解企业的战略,并按照从上而下的策略进行开展企业数据管理的现 状调研,摸清楚企业数据资产的分布、数据的质量、数据的管理现状、数据应用需 求等情况该阶段的工作目标是确定数据治理工程的目标和范围,评估数据治理成 熟度,确定改进内容和方向并与客户达成共识。
3、梳理数据,建标准按照业务主题进行数据资产的梳理,并制定数据资产的标准首先,定义数据 资产元模型标准,包括:数据资产的数据含义、业务规那么、质量规那么、数据来源、 存储路径、管理部门、管理人等,即数据资产的元数据标准,定义好数据模型是数 据治理成功落地的重要前提;其次,重点对企业的核心数据资产一一主数据进行标 准化,包括:主数据标准化定义、参照字典的标准化、数据清洗、数据服务共享 等;第三,对业务指标的属性的标准化,指标的属性分为“业务属性”和“技术属 性”两类,业务属性包含业务人员通常认识的指标分类、名称、计算公式、展现方 式和查询权限等;技术属性包含技术运维人员所关心的系统来源、取数字段、取数 频率、加工规那么等,其核心也是元数据管理4、优化流程,定制度对于企业而言,数据来源于很多方面,内部数据如财务、人力、供应链、生 产、销售等;外部数据如政治、经济、社会、科技、行业、市场、竞争对手等虽 然数据来源广、数据量大是优点,但如果不加以整理和关联,杂乱无章的数据不仅 不利于分析应用,还将带来不必要的人财物的消耗所以,非常有必要对数据产 生、采集、处理、加工、使用等过程进行规范通过统一数据标准,制定合理的数 据管理流程和制度,规范数据生产供应的过程。
5、搭建平台,接数据数据治理平台的搭建要根据不同的客户需求搭建不同模块,数据治理平台主要 涵盖功能模块有:元数据管理、主数据管理、数据质量管理、数据标准管理、数据 平安管理、数据模型工具、ETL工具等数据接入是将各种来源、各种类型的数 据,通过数据集成工具将这些零散的数据整合在一起,纳入统一的大数据平平台或 数据仓库中,这一过程需要符合数据治理平台定义各种数据标准、质量规那么、平安 指标所以,我们说数据治理工程不是为了治理数据而建设的,而是配合大数据平 台、数据仓库、数据分析挖掘等工程,通过提升数据质量、控制数据平安,让数据 发挥出最大的效益6、建立指标,提质量提升数据质量是企业数据治理的重要目标,也是企业进行数据分析挖掘、业务 管理和决策的重要基础,只有建立完整的数据质量体系,才能有效提升企业数据整 体质量,从而更好的为业务服务从技术面上讲,定义完整全面的数据质量的评估 维度,包括完整性、时效性等,并按照已定义的维度,在系统建设的各个阶段都应 该根据标准进行数据质量检测和规范,及时进行治理,防止事后的清。
