国企数据治理实践分析研究.docx

国企数据治理实践改革技术研发项目立项和组织实施方式，强化需求导向，建立健全市场化运作、专业化管理、平台化协同的创新机制鼓励有条件的地方深化大数据相关科技成果使用权、处置权和收益权改革，开展赋予科研人员职务科技成果所有权或长期使用权试点，健全技术成果转化激励和权益分享机制培育发展大数据领域技术转移机构和技术经理人，提高技术转移专业服务能力围绕数据全生命周期，通过质量监控、诊断评估、清洗修复、数据维护等方式，提高数据质量，确保数据可用、好用完善数据管理能力评估体系，实施数据安全管理认证制度，推动《数据管理能力成熟度评估模型》（以下简称DCMM）、数据安全管理等国家标准贯标，持续提升企事业单位数据管理水平强化数据分类分级管理，推动数据资源规划，打造分类科学、分级准确、管理有序的数据治理体系，促进数据真实可信一、 国企数据治理实践1、国企数据治理背景在十四五规划期内以聚焦供应链管理核心主业作为主要战略发展方向供应链运营管理以大宗商品贸易为主，其交易往往具有交易量巨大、交易环节复杂、风险交易难识别、风险客商难管控等痛点随着企业股份数字化转型不断深化，数据应用方面的需求不断扩展但公司缺乏统一的大数据资产管理平台，导致在数据应用方面，出现数据价值不凸显，数据标准不统一，数据质量不可控，数据共享不畅通等问题。

在此背景下，立足于打造全集团统一，能满足覆盖运管、风控、业务全过程数字化经营管理及分析决策的统一数据资产平台对企业股份现有存量数据进行数据治理及挖掘，搭建数据管理体系，对增量数据进行有效管理和应用通过梳理目前企业股份所有存量数据，提炼运营指标及管理指标，科学化管理公司数据资产和挖掘数据价值2、国企数据治理解决方案结合内部现有数据开发平台产品，以业务应用场景为导向，形成集团统一的数据治理方案本期项目实施过程中，以数据治理、数据服务、数据应用三大方向展开实施；其中数据应用以聚焦供应链运营管理业务为核心，数据服务以满足集团下属各子公司数据需求为主，数据治理以统一集团数据归集方式、数据质量标准、元数据维护标准、数据建模标准为目标进行建设其中数据治理设计的步骤为：确定当前项目的目标和范围，设计本轮数据治理的模式、架构和方法以企业集团当前提出的数据需求场景出发，针对场景数据进行数据治理，主要包括以下几个步骤1）国企数据治理架构设计技术架构上，从场景需求出发，结合当前企业组织架构及数据权限出发，将数据中台设计为多项目空间加经典ODS、DWD、DWS、ADS四层结构，其中企业股份为主项目空间，其余业务供应链平台为子项目空间。

另外，根据前期调研结果，结合当前企业业务范围，将业务根据业务主体进行了数据域的设计与划分，其中重点建设数据域为1）客商域：企业所服务的所有客户及供应商2）商品域：企业自营或代理商品、SKU3）交易域：客户与企业发生的所有交易行为，包括交易合同、订单、采购等4）风险域：企业发生诉讼、处罚等风险数据5）仓储物流域：所有仓库出入库、在途等信息6）公共域：系统码值、参数信息、组织架构、人员以及标准化映射信息通过分层与分域的设计，将企业原本传统数据架构转变为新数据架构，统一源端数据，建设公共事实层，建设服务层最后满足各个不同需求，有效解决传统数据架构存在的数据孤立、事实重复建设、资产盘点困难等问题，更适应当前企业发展阶段诉求2）国企数据统一归集当前企业源端数据大体分为三类：第一种是传统业务数据，包含SAP系统、MDM系统、CRM系统、云链、高达、南北、OA等系统；第二种是第三方数据，包含船讯网、启信宝、行情数据、价格数据等；第三种是其他手工填报数据其中传统业务数据虽然存在数据源多，数据量级分布不均，部分系统只能取得界面全量数据或为高度汇总报表数据等问题，使用数栈底层数据同步工具Flinkx将不同数据接入数据中台中。

第三方数据使用PySpark脚本任务，通过调取特定的API服务接口，完成数据的采集及简单清洗，接入数据中台手工填报数据通过完成填报报表的初步设计后，回流手工填报平台（当前使用饭软），进行定期同步，定期填报，定期回流采集的形式来完成数据的收集3）国企数据集中处理及标准设计从架构设计出发，对已接入的源端数据，进行明细事实层的建模设计，进行指标体系的统计和收集明细事实层的建模设计秉持维度建模理念，根据不同的主题域，将ODS层数据进行特定范围的清洗，处理，加工后形成可复用性强的描述某一颗粒度下，某一业务行为的各项信息，纵向可以进行上钻下钻，横向可以对比针对指标层的加工处理，在引入数据中台之前，数据计算逻辑、指标口径都存放在SAP系统的代码中，无法进行有效复用为了解决这一问题，根据指标体系设计方法论，统一定义指标体系的各信息（包含指标ID，指标名称，指标主题，业务口径，维度，修饰词，计算方式，计算频率，时间周期，业务对接人及开发负责人），在接下来企业的数据应用过程中，完成数据指标口径的收口和统一4）国企数据应用场景数据应用场景以集团供应链运营管理为核心，分别对运营管理、物流管理、信用管理数据进行统一归集，按照业务指标逻辑进行数据处理开发，满足业务人员数据报表填报和数据统计分析应用场景。

运营管理场景：通过重新梳理SAP客户逾期、客户赊销、现货敞口库存等业务报表数据逻辑为基础，结合大数据平台从SAP底表取数能力，实现[风险周报填报]、[签约情况分析]、[重大事项填报]场景建设，有效减轻业务人员每周报表加工填报的工作压力，同时提高业务数据线上留存能力物流管理场景：以物流合同、物流供应商、供应商库点、库点库存、库点盘点记录数据为基础，进行统一汇聚处理，按照业务指标口径进行数据开发，实现[物流合同看板]、[物流供应商看板]、[库点盘点密度看板]、[库存看板]四大看板，为业务人员发现潜在风险和日常业务数据便捷查询提供有利条件信用管理场景：以客商授信额度、客商逾期、行业产品加工利润数据为核心，结合业务逻辑指标进行数据开发，实现[授信额度跟踪]、[逾期数据分析]、[行业加工利润填报]场景建设，为业务人员控制客商授信额度、发现客商潜在风险、明确当前各行业产品盈利情况提供有效支撑3、国企数据治理建设成果满足集团供应链运管部物流仓储管理、客商信用管理、价格管理、运营管理等部门数据分析需求，实施搭建签约销售/采购看板、物流仓储四大看板、授信额度跟踪看板、逾期数据分析看板、运管风险逾期周报填报等业务场景。

二、 建设一体化大数据资源中心（一）深化基础平台建设深化基础数据库建设，推进法人、自然人、自然资源和空间地理、电子证照、信用、物联感知等数据归集建设主题数据库，构建重点领域业务模型，建立跨领域自动化、语义一致化的主题数据库共建共享架构推动建筑信息模型（BIM）技术与工程建造技术深度融合应用，构建高精度城市信息模型（CIM）平台二）强化数据目录管理构建数据图谱，梳理各部门、各行业非涉密数据数量、类型、更新周期、产生来源、支撑应用等情况，分行业、分地域构建覆盖人、企、事、车、地、物等主体的数据图谱，形成数据一张图坚持需求导向，深入实施三清单制度，梳理数据共享需求，落实数据共享责任，完善数据目录，实现数据应享尽享三）推进公共数据开放依法推动公共数据最大限度开放，构建各部门公共数据开放清单，定期更新公共数据开放目录，持续拓展公共数据开放广度完善公共数据开放系统，扩展数据服务功能，支撑数据开发利用鼓励和支持利用开放的公共数据开展科学研究、咨询服务、产品开发、数据加工、数据服务等活动，引导各类社会力量开展公共数据应用创新，发挥数据资源效益四）打造数据治理能力中台持续提升大数据资源中心数据处理和治理能力，建成集数据可视化、地理信息系统（GIS）集成展现、数据叠加、数据沙箱、隐私计算、区块链、数据脱敏工具等技术和控件库、服务库的数据治理能力平台，为数据开发应用提供共性技术、业务协同等支撑。

加强元数据管理、数据生命周期管理、数据交换与共享管理、数据安全管理等，提升数据治理能力梳理跨层级、跨地域、跨系统、跨部门、跨业务大数据应用共性需求，强化集约化、组件化应用支撑，持续丰富数据中台服务能力五）持续提升数据质量建立数据质量闭环管理制度，明确数据采集、汇聚、存储、共享等各环节数据质量和职责要求开展数据标准化巡查、清洗、去重、校验、修复等质量提升工作，推进覆盖公共数据、社会数据的数据清洗和比对加工建立跨部门的数据质量纠错反馈机制，按照一数一源原则，对各部门共享的数据进行规范性检查、前后一致性比对、综合校验构建数据质量评估指标体系，开展数据质量监测评估，提升数据的完整性、准确性、时效性和可用性三、 数据治理基本原则（一）坚持统筹规划强化总体设计、创新引领、共建共享、互联互通，构建一体化数据协同治理体系二）坚持依法治数持续深化数据资源体制机制改革，以大数据发展管理立法为契机，建立健全大数据法规制度和标准规范体系，全面提升数据治理体系建设的法治化、专业化水平三）坚持应用牵引以住业游乐购全场景集的应用需求为牵引，打造三融五跨智能化应用场景，促进数据共享开放、业务互联互通，切实提升数据治理能力，助力运行管理智能化。

四）坚持融合发展以数据为关键生产要素，促进新技术、新模式、新服务、新业态融合创新，驱动生产方式、生活方式和治理方式变革，深化数据要素市场配置体制机制改革，营造大数据应用发展良好生态五）坚持安全底线统筹发展与安全，按照合法正当必要、谁收集谁负责、谁持有谁负责、谁管理谁负责、谁使用谁负责原则，全面落实数据安全责任，开展数据分类分级管理，实行数据全生命周期安全保护四、 一体化大数据资源中心工程（一）城市大数据资源中心完善数据目录管理、供需对接、交换等功能升级公共数据开放系统，完善目录发布、指引发布、便捷检索、统计分析、应用展示等功能建设数据中台，利用建模、映射、对标检查、同态加密、数据标签或水印等技术，开发数据元管理、数据模型、数据标准、数据质量、数据安全及审计等工具二）城市信息模型（CIM）以三维空间数据底座为核心，汇聚融合建筑、道路、轨道、隧道、桥梁、水体、地下空间等基础设施，以及资源调查、规划管控、公共专题、工程建设项目、物联感知等数据，统筹建设时空基础数据库、资源调查数据库、规划管控数据、工程建设项目数据库、公共专题数据库、物联感知数据库等主题数据库，形成融合共享、开放协同的GIS＋BIM＋IoT数据资源体系。

五、 健全综合全面的数字规则（一）制定数据治理与管理制度规则建立健全数字规则，围绕数据聚通用、要素流通，推动数据管理、数据安全等规则建设深入落实《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《关键信息基础设施安全保护条例》等法律法规，推动出台大数据发展管理地方性法规，实施数字规则意见，开展大数据发展管理领域立法先行先试，全面建立数据收集、汇聚、共享、开放、应用、交易、安全、执法监管等制度二）健全公共数据治理与管理规则推动与群众利益密切相关的医疗、教育、供水、供电、供气、通信、环境保护、公共交通等公共企事业单位数据采集、汇聚、共享、开放、利用等纳入公共数据管理体系三）建立行业数据治理与管理规则建立行业主管部门与大数据主管部门协调配合机制，推进行业数据联合治理、管理常态化推进工业、交通、卫生健康、教育、金融等行业主管部门制定符合本行业特点的数据分类分级管理制度，依法依规加强行业数据全生命周期监管发挥行业协会组织协调作用，推动行业数据相关自律规范、自律公约建立，规范会员行为积极推动无人驾驶、数字金融、医疗、APP数据采集等领域的规则制定四）构建数据要素市场管理规则构建数据要素市场化配置制度规则，。