浅议运营支撑系统数据质量管控.doc

浅议运营支撑系统数据质量管控【摘要】在长期电信运营支撑系统维护工作中发现，经 营分析系统、BSS、BILLING等系统的报表不一致，归根结底 都是数据质量不高造成的数据质量不高已成为困扰此类项 目开发人员与系统维护人员及用户的一个难题BSS、 BILLING及经分系统作为电信企业的重要支撑系统，电信企 业对数据的依赖程度在不断加大数据质量的好坏直接关系 到提供信息的准确程度，也影响到企业的经营决策在本文 中根据本人在运营支撑系统维护工作中的一点积累，浅述一 下数据质量及一些数据质量管控的方法，并对数据质量稽核 平台作一简要描述，使企业领导重视数据质量的管理工作， 以期对企业的信息系统管理提供一些参考关键词】元数据；质量管控；稽核；运营数据存储（ODS）一、引言就目前来看，三大电信运行商的IT支撑系统数据融合 都取得了一定的进展，企业的标准数据正在逐渐形成，实现 了各个支撑系统间准实时的数据传递与共享但数据质量管 控体系还需要跟进完善，数据质量要尽快提升否则对系统 运营效率和经营决策产生影响如何提高数据质量？最理想 的途径是建设一个真正企业级的融合数据中心，将各个网 元、IT支撑系统和各业务平台的各种客户及订购关系数据集 合到一个中心数据库，由它提供统一的服务，为各个平台、 系统应用提供数据的统一访问。

但就目前来说，各系统的差 异及限制还达不到真正的企业级融合数据中心，仍存在很多 挑战性难题下面就目前切实可行且在运营支撑系统维护中 比较简捷的管控方法总结一下，为负责维护及开发运营支撑 系统的同仁提供一些参考二、数据质量介绍（一） 数据质量概念数据质量管控（Data Quality Management and control）,是指对数据从获取、存储、共享、维护、应用、 消亡整个生命周期的每个阶段里可能引发的各类数据质量 问题，进行识别、监控、预警等一系列管理活动，并通过改 善和提高组织的管理水平使得数据质量获得进一步提高数 据质量管控是闭环管理过程，其终极目标是通过准确可靠的 数据提升数据在实际使用中的价值，并最终为企业赢得经济 效益二） 数据质量问题分析在生产实践中，我们发现数据质量问题主要由以下情况 引发：1、企业中各个子系统相对独立，设计实施阶段没有统 一规划，采用不同的技术架构和不通的数据模型，导致数据 粒度、表达方式上的多样性，数据分散不完整2、 在系统审计改造中，数据迁移时数据的完整性受到 了破坏但没有发现，没有得到及时修复，这导致数据的合法 性受到影响3、 数据可能被异常情况破坏，可能由于系统的软硬件 故障导致部分数据不正确。

4、 开发设计时没有提供有效合理的数据更新维护方法, 数据没有在有效的时间内同步更新，导致数据不是最新的5、 缺乏合理的命名规范和数据定义导致同义词、同名 异意词产生概念上的混淆，这会增加数据管理的困难，时间 长了就会导致数据的正确性和一致性降低6、 与业务需求无关的数据通常不被重视，这些缺少关 注的数据多是低质量的7、 操作人员的误操作从生产实践中可以总结出影响数据质量的四个问题域： 信息问题域技术问题域流程问题域管理问题域 由于对数据本身的描述理解及其度量标准的偏差而造 成的数据质量问题产生这部分数据质量问题的原因主要 有：元数据描述及理解错误、数据度量的各种性质得不到保 证和变化频度不恰当等由于具体数据处理的各技术环节的异常造成的数据质 量问题，它产生的直接原因是技术实现上的某种缺陷数据 质量问题的产生环节主要包括数据创建、数据获取、数据传 递、数据装载、数据使用、数据维护等方面的内容由于 系统作业流程和人工操作流程设置不当造成的数据质量问 题，主要来源于系统数据的创建流程、传递流程、装载流程、 使用流程、维护流程和稽核流程等各环节由于人员素质及管理机制方面的原因造成的数据质量 问题，如人员管理、培训和奖励等方面的措施不当导致的管 理缺失。

三、建立统一的数据质量管控体系有效的管理还得靠合理的管控体系支撑，不仅要有系统 工具支撑，还要统一规范来为日常维护指导，并形成完善的 管理制度规范各环节的行为（见图1）一）统一规范指导A、 数据质量标准，明确质量管控工作目标•完整性，定义各阶段实施数据范围•一致性，统一数据来源、冗余存储和数据口径•准确性，定义各类数据度量单位、计量误差允许范围•合法性，主要从格式、类型、域值和业务规则的有效 性进行定义•及时性，定义各类数据采集、加工的时间点标准•优先级，定义各类数据、质量问题的处理时效标准图1数据质量管控体系B、 业务指标规范，指导各类报表、统计的数据加工・明确各类业务、业务术语定义•业务指标口径，从业务口径和技术口径相结合进行描 述•明确数据源以及数据加工流程C、数据操作规范，规范数据操作人员日常工作流程•需求变更管理流程，对业务指标定义、数据源变动等 情况的后续相应处理流程进行规范，避免工作脱节•数据安全管理规范，对数据访问、更新、备份等操作 流程做出定义，规范相关人员的日常工作（二）完善质量管控机制A、 成立独立的数据质量管控小组，对数据从接口、加 工、使用的全过程进行监督B、 完善质量问题闭环处理流程，责任到人•问题发现：数据稽核、监控工作制度化、自动化。

引 入数据稽核引擎，对数据处理流程各个关键环节进行监控， 及时发现问题•问题分析：发现数据质量问题以后，由相关责任人对 问题进行分析，输出相应的解决方案•问题处理确认：问题处理完毕后由管控小组成员在质 量管控系统中确认•问题评估：分析总结数据质量问题原因及改进情况， 完善数据质量知识库，用于指导质量管理流程、监控规则的优化，促使数据质量持续改进 C、数据质量报告工作制度化，数据质量管控小组做到定期提交数据质量报告，总 结经验D、建立数据源质量问题反馈机制，对于生产系统的数 据质量问题及时反馈给相关人员，促进生产系统数据质量提 升)) 元数据管理通过元数据管理系统，把业务指标规范、业务规则、数 据采集加工流程、数据应用情况等统一管控，作为数据质量 管控的强有力支撑元数据(Meta Data)关于数据的数据，是对数据的含 义、功能、来源等进行的描述元数据是数据质量系统支撑 的核心，也是数据质量实施的重点类型：业务元数据、技术元数据、操作元数据作用：?元数据是进行系统集成必须的?元数据定义的语义层帮助最终用户理解数据仓库的数 据?元数据是保证数据质量的关键?元数据可以支持需求变化四、数据质量管控从上面的问题分析可以看出，数据问题实际上是无法避 免的，下面主要说一下增加对生产系统数据质量的监督和管 控来提高数据质量。

靠数据稽核平台进行问题发现，再进行 问题分析、问题解决、问题评估及质量改进，最后制定质量 标准，达到数据质量的闭环管理图2数据质量管控流程图（一） 数据稽核平台功能介绍对于分散的系统建设，数据质量问题实际上是无法避免 的，这里阐述的主要是通过增加监控手段来发现数据质量问 题通过稽核平台对数据源系统数据、接口规范及业务规则 进行检查，对于数据稽核过程中发现的质量问题稽核平台支 持短信和邮件通知相关责任人，在通知相关责任人的同时把 发现的质量问题发布到稽核平台的质量问题管理模块，提交 相关人员进行处理二） 稽核平台检查内容稽核平台的检查内容是管控的关键，数据范围的圈定直 接关系到是否会遗漏问题数据，要尽可能的包括全量数据的 稽核1、数据源系统质量检查单系统数据质量检查稽核平台和各个业务源系统形成闭环的数据管理流程， 保障源系统数据质量的改进，稽核平台需要提供对各源系统 数据进行数据质量检查功能跨系统数据质量检查稽核平台在整合不同生产系统的数据的过程中，需对不 同系统之间的相同属性数据进行一致性进行检查，实现跨系 统数据质量检查稽核平台内容数据质量检查在检查数据源质量的同时，需要对稽核平台内部处理过 程的各个环节及其结果进行监控和检查2、 接口规范检查针对预先定义好的接口规范对数据源接口进行检查稽核内容包括：?文件格式（针对文件类型接口）?数据类型?数据缺失?数据唯一性，比如重单、标识的唯一性?编码检查?接口稳定性?接口及时率3、 业务规则检查基于固有的业务关系，对数据的逻辑合理性进行验证。

单字段自身的业务逻辑验证，比如时间值合理性，身 份证编码等?多个字段之间的业务逻辑关系验证，比如?数值间平衡关系?业务量、收入配比合理性?多个数据源相同属性数据的一致性?编码、标识字段的相关性，主要是检查多个接口间标 识字段的相互依赖关系，如用户编码4、数据阀值监控数据阀值监控是指数据在处理过程中，对于抽取、转换、 加载、汇总等环节提供阀值监控功能；提供环节和数据处理 方式的不同设定阀值功能，同时根据设定阀值进行监控，并 显示监控信息监控范围：?记录数?指标统计值?离散量分布合理性，比如发展用户在各渠道类型的分 布?连续量分布合理性，比如各在网时长分档的网上用户 数监控方法：?绝对值对比?同比、环比变化（三）数据质量分析数据质量评估分析是指通过配置数据质量问题分析解 决过程中的各项考核指标，对数据质量问题处理情况进行分 析，使管理层能以直观的方式了解通过稽核平台发现的数据 质量问题的解决情况并对质量问题的各个岗位进行考核报告内容：?总量评估，对需要评估总量的数据质量检查/稽核报告 （可配置），统计各类错误数，从总体上对数据质量的收敛 度进行评估；?数据源的质量评估，比如各类错误统计、接口的稳定 性、及时性指标，对各源系统的质量的收敛度进行评估?专项数据质量问题评估，以报告模式对重点关注的质 量专题，制定专题规则进行分析并对结果予以评估。

四） 质量问题通知机制1、 对于数据稽核过程中发现的质量问题支持多种方式 及时通知相关责任人通知机制?短信方式?邮件方式?浏览器显示2、 在通知相关责任人的同时把发现的质量问题发布到 质量问题管理模块，提交相关人员处理（五） 质量问题评估及质量改进根据数据质量评估分析结果，采取措施消除产生数据质 量问题的根源采用数据清理、转换等技术方法改进如重码、 数据不一致等问题，或者制定政策改进数据的生产过程和管 理方法对于新问题要建立新的数据质量标准及管控流程与 规范，实现对整体数据的管理和支撑图3企业数据质量问题管理五、结束语根据本人在运营支撑系统维护工作中的一点积累，浅述 了数据质量及一些数据质量管控的方法，并对数据质量稽核 平台作简要描述希望企业领导重视数据质量的管理工作， 在企业上下建立起完善的数据质量管理负责制度，并与员工 的绩效和奖惩挂钩有条件的企业可以成立专门的组织和机 构负责数据质量管理工作，以期对企业的信息系统管理提供 一些参考参考文献：[1] 陈京民•数据仓库与数据挖掘技术[M].电子工业出 版社，2002.[2] 王珊.数据仓库技术与联机分析处理[M].科学技术 出版社，1999.[3] Bill Inmon.数据仓库[M].机械工业出版社,2001.[4] Theodore Johnson, Tamrapami Dasu, Data Quality and Data Cleaning： An Overview, In Procedings of the 2003 SIGMOD International Conference on Management ofData, 2003.[5] 程开明.国际上统计数据质量管理体系架构及进展 [J].调研世界，。