移动省级经营分析系统数据质量管理系统业务技术规范.doc

中国移动通信企业标准  QB-J-XXX-2007中国移动省级经营分析系统数据质量管理系统业务技术规范（征求意见稿）   版本号：2.0The Business and Technical Specification on Data Quality Management System in Business Analysis Support SystemV2.02007-05实施2007-05发布中国移动通信有限公司 发布目 录1. 范围 12. 引用标准 13. 术语和定义 14. 符号和缩略语 25. 概述 26. 总体说明 26.1 数据质量管理概述 26.2 主要内容 36.3 系统建设目标 36.4 实施建议 47. 数据质量管理需求 47.1 数据质量问题 47.1.1 信息问题域 57.1.2 技术问题域 67.1.3 流程问题域 77.1.4 管理问题域 87.2 系统功能需求 87.2.1 元数据管理 97.2.2 数据质量监控 97.2.3 项目管理支撑 98. 系统架构 98.1 系统体系 98.2 源系统层 108.2.1 经营分析系统数据处理流程 108.2.2 数据质量监控点 108.3 存储层 118.3.1 元数据存储 118.3.1.1 业务元数据 118.3.1.1.1 业务术语 118.3.1.1.2 业务描述 118.3.1.1.3 业务指标 118.3.1.1.4 业务规则 128.3.1.2 技术元数据 128.3.1.2.1 数据源接口 128.3.1.2.2 ETL过程 128.3.1.2.3 数据仓库和数据集市存储 138.3.1.2.4 分析应用 138.3.1.2.5 运行环境信息 148.3.1.2.6 质量管理过程 148.3.1.3 管理元数据 158.3.2 运行状态信息存储 168.3.3 质量管理知识存储 168.4 功能层 168.4.1 元数据管理 168.4.1.1 元数据维护 178.4.1.2 元数据导入/导出 178.4.1.3 同步检查 188.4.1.4 实体查询 198.4.1.5 过程查询 198.4.1.6 影响分析 198.4.1.7 血统分析 208.4.1.8 实体关联度分析 208.4.1.9 实体差异分析 208.4.1.10 版本管理 208.4.1.11 变更通知 218.4.2 质量监控支撑功能 218.4.3 知识库管理 218.4.3.1.1 知识积累和维护 218.4.3.1.2 知识使用 218.4.4 系统管理 218.5 应用层 218.5.1 数据质量监控 218.5.2 信息地图 228.5.3 需求变更影响评估 228.5.4 数据集市支撑 248.5.5 项目管理支撑 248.5.5.1 工作分配管理 248.5.5.2 系统使用状况分析 248.5.5.3 项目需求管理 248.5.5.4 项目组织架构管理 259. 数据质量监控模块 259.1 概述 259.2 数据质量监控模块的目标 259.3 数据质量监控模块功能要求 259.3.1 数据质量监控流程 259.3.2 采集 269.3.2.1 指导原则 269.3.2.2 信息采集 269.3.3 检查 279.3.3.1 数据质量检查基本功能 279.3.3.1.1 数据稽核 279.3.3.1.2 处理过程检查 309.3.3.2 数据质量检查点的部署方式 309.3.4 报告 319.3.4.1 检查结果报告基本过程 319.3.4.1.1 报告定义 319.3.4.1.2 报告生成 319.3.4.1.3 报告提示 319.3.4.2 检查结果报告的内容 319.3.4.3 告警管理 329.3.4.3.1 告警界面 329.3.4.3.2 告警形式 329.3.4.3.3 告警升级 339.3.4.3.4 告警恢复 339.3.5 处理 339.3.5.1 问题处理的阶段划分 339.3.5.2 问题隔离阶段 339.3.5.3 问题处理阶段 349.3.6 总结 349.3.6.1 总结的类型 349.3.6.2 问题总结 349.3.6.3 阶段性总结 349.4 数据质量监控模块技术实现 359.4.1 技术实现架构 359.4.2 数据质量检查代理 369.4.2.1 目录扫描模块 369.4.2.2 检查规则读取模块 369.4.2.3 数据质量检查模块 369.4.2.4 检查结果生成模块 369.4.2.5 代理活动采集模块 369.4.2.6 通信模块 379.4.3 数据质量监控服务器 379.4.3.1 用户管理模块 379.4.3.2 检查规则处理模块 379.4.3.3 代理配置处理模块 379.4.3.4 代理活动监控模块 389.4.3.5 检查结果处理模块 389.4.3.6 数据库接口模块 389.4.3.7 通信模块 399.4.4 数据质量检查客户端 399.4.4.1 检查规则查看 399.4.4.2 检查规则配置 399.4.4.3 代理配置 399.4.4.4 代理活动监控 399.4.4.5 检查结果查看 409.4.4.6 用户管理 409.4.4.7 通信模块 409.5 实施要求 409.6 场景描述 4110. 数据质量管理流程 4410.1 概述 4410.2 管理机制 4410.2.1 组织机构职责 4410.2.1.1 角色与职责 4410.2.1.1.1 项目负责人 4410.2.1.1.2 项目经理 4410.2.1.1.3 数据质量管理员 4510.2.1.1.4 业务系统接口员 4510.2.1.1.5 文档的设立和维护 4510.2.2 相关外部组织 4610.3 质量控制流程 4610.3.1 需求变更控制流程 4710.3.1.1 流程进入条件 4710.3.1.2 流程产生文档 4810.3.2 数据质量问题处理流程 4810.3.2.1 流程进入条件 4910.3.2.2 流程产生文档 4910.3.3 指标口径及业务规则问题处理流程 5010.3.3.1 流程进入条件 5110.3.3.2 流程产生文档 5110.3.4 元数据变更维护流程 5210.3.4.1 流程进入条件 5210.3.4.2 流程产生文档 5210.3.5 错误数据维护流程 5310.3.5.1 流程进入条件 5310.3.5.2 流程产生文档 5410.4 质量检查 5410.4.1 管理流程检查 5410.4.1.1 组织结构检查 5410.4.1.2 管理流程及相关标准的检查 5510.4.1.3 质量管理流程执行情况检查 5510.4.2 元数据质量检查 5510.4.2.1 及时性检查 5510.4.2.2 完整性检查 5610.4.2.3 准确性检查 5611. 系统管理 5611.1 概述 5611.2 系统安全管理 5711.3 系统版本管理 5712. 编制历史 57VQB-J-XXX-2007前言为更好地及时获取、分析、评估和解决省级经营分析系统各环节的数据质量问题，保证数据质量的稳定可靠，需要构建一套省级经营分析系统数据质量内部控制的管理体系，利用数据质量监控模块进一步提升数据质量管理系统对经营分析系统的支撑能力，特制订本规范。

本标准由中国移动通信有限公司提出并归口本标准以中移有限业【2007】XX号印发本标准起草单位：中国移动通信有限公司本标准主要起草人：本标准解释单位：中国移动通信有限公司VIQB-J-XXX-2007 1. 范围 本规范包含了中国移动经营分析系统数据质量内部控制的管理体系，以及数据质量管理系统业务技术规范方面的内容本规范适用于中国移动省级经营分析系统数据质量管理系统(v2.0)的建设 本规范重点描述了以元数据管理为基础的数据质量监控功能，引入数据质量监控模块，并提出了数据质量全程监控的概念旨在为数据运营打下基础，提升数据质量管理能力，使经营分析系统具有更高的实用价值2. 引用标准《中国移动省级经营分析系统数据质量管理系统业务技术规范（v1.5）》《中国移动经营分析系统元数据管理规范V1.0》《中国移动省级经营分析系统数据质量控制指导意见》3. 术语和定义序号名词解释1元数据是描述经营分析系统中数据的数据，为数据质量管理等业务功能提供信息支撑2技术元数据技术元数据包含关于经营分析系统数据技术层面的信息，描述了数据源、ETL、数据仓库和数据集市、OLAP、一级经营分析系统接口等子系统的数据特征。

3业务元数据业务元数据用业务术语、名称、定义来描述经营分析系统中的各种业务信息，供业务人员使用4管理元数据管理元数据主要是指经营分析系统日常建设过程中，涉及开发、运维等管理流程的基本信息5CWMCWM标准是OMG组织定义的数据仓库和相关系统的国际元数据标准，CWM标准的目的在于使得数据仓库和商业智能软件的元数据在分布异构的数据分析工具，数据仓库平台，元数据存储等系统之间交互6信息地图信息地图是在元数据基本功能基础上对经营分析基础元数据信息的全局、多视角的展现7数据质量监控自动获取经营分析系统各环节的数据质量信息，结合元数据库中的有关检查规则，对数据质量情况进行诊断，并及时向数据质量监控人员报告8数据质量监控代理(Agent)是指部署在经营分析系统数据处理流程各阶段上的，完成数据质量情况采集、检查、报告等功能的驻留程序9数据质量监控服务器对分布式数据质量监控代理进行管理和服务的程序模块4. 符号和缩略语缩写英文描述中文描述BOSSBusiness Operation Support System业务运营支撑系统ODSOperational Data Store操作型数据存储CORBACommon Object Request Broker Architecture公共对象请求代理体系结构CORBAIDLCORBA Interface Definition LanguageCORBA接口定义语言CWMCommon Warehouse Metamodel公共仓库元模型ETLExtraction Transformation Loading抽取、转换和加载JMIJava Metadata InterfaceJava元数据接口OLAPOn-line Analysis Process分析处理XMIXML 。