数据治理总体解决方案V10.ppt

华傲数据数据治理总体解决方案（思路探讨）深圳市华傲数据技术有限公司深圳市华傲数据技术有限公司融合管理与技术融合管理与技术支撑决策与落实支撑决策与落实Copyright￿©￿2010￿深圳市华傲数据技术有限公司1内容v行业数据现状v华傲数据质量治理体系架构u组织体系u管理体系u技术体系u执行体系v优势与价值v公司资质u公司简介u成功案例v引申问题Copyright￿©￿2010￿深圳市华傲数据技术有限公司2内容v行业数据现状v华傲数据质量治理体系架构u组织体系u管理体系u技术体系u执行体系v优势与价值v公司资质u公司简介u成功案例v引申问题Copyright￿©￿2010￿深圳市华傲数据技术有限公司3行业数据现状及面临的问题政府、金融、电信、医疗等行业企业普遍存在的数据管控难题：数据分散，形成信息孤岛，共享困难出了问题再补漏，数据管理部门和生产部门互相推脱责任已然形成大数据，但针对其应用处理困难数据质量低下，统计不准确？主数据安全？数据多样化，缺少统一标准，集成困难数据管控方面存在的主要问题Copyright￿©￿2010￿深圳市华傲数据技术有限公司4内容v行业数据现状v华傲数据质量治理体系架构u组织体系u管理体系u技术体系u执行体系v优势与价值v公司资质u公司简介u成功案例v引申问题Copyright￿©￿2010￿深圳市华傲数据技术有限公司5华傲数据管控体系架构数据管控体系架构组织体系管理体系技术体系执行体系v数据使用者（领导决策层）v数据管理者（IT管理层）v数据生产者（业务层）v制定数据标准（定义标准、使用标准）v制定数据管理机制（管理流程、权责关系）v制定数据应用规则（数据集成、分发规则）v制定数据模型（统一数据视图）v数据探查v数据清洗、质量提升v数据集成、监控v数据安全￿v业务梳理v数据分析v绩效评估vPDCA循环管控机制Copyright￿©￿2010￿深圳市华傲数据技术有限公司6体系架构-概述概述￿￿￿￿￿￿￿华傲数据治理管控架构是促进企业数据管理体系建设和执行体系落地的有力支撑平台，将分散、多样化的核心主数据通过标准化、质量探查、清洗、集成及监控等操作进行优化，形成企业内的数据管控体系，并结合企业组织结构，形成数据管控执行体系，在企业内部持续运行，提升、挖掘主数据的应用价值。

￿￿￿￿￿￿解决企业内部如下的数据管控问题：v主数据分散且多样化问题v隐蔽性的数据质量问题v遇到问题，数据生产者和管理者互相推脱责任的问题v主数据质量低下，利用率低的问题v数据管理落实不利的问题v数据使用者决策依据不准确的问题人技术管理Copyright￿©￿2010￿深圳市华傲数据技术有限公司7体系架构-理念理念￿￿￿￿￿￿￿￿￿￿￿华傲数据治理管控体系以保障企业核心业务为目标，通过对业务主数据的探查、清洗、集成、监控和信息挖掘，提升主数据质量，将数据管理与企业组织机构相结合，以管理绩效为手段，加强保障数据质量管控的执行力，使数据治理在企业内部持续运行，保障主数据的数据质量，为数据的集成和挖掘应用提供有力保障经营风险核心核心业务业务主数据主数据数据管理核心目标：保障核心业务正常运作，提升数据价值，深度挖掘数据应用价值挖掘数据应用价值数据标准体系建立：分析梳理业务流程，设计业务主数据指标体系，形成数据标准规范数据质量稽查、提升、主数据监控：探查、解决、处理数据质量问题，提升数据价值数据集成共享：将各类型处理过的优质生产数据统一集中存储，便于调用、共享，支持大数据大数据应用集成数据管控体系：形成从数据生产￿–￿数据处理￿–￿数据监控￿–￿数据调用共享的数据综合管理体系，使数据管理日常化。

数据综合管理平台：为用户提供综合的数据管理解决方案，保障业务运作，提升数据价值，辅助管理决策Copyright￿©￿2010￿深圳市华傲数据技术有限公司8体系架构-技术架构技术架构Copyright￿©￿2010￿深圳市华傲数据技术有限公司9体系架构-组织体系组织体系数据生产者数据生产者数据生产数据生产数据质量初审数据质量初审数据质量绩效执行数据质量绩效执行使用挖掘管理管理数据管控体系组织体系生产￿数据使用者数据使用者数据使用数据使用数据统计分析数据统计分析数据质量绩效执行数据质量绩效执行数据拥有者数据拥有者数据数据ownerowner数据挖掘数据挖掘数据质量绩效评估数据质量绩效评估数据管理者数据管理者数据管理数据管理数据安全保护数据安全保护数据质量绩效执行数据质量绩效执行Copyright￿©￿2010￿深圳市华傲数据技术有限公司10体系架构-管理体系管理体系（数据标准化服务咨询（数据标准化服务咨询--￿--￿Audaque | Data ConsultingAudaque | Data Consulting￿ ￿））数据定义标准数据格式标准业务梳理•￿￿业务流梳理•￿￿业务职责重定义•￿￿业务与组织机构的关联分析数据分析•￿￿数据流梳理•￿￿数据格式分析•￿￿数据与业务的关联分析应用分析•￿￿数据的应用规则•￿￿数据的应用范围•￿￿数据的关联分析数据梳理数据定义规则数据清洗规则数据指标、规则体系数据应用标准数据应用规则国家、行业标准Copyright￿©￿2010￿深圳市华傲数据技术有限公司11整体统计•概况认知•通用探查需求细节探索•深入分析•多维度统计关联分析•数据依赖分析•全面数据诊断数据探查建立数据库全文索引Schema概况统计表概况统计主外键关联探索敏感数据探索基本分析结构分析频率分析分布统计函数依赖探索字典规则探索智能探索人工探索质量评估数据质量评估报告数据源体系架构-管理体系管理体系（数据质量探查（数据质量探查￿ ￿--￿--￿Audaque | Data Discovery Audaque | Data Discovery ））Copyright￿©￿2010￿深圳市华傲数据技术有限公司12匹配、融合审核数据审核标准化审核数据处理修复审核匹配、融合•匹配相似实体•制定融合策略•实体融合标准化处理•数据补全•数据验证•数据标准化交互式修复•报告问题•分析问题并制定修复策略•手工修复数据优质数据数据质量评估报告数据指标、规则体系体系架构-管理体系管理体系（数据质量提升（数据质量提升￿ ￿--￿--￿Audaque￿|￿Data￿Promotion））Copyright￿©￿2010￿深圳市华傲数据技术有限公司13数据中心数据集成数据监控•数据源监控•业务流监控•任务调度监控大数据处理•大数据环境安装•海量结构化数据处理•XML数据处理•图数据处理数据集成•支持多类型数据源链接•设计管理作业•自动化作业调度、执行•数据集成、分发数据挖掘优质数据数据指标、规则体系体系架构-管理体系管理体系（数据集成（数据集成￿ ￿--￿--￿Audaque | Data AutomationAudaque | Data Automation））Copyright￿©￿2010￿深圳市华傲数据技术有限公司14体系架构-执行体系执行体系核心业务数据标准制定数据分析处理数据监控数据集成业务梳理绩效评估以标准对数据进行质量探查、处理、分析执行执行是管控体系落地落地的关键￿￿￿￿￿￿￿以绩效的手段促进数据质量管理，将数据生产者、使用者、管理者及拥有者关联起来，形成一套可持续有效执行的执行体系，保障持续的高数据质量按规则对数据流进行监控、预警监控、预警集成高质量数据，形成数据中心，实现共享、分发、挖掘以绩效手段促进、保障数据管控机制持续有效运行梳理核心业务流、数据流制定数据管控指标（数据标准）Copyright￿©￿2010￿深圳市华傲数据技术有限公司15体系架构-执行体系执行体系（绩效指标）（绩效指标）一级指标二级指标考核标准频度权重备注数据质量问题发生数据质量问题的个数考核对象：数据负责人考核标准：1、发现一例数据质量问题扣1分；2、依此类推，直至本项指标权重扣完为止；月35扣分项影响范围考核对象：数据负责人考核标准：1、数据质量问题影响30%以下（含30%）信息系统，扣5分；2、数据质量问题影响30%~70%（含70%）信息系统，扣15分；3、数据质量问题影响70%以上信息系统，扣25分；4、按月统计，以单次数据质量问题影响范围最大的数据为准；月25扣分项严重程度考核对象：数据负责人考核标准：以造成的经济损失为考核依据，依企业情况自定义；人工考核年扣分项数据质量问题处理数据质量问题的处理个数和及时性考核对象：数据负责人考核标准：1、在规定时间内处理完成一例数据质量问题，加1分；否则不加分；月35加分项Copyright￿©￿2010￿深圳市华傲数据技术有限公司16体系架构-执行体系执行体系（绩效指标）（绩效指标）一级指标二级指标考核标准频度权重备注数据管理质量探查考核对象：数据管理员考核标准：1、未在规定的周期内实施数据质量探查工作，扣3分；2、按指定周期实施数据质量探查，不扣分；月35扣分项问题预警、分发考核对象：数据管理员考核标准：1、在发现数据质量问题时，在规定时间段内，及时预警并通知相关人员处理，不扣分；否则，扣3分；Copyright￿©￿2010￿深圳市华傲数据技术有限公司18内容v行业数据现状v华傲数据质量治理体系架构u组织体系u管理体系u技术体系u执行体系v优势与价值v公司资质u公司简介u成功案例v引申问题Copyright￿©￿2010￿深圳市华傲数据技术有限公司19解决方案-优势与价值v以高质量的数据，保障决策信息的准确有效；决策准确执行有效响应快速标准统一v以标准规则实时监控数据质量；v将数据生产者、使用者、管理者关联起来，联动响应；v以绩效手段保障数据管控体系有效执行v以核心业务为主线，提供统一的数据标准；v规范数据治理流程；v建立数据监控规则、应用规范；v准确、快速的定位问题数据源；v及时通知数据负责人进行处理，减少或避免损失；v以企业核心业务为主线，有针对性的提升企业业务主数据价值；v自主研发国际领先的第三代数据质量产品，能快速定位、自动处理数据质量问题；v结合绩效评估手段，保障数据管控体系的有效执行，持续保障企业核心主数据的高可用性优势价值Copyright￿©￿2010￿深圳市华傲数据技术有限公司20内容v行业数据现状v华傲数据质量治理体系架构u组织体系u管理体系u技术体系u执行体系v优势与价值v公司资质u公司简介u成功案例v引申问题Copyright￿©￿2010￿深圳市华傲数据技术有限公司21l公司主要面向数据质量、数据集成、主数据管理、大数据管理等方面的产品研发l北京市政府、深圳市政府邀请在国内进行科研成果的商业化••刘淇书记亲自批示••七个委办局的引进工作组北京••广东省创新团队：唯一软件团队••深圳市“孔雀计划”团队深圳••973量质融合项目示范应用课题••国家自然科学基金重点项目国家华傲数据技术有限公司简介华傲数据机密21Copyright￿©￿2010￿深圳市华傲数据技术有限公司22•数据质量管理、XML数据管理•图数据管理•记录匹配、图数据管理•分布并行数据库、高性能列存储数据库贾西贝马帅吴颖徽汤南华傲数据技术有限公司--科研团队樊文飞院士团队在数据质量、XML数据处理、图数据处理、分布式数据处理等方面做出了世界级研究成果22华傲数据机密Copyright￿©￿2010￿深圳市华傲数据技术有限公司23华傲数据技术有限公司--团队荣誉华傲数据机密23工工￿ ￿业业￿ ￿界界2012年入选“中国留学人员创业园百家最具潜力创业企业”2010年￿获得IBM智慧地球大规模数据分析奖英国媒体：“企业走出经济衰退必须依赖的研究成果”BCS评价：“奠定了英国在数据质量研究中的全球领先地位”研研￿ ￿究究￿ ￿界界2012年出版￿《数据质量管理基础》2012年公司首席科学家获ACM￿Fellow2011年￿公司首席科学家当选苏格兰科学院皇家院士2010年￿获得美国ACM阿尔伯特·门德尔松时间检验奖2010年￿获得超大数据集国际会议最佳论文奖2008年￿获得英国计算机最高奖罗杰·尼达姆奖2007年￿获得IEEE数据工程国际会议最佳论文奖Copyright￿©￿2010￿深圳市华傲数据技术有限公司27内容v行业数据现状v华傲数据质量治理体系架构u组织体系u管理体系u技术体系u执行体系v优势与价值v公司资质u公司简介u成功案例v引申问题Copyright￿©￿2010￿深圳市华傲数据技术有限公司28引申问题1.数据标准化怎么做？（项目咨询能力缺乏，行业数据标准的制定）2.ADA、ADP、ABA的功能架构？（规划的每个产品的功能架构图）Copyright￿©￿2010￿深圳市华傲数据技术有限公司29谢谢！。