大数据可视化平台数据治理平台建设综合解决方案

大数据可视化平台数据治理平台建设综合解决方案目 录1概述12面临的挑战12.1数据采集72.2数据清洗72.3数据存储92.4数据采集92.4.1半结构化数据的采集92.4.2非结构化文本数据中信息的抽取132.5数据清洗和数据质量的保证132.5.1数据质量的概念及分类132.5.2数据清洗的原理172.5.3单数据源中的数据清洗192.6数据的集成和融合422.6.1多数据源集成问题的分类432.6.2数据标准化的研究462.6.3数据集成的流程472.6.4多数据源中重复实体的清理472.6.5数据不一致性问题的研究502.7数据的存储和处理502.7.1并行和分布式处理理论502.7.2并行RDBMS552.7.3Hadoop572.7.4Hadoop扩展和优化632.7.5NoSQL692.7.6查询优化1382.8大数据中的数据挖掘1402.8.1传统数据挖掘概述1402.8.2大数据时代数据挖掘发展新趋势1512.8.3WEB数据挖掘1562.8.4超数据集成挖掘方法与技术研究1932.8.5数据挖掘网格技术2372.9大规模机器学习2652.9.1机器学习概述2672.9.2扩展机器学习的必要性2702.9.3面临的挑战2732.9.4概率图模型2752.9.5集成学习2762.10可视化和可视化分析2882.10.1概述2882.10.2可视化技术2892.10.3可视化分析2922.10.4文本的可视化分析2932.10.5网络可视化分析2962.10.6移动轨迹数据的可视化分析2962.10.7交互式可视化分析2962.11数据溯源技术的研究2962.11.1概述2962.11.2模式级数据的溯源2982.11.3实例级数据的溯源2982.11.4数据溯源应用的分类2992.11.5未来研究方向3002.12同步技术的研究3022.12.1概述3022.12.2通信程序3022.12.3数据库复制技术3072.12.4ETL技术3112.12.5事务处理3132.12.6XML技术3162.13数据共享技术3192.14安全技术的研究3192.14.1安全风险分析3192.14.2安全技术需求3212.14.3身份认证与密匙协商3222.14.4访问控制技术3232.14.5入侵检测技术3242.15隐私保护技术的研究3252.15.1概述3252.15.2隐私保护的技术手段3272.15.3匿名技术研究3294基础资源平台设计3314.1 网络设计3314.1.1 系统现状3314.1.2 需求分析3344.1.3 数据中心网络系统设计3384.1.4 同城DWDM系统设计3704.2 XXX云大数据平台基础设施建设需求分析3754.2.1 建设需求分析3754.2.2 XXX云大数据平台基础设施建设技术方案建议3804.2.3 XXX云大数据平台基础设施平台两地三中心建设方案建议4065大数据支撑平台设计4175.1 设计思路4175.1.1 轻量服务化架构4175.1.2 弹性可扩展4185.1.3 开放共享4185.1.4 安全可靠4185.1.5 自主可控4195.2 设计内容4195.2.1 数据存储4215.2.2 计算能力4315.2.3 高速服务框架4365.2.4 垂直搜索引擎4395.2.5 开放服务4415.2.6 分布式应用服务器4436大数据创新平台设计4446.1 采集整合服务4446.1.1 现状分析4446.1.2 设计思路4446.1.3 设计内容4466.1.4 分步建设4496.1.5 运营方式4516.2 质控治理服务（云平台）4526.2.1 质量规则4536.2.2 自动化监控数据流转4546.2.3 数据比对4556.2.4 数据检测4566.2.5 数据质量评分4566.3 数据资源服务（云平台和智慧城市）4566.3.1 架构设计4566.3.2 服务总线4586.3.3 数据超市4626.4 数据资源服务4656.4.1 数据目录创建4656.4.2 标签生成4666.4.3 目录审批管理4676.5 数据洞察服务（云平台）4676.5.1 数据挖掘4676.5.2 数据可视化4726.6 数据开放服务4826.6.1 数据开放目录管理4826.6.2 数据开放加工机制4846.6.3 数据开放方式管理4866.6.4 数据开放生命周期管理4876.6.5 数据开放授权管理4906.6.6 开放服务管理机制4917 信息安全中心设计4937.1 XXX云安全风险分析4937.1.1 XXX云环境面临的传统安全威胁4937.1.2 XXX云环境面临的新型安全威胁4947.2 XXX云安全建设方案5407.2.1 IaaS层安全建设方案5407.2.2 PaaS平台安全5487.2.3 DaaS层安全建设方案5587.2.4 SaaS层安全建设方案5627.2.5 安全服务中心建设方案5688运维监控中心设计5808.1 云计算中心运维服务方案5808.1.1 运维服务体系建设说明5808.1.2 运维服务体系架构5838.1.3 云计算中心运维服务内容5888.1.4 云计算中心监控方案和排障方法6108.1.5 体系建设的效果分析6148.2 系统迁移方案规划6178.2.1 迁移原则6178.2.2 迁移步骤6179平台运营规划设计6189.1 平台价值6189.2 商业创新模式6189.2.1 商业模式创新6199.2.2 基于XXX云大数据的商业创新模式方向6199.3 管理及运营支撑6229.3.1 锁定信息化运营6229.3.2 明确IT主体和业务主体6239.3.3 用互联网数据打造第二轨，用数据分析平台完善第二轨6239.3.4 高并发下的数据安全保障6239.4 运营体系规划6249.4.1 打造第二轨数据资产管理，发挥数据价值6249.4.2 完善组织架构，深入推进统计大数据能力的建设和运营6259.4.3 利用大数据处理架构，拓展大数据中心的建设思路6259.4.4 区隔数据热度，建立数据资产管理和应用6259.4.5 通过分层服务，向专业系统提供多样的数据分析服务6251 概述（主要是描述大数据的定义，大数据的特点，大数据的来源，大数据的行业趋势，大数据的应用。可以把行业研究报告的总结放在这里）2 面临的挑战大数据分析面临巨大的挑战，以下我们从5方面来讨论：l 异构性和非完整性当用户使用信息时，可以容忍大量的异构性。实际上，自然语言的丰富性和微妙可以提供有价值的深度。然而，机器分析通常希望是同构的数据，无法理解自然语言的微妙之处。所以，通过机器进行数据分析的第一步就是必须仔细地定义数据结构。很多的数据分析系统都要求好的数据结构。少一些的结构化设计对于一些目的可能更加有效，但是计算机系统的有效性则有赖于多个数据的大小和结构的一致性。半结构化数据的有效表示，访问和分析需要更加进一步的工作。即便是在数据清洗和错误纠正之后，数据还可能是不完整的和错误的。在数据分析得过程中应该有效地管理这种不完整性以及这些错误。这是一个非常大的挑战。近期关于概率数据或者不确定数据的管理也许可以在这方面取得一些进展。l 数据的大小任何人对大数据的第一个想法就是它的大小。多年来，对大数据并且快速增长的数据的管理一直是很具有挑战的问题。在过去，这些挑战都是通过更快的处理器来应对的。但是现在我们面临的一个基本的事实是，数据量的增长速度超过了CPU速率的增长速度。首先，在过去5年，处理器技术已经有了巨大的转变，根据摩尔定理处理器的主频每18个月就会翻倍，现在因为功率和散热的限制，单个处理器的主频基本上停滞不前了，业界都在通过多核技术来生产处理器。在过去，大型的数据处理系统需要避免在计算机群中跨节点的并行机制；现在，则需要处理在一个节点内的并行机制。不幸的是，过去应用于跨节点数据处理的并行数据处理技术并不能直接用于节点内的并行处理，因为架构看上去非常不同。比如，在单个节点中多核之间通常会共享Caches和内存通道。另外，在将来出于规律的考虑，我们可能不会持续使用系统中的硬件，数据处理系统可能需要主动第管理处理器的功耗。这些变化要求我们重新思考如何设计，搭建以及运行数据处理组件。第二个巨大的转变是向云计算的迁移，云计算将多个分离的计算任务汇聚到非常大的计算机群中，每个计算任务具有不同的性能目标。在大的计算机群中的资源共享要求新的方法来决定如何运行和执行数据处理工作，以便我们可以经济有效地满足每个计算任务的目标；还要求我们能够应对系统失效，这在越来越的计算机群中发生得更加频繁。在这种情况下，说明式编程方案更加有效，甚至是那些在做复杂的机器学习任务的程序，因为为了获得好的整体性能，跨多个用户程序的全局优化是是十分必要的。依靠用户驱动的程序优化有可能导致较差的群的整体性能。系统驱动的整体优化要求程序是足够透明的，比如在关系型数据库中，说明式的查询语言就是这样设计的。第三个转变是传统的I/O子系统发生了巨大的变化。多年来，永久性数据主要是存在硬盘上。硬盘的随机访问I/O性能比顺序I/O性能要慢很多，通常数据处理引擎通过格式化数据，以及查询处理方法的设计来克服这些限制。如今，硬盘正在逐步被固态驱动器取代，其他的技术如相变内存正在出现。这些新型的存储技术在随机访问I/O性能比顺序I/O性能之间不存在那么大的差异，这就要求我们重新思考数据处理系统中存储子系统的设计。存储子系统这种变化的影响基本上触及数据处理的每个方面，包括查询处理算法，查询排队算法，数据库设计，并发性控制方法以及恢复方法。l 及时性数据大小的另一面是速度。需要处理的数据集越大，分析所需要的时间就越长。设计的系统如果可以有效地处理大数据，那么这样的系统就能够快速地处理一个给定大小的数据集。但是，这里的处理速度不完全是谈到大数据时通常所谈到的速度，在大数据中还需要应对数据获取的速度的挑战。现实中有很多情况需要立刻得到分析得结果。比如，如果怀疑一个欺诈性信用卡交易，在交易完成之前我们就应该标识出这样的交易，这样可以从根本上防止欺诈性交易的发生。很显然，对一个用户的消费历史进行全面实时的分析是不太可行的。我们需要预先获得部分的结果，以便我们可以通过在新数据上少量的渐进式计算就可以快速地做决定。给定一个大的数据集，通常需要找到满足一个特定准则那些数据。在数据分析得过程中，这种类型的搜索有可能重复地发生。为了找到适合的数据，每次对整个数据集进行搜索显然是不现实的。我们需要实现建立索引结构来快速找到符合要求的数据。这里的问题是