数据采集处理项目技术方案.doc

Four short words sum up what has lifted most successful individuals above the crowd: a little bit more.------------------------------------------author------------------------------------------date数据采集处理项目技术方案数据采集处理项目技术方案xxx大数据库中心数据库投资商和企业数据采集处理项目项目编号：I5300000000617001206技术方案xxx有限公司 二○一七年六月目 录1 引言 31.1 项目背景 31.2 项目目标 31.3 建设原则 31.4 参考规范 41.5 名词解释 52 云数据采集中心 72.1 需求概述 72.2 总体设计 72.3 核心技术及功能 103 大数据计算平台 343.1 需求概述 343.2 总体设计 343.3 数据模型设计 354 数据运营 384.1 数据挖掘分析 384.2 数据分析处理的主要工作 384.3 数据分析团队组织和管理 395 安全设计 426 风险分析 467 部署方案 478 实施计划 489 技术规格偏离表 4910 售后服务承诺 5211 关于运行维护的承诺 5512 保密措施及承诺 5613 培训计划 581 引言1.1 项目背景XXX大数据中心建设出发点考虑从投资者角度涵盖招商全流程，尽可能为投资者解决项目实施过程中的困难和问题，便于招商部门准确掌握全省招商数据，达到全省招商项目数据共享，形成全省招商工作“一盘棋、一张网、一体化”格局。

大数据中心将充分发挥大数据优势，加强对企业投资项目、投资轨迹分析，评估出其到XX投资的可行性，为招商过程留下痕迹、找到规律、明辨方向、提供“粮食”、提高效率，实现数据寻商、数据引商、数据助商，实现数据资源实时共享、集中管理、随时查询，实现项目可统计、可监管、可协调、可管理、可配对、可跟踪、可考核本次数据运营服务主要是为大数据平台制定数据运营规范及管理办法 ，同时为“企业数据库”提供数据采集、存储与分析服务，并根据运营规范要求持续开展数据运营服务1.2 项目目标l 制定招商大数据运营规范及管理办法l 制定招商大数据相关元数据标准，完成相关数据的采集、整理与存储l 根据业务需求，研发招商大数据招商业务分析模型，并投入应用l 根据运营规范及管理办法的要求持续开展数据运营工作1.3 建设原则基于本项目的建设要求，本项目将遵循以下建设原则：l 前瞻性和高标准 整个项目要按照企业对大数据应用的需要的高要求和高标准建设，参考行业标杆应用，建立满足需求，面向未来的目标，整个项目具有一定前瞻性l 经济性和实用性 整个项目以现有需求为基础，充分考虑未来发展的需要来确定系统的架构，既要降低系统的初期投入，又能满足服务对象的需求，同时系统设计应充分考虑对已有投资的保护，对已建立的数据中心、基础平台、应用软件应提供完备的整合方案。

l 先进性和成熟性 为了确保项目具有较长的生命周期，应充分考虑到管理创新、技术发展需要，按照先进的建设理念，选择先进的技术架构和成熟技术，满足业务需求l 高性能和安全性 规范地进行系统建设和开发，提供合理且经济有效的应急方案，确保系 统的稳定，向各类服务对象提供可靠的服务具有安全性，在系统遭到攻击或崩溃时能快速恢复，确保重要数据的机密性和完整性1.4 参考规范l GB/T 20269-2006 信息安全技术—信息系统安全管理要求l GB/T 20984-2007 信息安全技术—信息安全风险评估规范l GB/T 22239-2008 信息安全技术—信息系统安全等级保护基本要求l GB/T 22240-2008 信息安全技术—信息系统安全等级保护定级指南l GA/T 388-2002B 计算机信息系统安全等级保护管理要求l GB/T 8567 -1988 计算机软件产品开发文件编制指l GB/T 11457-1995 软件工程术语l GB/T 11457-2006 信息技术 软件工程术语l GB/T 16260.1-2006 软件工程 产品质量 第 1 部分:质量模型l GB/T 16260.2-2006 软件工程 产品质量 第 2 部分:外部度量l GB/T 16260.3-2006 软件工程 产品质量 第 3 部分:内部度量l GB/T 16260.4-2006 软件工程 产品质量 第 4 部分:使用质量的度量l GB/T 14394-2008 计算机软件可靠性和可维护性管理l GB/T 17544-1998 信息技术 软件包 质量要求和测试1.5 名词解释l S2DFS：简单存储分布式文件系统（Simple Storage Distributed File System）l D2B:分布式数据库（Distributed Database）l JSS：作业调度服务（Job Scheduler Service）l DCS：数据计算服务（Data Computer Service）l MPS：消息处理服务（Message Process Service）l SDS：流数据处理服务（Stream Data Service）l DMQ：分布式消息队列（Distributed Message Queue）l JGS：作业生成服务（Job Generation Service）l ACS：自动清理服务进程（Automatic Cleaning Services）l HTTP：超文本传输协定（HyperText Transfer Protocol）l SMB：服务器信息块协议（Server Message Block）2 云数据采集中心2.1 需求概述根据规划，云数据采集中心的建立至少满足 1 至 2 年内的 数据存储和计算规模，需要满足：l 数据采集范围包括但不限于世界500强、全国500强、行业20强企业相关数据。

l 总数据容量至少达到30T2.2 总体设计整个云数据采集中心分为三部分：硬件资源层、软件平台层、软件应用层硬件资源层主要指实体硬件设备，包括用来存储数据的光纤阵列柜和存储服 务器，用来作统计、分析以及搜索用的计算服务器，用来部署分布式消息（DMQ）/WEB/APP 软件的 WEB 及消息服务器，用来部署用 PostgreSQL 关系数据库软件的应用数据库服务器，用来部署作业调度服务进程（JSS）的作业调度服务器 作为数据通信用的全千兆三层交换机等等其中光纤阵列柜主要用来存储统计分 析后的粗颗粒度数据存储服务器用来部署分布式文件系统和分布式数据库，同 时存储非结构化和结构化（台标图片，电商图片等等）和结构化数据（行为数据， 索引数据，log 数据，清理后的细颗粒度数据等等）计算服务器主要用来完成数 据的清理、统计、搜索等计算任务为了节省成本和减少通信代价，建议存储服务器和计算服务器合二为一，所以该服务器同时具有计算和存储数据的功能，前 期也可以考虑把作业调度服务进程（JSS）进程部署在存储/计算服务器上由于 云数据采集中心需要面对多种宽带用户（电信、移动、联通），所以，数据中心 的对外的网络需要直连上电信、移动、联通三家公司的网络，保证以上三家公司间的通信性能高速和可靠。

软件平台层是云数据采集中心的核心支撑层，也是我们这次方案设计和实施的主体部分，在核心技术章节会对“分布式文件系统（S2DFS）”、“分布式数 据库（D2B）”、“分布式消息服务（DMQ）”“作业调度服务进程（JSS）、数 据计算服务进程（DCS）”主要部分加以详细的描述软件平台层的所有服务器都统一部署的 64 位操作系统 CentOS 6.5（也可以选择 RHEL 6.5 x64）；其核心软 件或者进程有：分布式文件系统（S2DFS）、分布式数据库（D2B）、作业调度服 务进程（JSS）、数据计算服务进程（DCS）、作业生成服务进程（JGS）、消息处 理服务进程（MPS）、流数据处理进程（SDS）等等WEB 及应用服务器软件 Apache&Tomcat，消息队列软件分布式消息（DMQ）还要实现整个云数据采集 中心的资源管理及监控管理系统软件应用层是云数据采集中心的功能实现及 UI 表达层，功能实现需要基于 软件平台层的支撑，后期设计和实施的主体该层的主要功能应用有：数据采集应用、数据统计应用、云数据采集中心的资源监控及调度通过公共数据网（电信、联通、移动）和 HTTP 协议，把采集的海量文本、图片数据以及用户行为数据存储在云数据采集中心里，以供后期分析计算用。

云数据采集中心整体架构图云数据采集中心网络结构图2.3 核心技术及功能2.3.1 分布式文件存储技术（1） 传统存储技术面临的问题：n 构建成本高：大容量及高网络带宽的高端存储系统架构昂贵n 文件系统功能和性能差强人意：难以实现全局命名空间的文件共享、 文件系统难以扩展，容易形成瓶颈n 扩展性困难：技术存在瓶颈（Scale-up 架构决定的）、扩展成本无法 控制n 可用性问题：潜在的单点故障,数据恢复困难，代价高n 应用目标差异：主要面临运营商、金融行业的 OLTP 应用、很少针 对海量的流数据，或者非结构化数据进行设计和优化n 异构设备繁杂：不同时期、不同公司、不同操作系统的异构设备纷 繁复杂，无法整合，资源利用率极低分布式文件系统主要为解决以上问题而出现的一种新型大规模数据存储技 术架构主要为非结构化数据（视频/文件/文档/图像/音频等非结构化数据）提 供海量的存储平台，以集群的方式提供线性横向扩展能力分布式文件系统是一种构建于通用 x86 部件之上的高可用、高可靠、高可扩 展的新型分布式文件系统应用分布式文件系统，用户可以采用廉价可靠的通用 服务器、SATA/SAS 硬盘以及以太网络来构建媲美企业级存储产品的存储系统。

2） 分布式文件系统应对的数据特性和访问特性：n 数据量巨大，数百 TB 或 PB 级，增长迅速；n 类型多样化，包括图像、文本、语音、视频等文件数据；n 按时间有序生成，数据均带有时间标志 ；n 前端数据写入速度很高，每秒钟写入数据可达几万甚至几十万条记 录或者上 GB 量数据 ；n 更新操作极少：追加方式写入，一旦写入，几乎没有数据修改，查 询涉及大量的磁盘读操作，查询处理产生大量的临时结果，不同类 型的数据存在联合分析查询；分布式文件系统的基本原理是采用集群方式来整合物理上独立的多个存储 资源，以软件方式提供单一的名字空间；采用多副本的方式保证数据的高可用性， 任意单一节点失效均不会导致数据丢失和数据服务的正常运行；同时，分布式文 件系统通过良好设计的系统结构和数据分布策略，可保证系统性能的高可扩展性， 并支持存储容量/性能的扩展相比较于 DAS（直连存储）、SAN（存储区域网络）和 NAS（网络存储）， 应用分布式文件系统构建的网络存储系统更像是一个 NAS，提供类似于传统 NAS 的文件级。