数据处理和存储系统建设方案.doc

1数据处理和存储系统建设方案1.1设计方案通过采用成熟的数据库技术、元数据技术和数据存储技术，建立数据资源管理服务平台，满足海量数据的存储管理要求；整合系统资源，避免或减少重复建设，降低数据管理成本；整合数据资源，保证数据的完整性和一致性；通过安全机制及数据备份，保证数据的安全性数据是系统的核心和灵魂按照数据组织结构的不同可分为结构化数据和非结构化数据；从数据的时间属性看，数据分为实时数据和非实时数据；按照数据生命周期的角度数据可归于：数据采集区、数据存储区、数据管理区和数据服务区几个数据分区通过对本项目总体建设内容的深入分析和理解，对本项目数据库总体数据架构设计如下图所示：数据综合查询数据服务区数据分类共享数据跟踪反馈统计分析服务本系统数据库体系结构主要由数据采集区、数据存储区、数据管理区、数据服务区等组成1、数据采集区主要包括：访问授权、数据收集、数据处理、数据存储、数据交换…2、数据存储区主要包括：基础数据库、业务数据库、业务管理库、分析数据库、系统管理库3、数据管理区主要包括：数据权限管理、数据更新、元数据管理、数据备份、数据监控4、数据服务区主要包括：数据综合查询、数据分类共享、数据跟踪反馈、统计分析服务。

1.2存储资源规划1、核心oracle数据库服务器用于金保内网运行工伤保险核心业务系统，为了保证性能及数据安全，需要做双机RAC以及数据库备份需要服务器三台，存储一台以煤炭社保为例，当前参保约10万人，15年数据文件约为3G，19年为20G,年增长4.25G；全区12个盟市，参保人数以4.5倍煤炭计算，每个盟市当前基础数据约为：90G；当前存量数据约为：12*90+20=1100G；全区每年增量数据约为：4.25+12*4.25*4.5=234G,未来三年数据将达到：1100G+234*3=1.8T.以上为纯数据文件，考虑到索引文件，存储数据库备份文件，至少应分配5T硬盘空间硬件要求：(1) CPU：4颗IntelXeonE74830V系列处理器；(2) 内存：32GBDDR4RDIMM内存；(3) 网络控制器：4个千兆网卡(电口)，1个双端口万兆网卡(光口)SAS硬盘2块(300G/块)；(4) 缓存：128GB，集群模式最大支持512GB缓存；(5) 硬盘：SAS硬盘5TB，至少能扩展到30T；(6) 最大支持硬盘数量$3000；(7) 主机接口：配置8个1GbISCSI接口，配置8个8GbFC接口控最大可扩展32个主机接口；2、征缴数据同步前置机oracle用于同各盟市当前的征缴系统做数据对接。

各盟市将征缴数据通过goldengate同步至该数据库，然后同步程序读取该数据库;不同盟市创建不同用户，要求内存不能少于64GB硬件要求：(1) CPU：4颗IntelXeonE74830V系列处理器；(2)内存：64GBDDR4RDIMM内存；(3)网络控制器：4个千兆网卡(电口)，1个双端口万兆网卡(光口)(4)硬盘：SAS硬盘1TB，至少能扩展到5T；3、网报oracle数据库服务器用于提供外网运行的应用的数据存储，为了保证性能及数据安全需要做双机RAC以及数据库备份需要服务器三台，存储一台操作系统占用1GB内存，数据库管理系统约占用1GB，数据库SGA分配为1GB，联机事务处理消耗约占用1.2GB一个数据库实例系统所需内存容量为：1GB+1GB+1GB+约1.2GB~4.2GB加上操作系统等所需要的内存，内存总需求在14G左右硬件要求：(1) CPU：4颗IntelXeonE74830V系列处理器；(2) 内存：32GBDDR4RDIMM内存；(3) 网络控制器：4个千兆网卡(电口)，1个双端口万兆网卡(光口)SAS硬盘2块(300G/块)；4、另备一台用于备份数据库，同其他系统对接，支持其他程序等。

硬件要求：(1) CPU：4颗IntelXeonE74830V系列处理器；(2) 内存：32GBDDR4RDIMM内存；(3) 网络控制器：4个千兆网卡(电口)，1个双端口万兆网卡(光口)(4) 硬盘：SAS硬盘5TB，至少能扩展到30T；5、电子档案服务器用于存放业务产生的电子档案当前煤炭电子材料约为0.9T,每年增长约为0.1T,以上面得出的4.5倍关系计算，当前各盟市存量电子材料约为：0.9*4.5*12+0.9=49.5考虑到未来三年增量数据：49.5+0.1*4.5*13=55.35T硬件要求：（1）CPU：E5-2603V4*2（2）内存：16GBDDR4RDIMM内存（3）硬盘：60TSSD，要求能随时扩展6、电子档案服务器备份机器用于电子档案物理文件的备份当前煤炭电子材料约为0.9T，每年增长约为0.1T,以上面得出的4.5倍关系计算,当前各盟市存量电子材料约为：0.9*4.5*12+0.9=49.5考虑到未来三年增量数据：49.5+0.1*4.5*13=55.35T硬件要求：（1）CPU：E5-2603V4*2（2）内存：16GBDDR4RDIMM内存（3）硬盘：60T，要求随时能扩展。