大数据中心建设项目可行性研究报告

大数据中心建设项目可行性研究报告 概述项目背景项目意义项目依据建设目标与任务数据中心的建设是为了解决政府部门间信息共享，实现业务部门之间的数据交换与数据共享，促进 XXX 市电子政务的发展。具体目标如下：建立数据中心的系统平台。完成相应的应用软件和数据管理系统建设，实现数据的交换、保存、更新、共享、备份、分发和存证等功能，并扩展容灾、备份、挖掘、分析等功能。( 一 ) 建立数据中心的系统平台。完成相应的应用软件和数据管理系统建设，实现社会保障数据的交换、保存、更新、共享、备份、分发和存证等功能，并扩展容灾、备份、挖掘、分析等功能。( 二 ) 建立全市自然人、法人、公共信息库等共享数据库，为宏观决策提供数据支持。对基础数据进行集中管理，保证基础数据的一致性、准确性和完整性，为各业务部门提供基础数据支持；( 三 ) 建立数据交换共享和更新维护机制。实现社会保障各业务部门之间的数据交换与共享，以及基础数据的标准化、一致化，保证相关数据的及时更新和安全管理，方便业务部门开展工作；( 四 ) 建立数据共享和交换技术标准和相关管理规范，实现各部门业务应用系统的规范建设和业务协同；（五）为公共服务中心提供数据服务支持，实现面向社会公众的一站式服务；( 六）根据统计数据标准汇集各业务部门的原始个案或统计数据，根据决策 支持的需要，整理相关数据，并提供统计分析功能，为领导决策提供数据支持；（七）为监督部门提供提供必要的数据通道，方便实现对业务部门以及业务对象的监管，逐步实现有效的业务监管支持；（八）为业务数据库的备份提供存储和备份手段支持，提高业务应用系统的可靠性。需求分析用户 需求从与数据中心交互的组织机构、人员方面进行说明。与数据中心交互的单位机构各业务部门通过接口系统向数据中心提供数据或使用数据中心提供的数据；业务部门之间可直接交换数据。各业务系统单位遵循标准规范进行业务系统建设和改造，实现业务系统与数据中心的对接。与数据中心交互的人员数据中心系统管理员负责数据中心系统管理、监控、系统维护数据中心数据管理员负责数据的整理、比对、数据一致性的保证，并且与区县级数据中心、省数据中心数据管理员协同工作，执行数据标准。业务部门数据管理员一般与同级数据中心数据管理员协同工作数据需求数据资源现状法人数据库现状工商局的企业登记信息，个体工商户登记信息；市质监局有效的企业组织机构代码数据；地税的税务登记信息；参加市级社会保险的单位信息。数据覆盖范围如图：不同业务部门的法人单位数据之间的关系说明如下： 工商登记涵盖本地经济法人（企业、个体工商户）； 组织机构代码涵盖本地企事业单位、政府机构、社团组织等，但目前未能全面覆盖所有业务部门管理的单位对象； 税务登记信息涵盖在本地纳税的机构（个人）信息。目前存在的主要问题是如何唯一标识一个法人主体。自然人数据库现状市公安局的常住人口信息和暂住人口数据，市劳动局参保人员个人数据；区域人口信息。数据之间关系如图：不同业务部门的人口数据之间的关系说明如下：Ø 社保参保人员包括公安的常住人口和暂住人口，但有部分暂住人口尚未进入公安局的暂住人口数据库管理；Ø 区级数据除包括常住人口和暂住人口外，其中有部分暂住人口尚未进入公安局的暂住人口数据库管理。现状分析由于自然人和法人没有一个统一的、完全准确的基准数据库，致使业务部门在应用信息系统进行职能管理的时候对管理对象主体口径不一致。随着我市城市综合管理水平的不断提高，对职能部门业务协同的要求也越来越高，必须建立一个自然人和法人的基准数据库，协调统一各职能部门的业务系统，保证管理对象主体在政府各职能部门业务中的一致性和准确性。在这个基础上，可以不断扩充 属性，最终形成社会保障对象的档案。共享数据供需关系共享数据是各个业务部门都要使用的、基础的数据，主要包括个人（自然人）基本信息、单位（法人）基本信息和公共信息三大类。法人基本信息供需关系 法人基本信息供需关系系统及应用需求分析数据中心的主要业务包括：Ø 从基层或业务部门采集数据，包括基础数据和部分共享业务数据，支持基础和共享数据的更新维护模式；Ø 对采集到的数据进行校验和比对，发现冲突时按照共同制订的数据处理规范 进行处理，保证数据的一致性和准确性；Ø 受理业务部门或基层单位的基础数据使用申请；Ø 将整理后的基础数据分发或按需提供给有关部门或单位使用；Ø 以中介的方式处理共享业务数据使用申请，并进行备案；Ø 对共享业务数据在征得业务部门同意的情况，通过数据中心进行存储转发；Ø 将共享元数据的信息发布给各业务部门，提供浏览与订阅申请，方便其共享必要信息；Ø 提供数据交换平台和接口系统，使数据中心与各部门的数据管理员可以对共享和交换过程进行管理；Ø 通过数据交换平台存储和管理公共服务数据，并与外网同步，提供一站式服务；Ø 存储和管理统计数据，根据决策支持的需要，整理相关数据，并提供统计分析功能，对数据进行统计和分析，方便领导及时掌握有关情况。Ø 定期对业务数据库进行容灾备份；Ø 与此相对应，业务部门与数据中心发生的相关业务包括：Ø 提供数据或共享元数据给数据中心；Ø 申请使用数据中心的基础数据，校准本单位的基础数据；Ø 通过数据中心提供的共享元数据信息获取其他单位的数据；Ø 审批其他单位的业务数据使用申请，并将数据提供出去；Ø 与数据中心交换公共服务数据；Ø 提供监督部门直接访问业务数据库的通道；Ø 提供统计分析数据或原始个案给数据中心，方便主管领导查询；Ø 定期将业务数据库备份到数据中心；根据数据中心与各业务部门的主要业务，数据中心应提供如下功能：节点管理实现与数据中心相连的各个节点的信息管理、配置管理，包括业务部门、区县数据中心等。主题管理数据采集、数据发布、数据共享、数据交换、公共服务以及决策支持均以主题的方式进行，因此必须实现对主题的管理。主题是元数据的集合。元数据管理元数据是关于数据的数据。元数据描述了数据的结构和意义，同时也可以描述应用程序和流程的结构和意义。构造数据中心数据库的重要步骤之一，就是定义和创建元数据 (Metadata) 。元数据提供一个目录，列出数据中心有什么数据。所有进入数据中心的数据，必须在元数据中有所表述。数据中心的数据管理系统必须提供储存和管理元数据的方法。以元数据管理为核心，建立数据中心的数据资源目录体系，提供给业务部门参考使用。数据中心的元数据包括基础数据元和共享数据元，由数据中心统一管理。基础数据元由数据中心定义，共享数据元由业务部门定义并注册到数据中心。业务部门进入数据中心的元数据管理中心好比进了一个“超市”，可以方便地知道可以获取和使用哪些数据，并进行数据使用申请的定制。公共代码管理对公共代码需要有统一的标准规范，数据中心必须提供公共代码的管理。基于数据中心的公共代码规范，各部门和区县数据中心可以通过数据转换将各种不同含义的编码和标准规范的编码之间进行双向的转换。数据采集与各业务部门形成数据采集机制，通过数据共享交换平台从各业务部门汇总数据，对原始数据进行缓存、存储。数据整理比对从各业务部门采集共享数据后，进行数据转换，对全市自然人和法人基本数据进行数据比对、冲突检测处理并入库。数据交换实现省、市、区各级数据中心之间、业务部门与数据中心之间以及业务部门之间的数据交换业务，形成高效、安全、可靠、稳定的数据交换网络。提供定时批量、实时按需的数据交换，提供点对点、一对多的数据交换支持，对数据交换进行管理和监控。数据访问在统一的权限管理系统之上，实现对自然人和法人的建档、调档、阅档等业务。对社保卡系统、公共服务中心系统、业务系统提供数据访问。对决策支持系统、业务监管提供数据支持。数据备份与恢复恢复管理是对数据进行备份、导入导出以及数据库恢复等。数据是数据中心核心的资源。全面的容灾方式应该是数据备份 + 数据复制 + 远程容灾。对系统中的数据要定期进行系统备份。采用本地备份与异地备份相结合的方式。标准管理进行数据中心的标准规范尤其是数据标准的审核制定、升级维护与发布实施等管理功能。在数据中心的建立之初，由于标准规范处于不断完善的过程，应建立标准的版本管理机制，方便业务部门的查询和使用。应用支持对社保相关业务应用系统、公共服务系统、业务监管系统和决策支持系统提供提供数据、通道和平台等支持。运行管理为方便对数据中心的管理和维护，需要一套功能完整的运行管理与监控维护系统。运行管理系统主要提供给数据中心的系统管理人员使用，用于保证数据中 心的安全可靠和高效运行。其功能主要包括面向安全性的用户管理、权限管理、密码管理和日志管理等；面向性能优化的性能监控等。面向可用性的节点管理、交换规则管理和状态监控；其中节点管理包括对业务部门的信息管理。性能 需求分析业务处理量分析数据中心的主要业务包括：（ 1 ）基础数据的采集、转换、比对以及分发这是数据中心的主要负载压力所在。（ 2 ）业务数据交换的备案或存储转发在数据中心建设初期，业务数据在业务部门之间交换；当业务部门的接口系统难以承受数据交换的负载时，才可能通过数据中心存储转发。所以这部分业务不会对负载造成负载压力。（ 3 ）元数据库和公共代码库的管理和共享由于元数据库和公共代码库相对稳定，并且数据量不是很大，所以不会对数据中心造成负载压力。（ 4 ）与业务部门交换公共服务数据由于业务不停地在发生，即使采用定时批量的交换方式，也会对数据中心造成较大的负载压力。（ 5 ）汇集统计数据，并提供查询统计数据一般按月提供，而且提交的一般为结果数据，在数据交换方面不会构成太大压力。领导的数据查询会形成少量的负载。（ 6 ）提供业务部门的容灾备份容灾备份不需通过数据库服务器处理，所以不会对数据中心的负载构成压力。数据中心的主要负载压力在于两个方面，一是基础数据的采集、维护和使用；二是数据中心与业务部门之间的公共服务数据交换。下面我们分别进行分析。基础数据采集、转换、比对和分发基础数据包括自然人基础数据库和法人单位基础数据库。由于在数量上自然人数据量远远大于法人单位的数据量，所以在进行业务数据量分析时，我们主要考虑自然人基础数据。（ 1 ）基础数据的变动估计Ø 基准数据和基础数据自然人基础数据包含基准数据。基准数据包括身份证号码和姓名等 5 个基本属性。基础数据是在基准数据的基础上扩展 10 个常用的属性构成的，如户籍地址、婚姻状态等。Ø 基准数据的变动基准数据在四大变动（出生、死亡、迁入、迁出）以及改名等情况下发生变化，每年的出生率、死亡率、迁入迁出以及改名情况，大致预测基准数据的变动概率为 10% 左右。Ø 基础数据的变动在基准数据不变的情况下预测基础数据的变动。基础数据的 10 个常用属性如婚姻状态是容易发生变化的。 （ 2 ）基础数据变动造成的负载基础数据的变动将引起数据中心的负载。首先业务部门需将变动数据交换给数据中心，数据中心采集后进行转换和比对，然后进行发布，分发给有需要的部门使用。估计数据中心采集一次数据变动相当于 2 笔数据库交易；进行转换和比对相当于 3 笔数据库交易，然后再将基础数据分发给 10 个左右的业务单位共享使用，每分发一次相当于 1 笔数据库交易。根据我们以上对数据中心的变动次数的估计，每年的业务量约为：（ 500+100 ） * （ 2+3+1*10 ） =9000 万笔数据库交易。按一年