数据汇集软件解决方案..doc

数据汇集软件系统解决方案北京金水信息技术有限公司北京北科博研科技有限公司2013年8月目　　录第一章 水利普查项目概述 11.1 项目背景 11.2 项目难点 11.2.1 需求的逐步完善 11.2.2 业务面广、数据指标项多、审核周期长 21.2.3 省、地、县多级用户 21.2.4 集中部署与分级部署 21.3 系统组成 31.4 系统实施与效益 4第二章 数据汇集系统 62.1 建设目标 62.2 建设原则 72.3 总体架构 92.4 技术路线 11第三章 系统功能 143.1 总体功能 143.2 功能模块 143.2.1 数据采集 143.2.2 数据审核 143.2.6 汇总分析 183.2.7 方案制作 193.2.8 任务下发 213.2.9 数据管理 223.2.10 系统管理 22第四章 系统优势 274.1 采用J2EE架构 274.2 可视化表单配置 274.3 解释性的公式审核 284.4 软件易学、易用、易管理 294.5 智能分析、深度挖掘 294.6 便捷打印、自定义报警 30ii第一章 水利普查项目概述1.1 项目背景水利普查是国家基础水信息的基准性调查，也是一项涉及国情、国力情况的调查，是国家资源环境调查的重要组成部分。

第一次全国水利普查包含河湖基本情况普查、水利工程基本情况普查、经济社会用水情况调查、河湖开发治理保护情况普查、水土保持情况普查和水利行业能力建设情况普查，以及灌区与地下水取水井两个专项普查由于普查范围广、普查的对象众多、归口管理关系复杂、涉及指标多、数据量庞大，要保证全国范围内普查工作的同步开展，对于如此大规模的普查工作，必须要采用科学的方法和先进的技术手段，建立完善的数据的采集、审核、汇总、上报机制，只有通过建设信息系统来实现分布式数据收集和海量数据的存储和管理，才能确保所有普查数据能有效、快速、安全地采集和汇集，从而减轻工作量，提高工作效率和普查工作质量1.2 项目难点1.2.1 需求的逐步完善普查软件的开发是在业务需求逐步确认的基础上进行的在软件开发中不可避免的会遇到需求的变化，变化并不是项目所害怕的，最怕的是跟不上变化的步伐从普查软件的试点走到现在，实施方案经历了几个版本的更新，实施方案的更新从业务需求上主要表现为添加业务表单、删除业务表单、增加数据指标、删除数据指标、更改名录逻辑等，每经历一次更新必会造成一系列连锁的指标修正、指标配置、配置审核、汇总更新等操作，这将增加软件在开发上、质量上和测试上的复杂度，无形中的延长了开发的开发周期。

1.2.2 业务面广、数据指标项多、审核周期长普查软件涉及的业务面广、指标量多、审核周期长水利普查业务共涉及八大类业务工程（23张清查表、38张普查表、3张台账表及相应的统计表），且每类业务工程中所涉及的系统逻辑均有所不同，需在软件中进行相应的业务处理，这将直接增加软件的复杂度水利普查软件中共数千个数据指标项，在数据指标的类型、长度、精度及值域范围上根据实施方案的更新进行了反复的确认和核对工作审核周期长，对数据指标中所涉及数据审核项的迭代审核，为做到指标项配置无误，对此类审核做到多人迭代、交替审查1.2.3 省、地、县多级用户普查软件是一个全国性的数据登记及处理软件，直接涉及全国31个省（自治区、直辖市）、345个地（市）级数据审查人员、3144个县的使用人员使用人员多，分散广，信息化程度参差不齐，对软件的使用则要求相对就高，这就要求软件有良好的适用性、易用性和稳定性1.2.4 集中部署与分级部署因属于全国性的普查，故软件在部署上采用集中部署与分级部署两种模式若全部采用集中部署则需考虑到网络的带宽、服务器的性能、访问量的多少等因素，若在访问量加大的情况下势必存在性能问题，而这些问题反映在软件上效果为反映速度慢、页面打不开等，因此需要辅以多种技术和业务手段进行控制，以达到预期的应用平衡和性能效果。

若全部采用分级部署，则存在分散广的问题，对同一问题出现的频率高，对问题反馈响应比低等问题1.3 系统组成水利普查数据处理系统由基层登记台账管理系统、普查数据处理上报系统、普查数据管理系统所构成为各级水利普查数据的录入、编辑、审核和汇总以及数据管理、数据加工和信息发布等提供工作平台其中：基层登记台账管理系统主要用于2011年清查登记阶段，各地用于开展清查数据处理和普查数据的预处理，用于数据录入工作；普查数据处理上报系统主要用于填表上报阶段，县、地级水利普查机构开展表格数据处理和汇总上报；普查数据管理系统主要用于填报上报阶段，省、国家(含流域)级水利普查机构开展表格数据处理和汇总上报，以及平衡分析统计服务图1.1 水利普查数据处理系统水利普查数据处理系统根据各级水利普查机构数据处理任务，分别部署到全国3433个水利普查机构，应用于清查登记、填表上报等不同阶段的水利普查数据处理工作中，全面支持水利普查数据处理工作的全过程1.4 系统实施与效益根据各省（自治区、直辖市）和新疆生产建设兵团水利普查数据保密要求，其中28个省（自治区、直辖市）水利普查业务数据处理软件部署采取了在省级集中部署，其各地、县级水利普查机构通过计算机网络，远程开展联机数据录入和处理工作，其余省级水利普查机构及其下级，采用了分散部署。

无论采用集中或分散部署，不影响各级水利普查数据采集与处理的工作流程和责任主体，水利普查数据均维持相同的数据处理模式无论采用集中和分散相结合方式部署的水利普查业务数据处理软件，还是全部分散部署的数据处理软件，均如期顺利完成了各自数据采集与数据处理任务，以及所有数据的逐级上报、汇总和审核等一系列工作，最终形成了国家级水利普查成果通过水利普查数据处理系统完成了全国9900多万个水利普查对象的清查，900多万张普查表的填录，4亿多笔普查数据的采集、处理、审核和汇总全面查清了我国水系的基本情况，掌握了水资源开发、利用和保护现状，摸清了经济社会的用水状况及经济社会发展对水资源的需求，查明了水利行业能力建设及管理状况，收集整理形成了全面反映水资源及其开发、利用、治理、保护、监测和管理等方面基本情况的海量信息资源，形成了迄今为止最全面细致、系统权威的基础水信息体系，为全面建立国家基础水信息平台建立了坚实基础第二章 数据汇集系统2.1 建设目标基于水利普查数据处理软件开发一套综合信息的数据汇集系统平台系统目标包括：1.强大的数据集成系统提供关系型数据库数据集成器，用于将关系型数据库的业务资源采集入库数据采集支持各种主流关系数据库，通过计划任务的方式运行，根据不同资源类型的实时发布要求，配置资源的采集同步频率。

在数据采集的过程中，支持数据的转换、合并、连接等数据处理支持xml格式的数据导入导出2.便捷的表单设计用户通过所见即所得的表单或表单设计工具，以简单的拖拉拽的方式完成大量表单或报表的编制工作其中表单主要解决基础数据的采集、表单类的数据上报业务3.智能的数据审核用户可以根据实际业务需求进行校核公式的配置，完成表内校验、表间校验、合理性校验、历史数据对比，并对审核结果进行快速定位及输出其中具备网络环境的单位，能够直观的看到下级单位的数据填报情况及数据质量4.灵活的数据汇总用户可以自由的选择单位和行政区划进行汇总汇总指标之间可以通过计算公式完成表内、表间的指标计算，减少工作量，提升数据准确率5.强大的统计分析用户可以对已有数据进行简单数据查询、历年数据查询、单位对比查询、单位排序查询、高级汇总查询等操作；可以自定义完成各种统计报表，满足不同数据分析和处理需求，形成多维数据，并以报表、图表等形式展现，真正实现从数字上进行宏观决策和微观管理6.灵活的综合管理服务通过该平台，用户可以很轻松地完成分级组织管理、用户管理、授权管理、日志管理、任务管理用户可以根据自己的需要，定制业务处理流程，并通过任务下发和数据上报的方式完成网络环境、单机环境以及复合环境的协同。

2.2 建设原则数据汇集系统的应用对象是需进行数据采集、管理、汇总应用的主管单位和下级单位；数据汇总系统对应的数据内容，不但需要能够处理业务的结构化的报表数据，还能够处理工作计划、业务统计等非结构化的业务数据 数据汇总系统应用的形式为网络表单，通过表单模板制作、样表生成、表单组合及下发、表单填写、表单审核、表单上报、表单管理等系列操作，完成汇总分析所需要的基础数据的采集工作 数据汇集系统更加强调数据的审核、汇总和分析，为领导决策提供直接的客观依据主要保证如下几点：² 保证信息的时效性运用数据汇集系统实现填报、离线填报、数据导入工作，提高填报工作的效率，保证填报信息的时效性² 保障信息的安全性运用数据汇集系统在数据上报过程中实现数据的加密，充分保障汇总上报数据的安全性² 提高数据的正确性运用数据汇集系统，根据实际业务需求，配置审核公式，所有上报数据先校核再上报，提高上报数据的准确性，确保汇总结果的正确性和可信度² 统一上报数据格式通过多种技术手段保证上报数据格式的统一，从而为上级单位节约大量的时间和精力，大大提高工作效率 ² 现实数据共享机制及关联通过技术手段，建立与各个业务系统之间的关联，自动共享业务系统中的数据，通过自动取数、自动填写报表的方式，减少人工操作可能产生的错误，同时提高数据的共享性和系统的关联性。

2.3 总体架构数据汇集系统总体应用是多层次架构，分为综合管理、方案制作、任务下发、应用层次及成果展现图2.1 系统总体架构综合管理主要是辅助用户完成用户、组织、权限及流程制定、报表打印等数据采集及填报的准备工作方案制作是指用户可以在系统内完成报表、表单模板设计及相关审核公式的配置工作任务下发可以针对不同的报表及表单的填报应用下发多个任务，并下发给不同的下级单位下级单位系统中进行任务导入后，即保持与上级单位报表、表单应用的一致性，无需进行二次配置数据汇集系统从应用层次上可以划分为三个层次：数据采集层、数据汇总层、数据分析层其中：数据采集层主要完成报表数据的采集工作，即通过浏览器本地填写、导入或者自动从业务系统中提取数据，然后保存、审核通过之后并上报数据汇总主要完成下级单位报表数据的收集、整理，并按照上级单位的规定除上报汇总数据外，是否一起上报基础数据明细数据汇总层对应的单位可以有多个层次，也即对应于多个中间层单位，该类单位可以对下级单位上报的报表数据进行管理、查询、统计等操作数据汇总层主要是帮助主管单位（也可以是中间层单位）完成数据的汇总、统计等设置的具体而言，就是主管单位根据报表相关指标、关键字等，设置汇总统计条件，建置汇总统计模型，然后基于各下级单位上报的数据或者下级单位上报的汇总数据，形成汇总统计的结果。

数据分析层是数据汇总系统的重点，主要是完成数据库到数据仓库的转换，并在数据仓库建置的基础上，完成多维数据分析以及数据的钻取、切片、旋转等功能概括的讲，数据采集是基础，数据管理是桥梁，数据汇总是重点，数据分析是目的数据采集、管理，其重点是在此基础上的汇总和分析，主要目的是为领导的决策提供全面、准确、客观、科学的数字依据数据采集、汇总、分析完成后数据汇总系统可将数据统计分析的成果通过分析示图、门户集成进行展现2.4 技术路线为方便系统应用和软件管理，系统应用浏览器/服务器（B/S）体系结构，系统可以行政区划为单位各自独立运行，以逐级上报方式完成系统之间的数据交换在技术路线的选择上，采用了符合SOA体系架构。