水文大数据共享平台设计分析.docx

    水文大数据共享平台设计分析    摘  要：在水文行业实施数据监测期间，需要数据共享系统平台提供支撑，以便更好地采集、利用及存储水文信息数据，更好地开展有关水文方面的后续工作鉴于此，本文对基于大数据平台下的水文信息数据共享系统设计进行深入研究与探讨，以期为相关技术专家和学者提供有价值的参考关键词：大数据;水文;共享平台;设计：P33;TP311.1   ：A    ：2096-6903（2020）07-0000-000 前言水文现象作为自然领域内水变化及运动的各种不同现象，其通常指的是自然界中水的变化规律及时空分布，所涉及到的数据内容相对较多，因此需设计数据共享系统平台，为水文测验与监测、预测等各项工作提供支持因而，综合分析基于大数据水文信息数据共享系统平台设计，有着一定的现实意义和价值1 水文数据简述水文数据以空间、时间及业务信息为核心元素我国现阶段水文行业内的数据统计分类众多，如雨水情况实时数据、基础水文信息数据、水资源信息数据库、水质采样信息数据、水文测验信息数据、山洪灾害相关监测信息数据等水文信息数据特征集中表现在水质、降水、径流、土壤实际含水量、泥沙含量、蒸发等方面结合水文行业当前信息数据特点，需长期实施数据监测，因此其有着海量信息数据这一显著特点[1]。

2 系统平台设计及其实现2.1 平台设计2.1.1 在系统框架层面基于大数据水文信息数据共享系统平台设计内容以数据资源、基础设施、信息数据组织平台、保障环境等模块为主数据资源模块，以数据信息共享系统平台建设为主要内容，内含规划组织数据资源、资源目录、建立元数据标准体系、专用及主体数据库等模块;基礎设施模块，以机房、网络、硬件模块为主;信息数据组织平台，以目录服务模块、信息资源的门户服务模块、信息交换及管理服务模块为主，具备数据信息共享系统平台信息共享及综合开发各项支撑功能;而保障环境模式，则是以容灾备份、安全、日常管理各项制度、技术标准等为主2.1.2在系统功能层面本文所设计的基于大数据水文信息数据共享系统平台，可提供基础服务、资源管理、应用支撑各层面服务等功能，其具有构建标准统一、开放、合理应用支撑服务平台，可跨地域应用，互联互通相关数据信息，松耦合式结构应用及数据集成化等特点该系统平台功能应用以目录服务、信息数据管理及服务、系统管理、扩展服务等各项功能为主[2]1）在目录服务层面：所谓目录服务，即基于水文方面大数据的检索服务，在水文方面元数据信息表中，检索水文动态信息，以动态化分类形式展示给广大使用者。

2）在信息数据管理及服务层面：在信息数据管理层面，数据管理是以数据的汇交、存储及更新等功能为主数据汇交，内含数据审查和发布管理各项功能;而数据存储，则可提供数据实体入库系统功能，内含数据抽取、装载及转换等各项功能;数据更新系统功能，即为实时化更新信息数据;那么，在信息数据服务层面上，即目录服务的一种深入功能，经全文及动态化图形等检索技术，对不同空间及非空间水文数据、结构化其非结构化水文数据等，实施浏览、检索及下载等各项操作3）在系统管理层面：系统管理，其主要是基于大数据水文信息数据共享系统平台整体运行管理的各项功能，包含着用户管理、运行监控及安全管理等各项功能4）在扩展服务层面：基于大数据水文信息数据共享系统平台扩展服务，其属于高级服务，可实现数据挖掘及各项专题服务等系统功能2.2 具体实现2.2.1 在数据服务装置物理部署层面本文所设计基于大数据水文信息数据共享系统平台，以8台主机所构成物理部署分布式测试环境，以slaver01-slaver07、master为命名，该部分装置当中分别安置Zookeeper、YARN、Spark2、Map Reduce2、HBase、HDFS等实现集群部署。

启动各节点，设定负载均衡运行模式，各个节点均配置好Zookeeper、YARN、Spark2、Map Reduce2、HBase、HDFS等所有功能节点如果该系统平台后续应用期间对扩充性有特殊要求，则本网段所在局域网内部则可直接接入全新主机，配置文件及时修改处理好，集群当中装置并不需要重新启动2.2.2 在应用服务装置物理部署层面该项系统平台应用层内部服务装置发布网站为Tomcat，以反向代理Nginx技术为基础，将网站性能提升，更好地应对于水文方面海量信息数据下载并发系统请求服务发布节点以Nginx VIP2、Nginx VIP1为主，安置反向代理Nginx，共享相同虚拟网络模块地址，并对外部提供水文方面数据信息服务应用复服务装置选定application1-application5，全部安置Tomcat，作为发布网站当中服务装置系统程序下列是应用服务装置物理部署层面最为具体的表现：在Nginx VIP2、Nginx VIP1这两个上面分别部署好信息分发装置Nginx，把前端业务服务消息负载部分均衡转发至application1-application5内部Tomcat;在Nginx VIP2、Nginx VIP1这两个上面分别部署好虚拟网络信息地址系统管理软件，安置两台主机用于虚拟网络信息地址共享，主节点设定为Nginx VIP1，Nginx VIP有故障问题发生后，IP虚拟地址会切换至Nginx VIP2当中。

各台应用服务装置内均需将Tomcat安置好，将相同网站内客户端系统程序全部部署好，同步连接数据信息服务装置集群，便于实现水文数据信息有效获取[3]2.2.3 在语言架构开发和实现层面基于大数据水文信息数据共享系统平台，可实现数据浏览和管理、目录服务、系统服务及扩展服务等各项功能系统后台以JAVA语言、Spring MVC架构为主，系统前端部分则是以Javascript系统语言开发、Bootstrap 为主Spring MVC架构，其基于Model-View-Controller系统模式实现，有效分离数据、视图及业务，对程序系统开发当中各个对象实施有效管理数据基础模型，属于所需展示数据信息，以数据及行为为主，可提供模型数据信息检索及状态更新相关功能;而视图主要负责展示模型，与最终客户展现出直接交互界面;控制装置接收到用户请求后，委托模型加以处理，完成处理后返回至模型数据，最终返回至视图，视图予以展示基于此，可有效分离模型与视图，控制装置当中也可有效分离功能处理及逻辑控制，控制装置内部视图选定及视图技术也得以分离化，视图模块仅包含着展现web系统页面内容，无其余的逻辑功能，对系统总体框架来说有着明确及精炼作用;Bootstrap，其是以Java Script、CSS、HTML为基础结构，能实现前端框架快速搭建，开发出全相应形式的网页，自适应所有客户端及其浏览装置，包含、平板、笔记本及台式计算机等等，可以为广大开发者所创建的接口来提供统一简洁化处理方案或者措施，设定具备强大功能内置组件，确保能够实现完全开源。

3 结语綜上所述，本文所设计的基于大数据水文信息数据共享系统平台经运行测试后并未产生系统运行问题，可长期维持可靠的稳定运行状态，为水文监测各项工作提供强有力的系统支持，因此值得持续推广及运用Reference[1]瞿海妮，庞徐玮，尤鸣宇，等.电力大数据的应用价值及其共享平台分析与设计[J]. 经营与管理，2017，25（7）：104-108.[2]曾毅.大数据环境下信息资源共享平台建设研究[J].信息与电脑，2016，22（3）：111-113.[3]邱超，王威.基于云计算架构的水文大数据云平台建设[J].人民长江，2018，49（5）：313-315.  -全文完-。