智慧气象大数据云平台建设方案课件.pptx

智慧气象大数据云平台建设方案大数据云平台1.1.需求梳理及行业发展趋势需求梳理及行业发展趋势2.2.气象行业解决方案气象行业解决方案3.3.互联网互联网+气象服务气象服务目 录Contents4.4.案例分析案例分析Part 1需求梳理及行业发展趋势气象局新一代信息工程总体技术架构理解重点解析：总体架构和云架构是衔接-演进的关系 行动方案-总体技术架构 整合中国气象数据网、卫星遥感数据服务网，建立面向民生的公共气象数据服务平台 整合天气业务内网、气候业务内网、气象产品共享平台等，完善国家级气象业务内网 标标准化准化数字化数字化数字化数字化标标准化准化数字化数字化应应用用资资源整合源整合数据数据资资源整合源整合硬件硬件资资源整合源整合智慧气象云工程智慧气象云工程智慧智慧业务业务、智慧管理、智慧服、智慧管理、智慧服务务以资资源源整整合合和应应用用集集约约为抓手，以标标准准化化贯 穿始终，从流流程程再再造造入手，初步完成数据、硬件和 业务应用等三大资源整合，以统统一构建的国省数据 环境，统统一规划的基础设施资源池，统统一的加工处 理流水线，构建扁平平化的信息组织体系，为实施金 云工程，发展智智慧慧气气象象奠定基础。

气象信息化行气象信息化行动动方案方案实实施气象信息化行施气象信息化行动动方案，夯方案，夯实实气象云建气象云建设设基基础础管理信息化管理信息化标标准化准化问题导向：数据分散、信息孤岛、应用林立资源整合共享是国家新一代信息工程建设的重点 应用导向，搭建国省统一CIMISS数据环境以以CIMISS为为基基础础构建国省构建国省统统一数据一数据环环境境CIMISS确立了标准，整合了各类数据这就是气象大数据在国省、省际流动并创造价值的前提基础咨咨询规询规划划云云计计算中心算中心气象大数据平台气象大数据平台应应用展示中心用展示中心应应用体系用体系主要任主要任务务发发展展战战略略现现状分析状分析标标杆研究杆研究需求需求问题问题分析分析内涵及要素构成内涵及要素构成智慧城市智慧城市 愿景及目愿景及目标标总总体架构体架构业务业务架构架构技技术术架构架构重点工程重点工程行行动计动计划划关关键键路径路径指指标标体系体系应应用架构用架构保障措施保障措施 气象信息化整体规划思路和路线咨咨询规询规划划云云计计算中心算中心气象大数据平台气象大数据平台应应用展示中心用展示中心应应用体系用体系 气象云主题建设内容咨咨询规询规划划云云计计算中心算中心气象大数据平台气象大数据平台应应用展示中心用展示中心应应用体系用体系 气象大数据主体建设内容咨咨询规询规划划云云计计算中心算中心政政务务大数据平台大数据平台应应用展示中心用展示中心应应用体系用体系开放共开放共赢赢 融合融合创创新新 气象工程展示中心主体建设内容咨咨询规询规划划云云计计算中心算中心气象大数据平台气象大数据平台应应用展示中心用展示中心应应用体系用体系 气象应用体系主体建设内容气象信息化建设发展方向：大整合、大平台业业务务数数据据/平平 台台基基 础础 设设 施施管管 理理CIPASCIMISS日志审计MICAPS请求服务100业务系统基础库行业库实时库自动站 数据业务业务网网+气象气象专专网网+互互联联网网 二二级级、三、三级级、四、四级级网网网络多品牌服多品牌服务务器器+小机小机FC SAN+NAS+分布式文件分布式文件服务器存储容灾预报中心气候中心 本地本地备备份份双活、异地容灾（弱）双活、异地容灾（弱）气象中心公服中心人工影响天气中心气象信息中心（数据中心）气象信息中心（数据中心）信息化信息化现现状状统一大平台门户CIPASMICAPS大数据分析平台资源整合平台资源服务平台云计算服务基础设施统 一 运 维管理计 算 资 源池存 储 资 源池网 络 资 源池信息化痛点信息化痛点信息化方向信息化方向业务自建、缺乏标准系统多杂，多次登陆重复录入，效率低下数据量大，处理效率 低数据格式杂，无法处 理数据无法有效共享多元化数据如何创新基础设施大整合GIS数据资源大整合业务支撑平台业务应用大平台业务业务 厂商厂商设备多，品牌杂利用率低，服务器20%利用管理难，无法有效监控 运维不灵活，难以支撑信息化扩展安全水平低，难以持续 提供信息化基础设施能 力信息化管理部门无法向 快速为业务部门信息化 需求提供服务容 灾 资 源池卫星数据雷达数据结结构化数据构化数据+非非结结构化数据构化数据百百亿亿条基条基础础数据，数数据，数值预报值预报数据数据庞庞大大数值产品Part 2气象行业解决方案 构建基于CIMISS的国省两级气象云应用体系-整体架构异地灾异地灾备备中心中心公众服务国家级相关部门国家气象云主中心国家气象云主中心应用2应用3应用1天气预报减灾服务气象观测卫星遥感科研计算数值预报同城双活中心同城双活中心公众服务省市县相关部门公众服务省市县相关部门公众服务省市县相关部门应用2气象公有云气象公有云应用1 应用3省省级级分中心分中心省省级级分中心分中心省省级级分中心分中心国家气象云建国家气象云建设设1个主中心（含北个主中心（含北京京局）局）+1个同城灾个同城灾备备中心中心+1个异地灾个异地灾备备中心中心+30个省个省级级分中心分中心标标准体系建准体系建设设技技术术架架构构 安安全全标标准准 数数据据标标准准 服服务标务标准准 国家气象云参考部署架构气象云计算平台网络拓扑架构气象有公共服务资源池气象有私有云资源池 气象云内外网数据安全传输1717 气象云部署架构气象公有云部署和设想从客户角度出发，为了保证技术的透明性和可持有性，理解气象公有云建设是运行在互联 网上的气象云建设，而不是纯粹由互联网厂商运行的黑匣子。

根据公有云部署应用的情况 分析可以考虑数据库的云化；气象局可以考虑采购服务的模式，避免自建，按需计费；物理部署位置选择：最 近的城市云中心（无锡、南 京等），或者上海超算中心 云化资源池1919气象公有云部署和设想1、应应用拆分用拆分2、应应用用/WEB上云上云3、数据、数据库库U2L4、数据上云、数据上云CMISS平台平台CMISS平台按照不同阶段处理流程划分数据收数据收发发系系统统（CTS）：）：包括数据收集、收集处理、分发处理、数据补调等加加工工处处理理系系统统（DPC）：数据解码系统、质量控制 系统、产品生产系统等等存存储储管管理理系系统统（SOD）：结构管理、元数据管理、数据处理、数据清除等共享服共享服务务系系统统：检索查询、数据统计分析、可视化等平台分类数据收发系统（CTS）系统构成 数据收集环境特征 虚拟机虚拟机虚拟机 多核 虚拟机 大内存 虚拟机虚拟机 虚拟机加工处理系统存储管理系统（SOD）收集处理 分发处理 数据分发 数据补调 系统交互 监所管理 数据解码（DPC）质量控制高IO 产品生产虚拟机结构管理 入库存储数据处理数据清除虚拟机共享服务系统（GDS）虚拟机虚拟机 大内存检索系统 数据获取 数据可视化虚拟机 数据分发及统计 虚拟机存存 储储 搬搬 迁迁数数 据据 上上 云云数据物理分散转变为物理集中分散存储转变统一云存储；集中资源，降低未来容灾难度接警信息接警信息库库串并案串并案库库案件信息案件信息库库违违法人法人员库员库嫌疑人嫌疑人库库其他数据其他数据库库原始数据原始数据库库CIMISS平台与云平台的关系分析大大 数数 据据平平 台台20信息资源数据 库统一大数据平台平台HADOOPSPARKSTORMMPPDBDB1DB2DB1DB2HA/CLUSTERX86服服务务器器HA/CLOUSTE R小型机小型机网网络络加速加速 IB网络：心跳、业务网 万兆网络：业务网IO加速加速:PCIE-SSD内存数据内存数据库库加速：加速：开启Oracle12c内存数据库功能CTSDPCSODGDSMCP 气象基础设施资源池技术架构 全球最先全球最先进进的虚的虚拟拟化技化技术术 大型云大型云计计算中心运算中心运维经验维经验 根正苗根正苗红红的国的国产产品牌品牌主要主要优势优势支撑支撑应应用用完善平台完善平台特特定定行行业业云云解解决决方方案案云云计计算算管管理理平平台台云云计计算算基基础础设设施施运运维维管理系管理系统统Web/网站网站/数数据据库库MIS系系统统中高端中高端X86服服务务器器虚虚拟拟化化弹弹性性计计算算资资源池源池核心数据核心数据库库其他数据其他数据库库高性能高性能X86服服务务器器数据采集系数据采集系统统数据数据预处预处理系理系统统数据分析系数据分析系统统通用低端服通用低端服务务器器大数据大数据计计算分析算分析资资源池源池弹弹性性计计算算计计算算资资源池源池数据数据库资库资源池源池基于不同分区的计算资源池架构通用型通用型服服务务器器计计算算/IO服服务务器器计计算存算存储储型型 服服务务器器混合型混合型 服服务务器器网网络络型型服服务务器器分布式云计算平台使用x86 架架构构的服务器搭建大规模集 群，通通过过软软件件可可伸伸缩缩性性的优 势弥补硬件差错，提高云计 算平台的可用性、可靠性和 安全性。

整体建设原则：采购高端新 设备、整合可用老设备、淘 汰落后差设备；FC-SANSAN/NAS Pool分分布式存布式存储储资资源源池池模模式式计计算算存存储储资资源池源池存存储储服服务务高性能高性能模式数据存模式数据存储储服服务务分布式分布式数据数据库库服服务务核心数核心数据据库库存存储储超融合超融合的云的云存存储储系系统统支撑融合的信息化存支撑融合的信息化存储资储资源源关系型关系型数据数据库库服服务务多媒体其它云平台云平台存存储储管理管理采用两套存两套存储储架构架构支撑气 象云数据中心存储平台核心数据核心数据库库存存储储：主要支撑气 象核心生产系统数据库，例如CIMISS、MICAPS结构化数据等等；超融合云存超融合云存储储系系统统：主要支撑数 据中心虚拟机、数值产品数据、CIMISS、MICAPS等非结构化的文件数据，大数量多媒体文件存储；融合的存储资源池架构云计算平台以分布式存储集群为主，同同时时以以NAS、SAN等等传传统统存存储储技技术术作作为为补补充充Hypervisor网络CSSPlugin PlatformSNMPHypervisor AdaptorCloudView采集周期：1min采集周期：2min采集周期：3min中间件应用JMX/JDBCRest/WebserviceCSSPlugin Platform新资源SNMP/Modbus存储SNMP/SMI-S动力环境服务器SNMPCSSPlugin Platform对对动动态态数数据据中中心心资资源源集集中中监监管管，并并提提供供多多视视角角的的可可视视化化展展现现。

自主可控云操作系统云环境监控总览PDUUPSATS空调WindowsLinuxSolarisAIX存储友商存储NetAPPEMC防火墙负载均衡路由器交换机虚拟化XenServerVmwareKVMXENRHEVPowerVMSqlServer)应用服务器(Tomcat、WebSphere、Weblogic、JBoss)消息中间件(ActiveMQ)数据库(DB2、MySQL、Oracle、气象行业应用第三方应用插件开发支持新类 型资源监控KVMCloudViewAdaptorvSphereAdaptorXenServerAdaptorHyper-VAdaptor存存储储管理管理丰富完善的管理功能模板管理模板管理灵活易扩展的架构网网络络管理管理资资源自源自动动探探查查生命周期管理生命周期管理支持多种虚拟化平台多虚拟化环境管理AdaptorCloudVirtual服务器设备监控LinuxWindowsSolarisAIXHPUnix监控代理监控代理监控代理AgentSNMPIPMI全面支持各类操作系统支持多种采集协议，适应不同 场景监控指标丰富，可灵活设置显 示与否CloudView网络设备监控及拓扑展现支持SNMP V1、V2、V3支持设备自带MIB库上传网络拓扑手动设置拓扑自动发现及故障预警自动接收Syslog、SNMP Trap等告基于I。