一种基于路网大数据的高速公路应急处置系统设计方案.docx

    一种基于路网大数据的高速公路应急处置系统设计方案    摘  要：文章基于《数字交通“十四五”发展规划》对交通运输应急处置能力建设提出的要求，论述了一种基于路网大数据的高速公路应急处置系统设计方案该方案通过采用湖屋技术构建高速公路应急处置“数据大脑”，并且将人工智能和数字孪生技术应用于高速公路应急处置的业务场景，形成贯穿事前、事中、事后的应急处置业务闭环该方案适用于省、市两级高速公路管理部门的应急处置和疏堵保畅工作Key：路网大数据;高速公路应急处置;人工智能;数字孪生;交通流仿真：TP18        ：A：2096-4706（2021）23-0069-05A Design Scheme of Expressway Emergency Disposal System Based on Road Network Big DataWU Yinghui（EVECOM Technology Co.， Ltd.， Fuzhou  350003， China）Abstract： Based on the requirements of Digital Transportation “14th Five-year Plan” Development Plan for the construction of transportation emergency disposal capacity， this paper discusses a design scheme of expressway emergency disposal system based on road network big data. The scheme constructs the “data brain” of expressway emergency disposal by using the lake house technology， and applies Artificial Intelligence and Digital Twins technology to the business scenario of expressway emergency disposal， forming a closed-loop emergency disposal business through pre event， during event and post event. The scheme is applicable to the emergency disposal and unblocking work of provincial and municipal expressway management departments.Keywords： road network big data; expressway emergency disposal; Artificial Intelligence; Digital Twins; traffic flow simulation0  引  言2018年2月，交通运输部办公厅印发《关于加快推进新一代国家交通控制网和智慧公路试点的通知》（交办规划函〔2018〕265号），将“基于大数据的路网综合管理”作为新一代国家交通控制网和智慧公路试点的六大主题之一，在福建、河南、浙江、江西四省实施。

基于大数据的路网综合管理试点，要求“构建基于大数据的高速公路运营与服务智能化管理决策平台，应用在区域路网综合信息采集、运营调度、收费、资产运维养护、公众信息服务、应急指挥”，拉开了以大数据赋能高速公路应急处置工作的序幕2021年10月，交通运输部印发《数字交通“十四五”发展规划》（交规划发〔2021〕102号）针对数字交通创新发展体系建设，规划要求打造综合交通运输“数据大脑”，“推动行业信息技术应用创新，推动大数据、人工智能、区块链等技术行业应用攻关”，以信息化服务交通行业创新发展;针对交通运输应急处置能力建设，提出应“利用先進信息技术提升交通运输本质安全水平，提升预测预警、应急反应能力”，“深化综合交通运输调度和应急指挥系统建设，完善智能协同应用，满足‘看得见、听得着、能指挥’需求，实现‘能推演、能联动’等功能，提升重大突发事件的应急处置能力和安全保障能力”该规划进一步强化数据资产在高速公路应急处置体系中的核心价值，同时也对新技术在具体业务场景下的融合应用提出了要求遵循《数字交通“十四五”发展规划》的工作要求，本文提出一种基于“大数据+行业信息技术应用创新”的高速公路应急处置系统设计方案，适用于省、市两级高速公路管理部门的应急处置和疏堵保畅工作。

1  整体设计本方案的整体架构设计严格遵循了交通运输部《公路网管理平台技术规范》对公路网管理平台技术架构的要求，采用“三纵七横”结构，如图1所示1）运行监测层：主要包含高速公路沿线布设的物联感知设备，实时采集路域内的多维运行态势信息和设备自身运行状态信息包括：视频监控（固定点位、移动车载、无人机挂载）、交通流检测（ETC门架、车检器）、气象环境监测（气象站）和设备状态检测（ETC门架设备状态监测、机电设备状态监测等）2）基础设施层：主要包含承载大数据、人工智能和业务应用运行的环境3）数据资源层：实现高速公路信息资源的汇聚、治理、存储、共享与开发利用其中的数据资源包括：基础数据、业务数据、主题服务和交换数据通过建设数据资源层，能够实现OLTP和OLAP数据的解耦，并且为应用提供大数据分析的算法引擎4）应用支撑层：为整个系统的各个平台提供公共、成熟、稳定和标准化的软件支撑服务引擎5）应用系统层：该层负责高速公路应急处置业务应用的数据组织和逻辑实现，涵盖突发事件应急处置事前、事中、事后全业务流程6）信息服务层：实现与行业内、外各类用户的信息交互的渠道7）服务用户层：本系统所服务的各类用户包括：行业行政主管部门、路网运行管理部门、行业外的相关協同联动部门和社会公众。

8）标准规范制度保障体系：以国标和行标为基础，紧扣实际业务需求制定数据资源开发利用规范和跨层级、跨组件接口规范，确保系统的开放性、可服务性和分层解耦，满足以大数据驱动业务应用持续迭代和创新的要求9）建设与运营管理保障体系：通过制定匹配业务目标的长效的运营管理机制，强化管理流程与责任，确保系统的长期稳定、运行与可持续发展;满足《信息安全技术网络安全等级保护基本要求》（GB/T22239-2019）定义的安全保护要求2  系统软件设计在整体架构中，数据资源层和应用系统层是高速公路应急处置系统软件设计的核心，也是“大数据+行业信息技术应用创新”与高速公路应急处置业务融合的集中体现以下将着重围绕这两层的设计展开说明2.1  数据资源层数据资源层的建设融合应用云计算、大数据和人工智能技术，满足“一数一源、多源融合、按需使用、安全可靠、弹性伸缩”的要求，打通汇聚、治理、共享、应用的数据流通价值链，打破数据壁垒，形成纵向贯通、横向互联的数据资源交互通道，搭建多维数据碰撞分析计算框架，打造“可知、可控、可联、可取、可用”的信息支撑体系2.1.1  技术架构设计高速公路应急处置业务横向涉及的职能部门较多，所采集和生成信息量巨大;各纵向业务条线之间关联性较强，存在着高频的跨条线数据应用需求。

本设计的数据资源层技术方案采用“存储一体”的湖仓一体技术方案，其架构如图2所示该方案将数据统一存储在专门的对象存储系统中，用于代替数据湖和数据仓库的各自存储，湖中建仓，支持在数据湖中以数据仓库模式进行执行和治理分离后的存储系统可独立扩展，不再与计算耦合，能够快速应对工作负载的变化，允许计算资源和存储资源互相独立扩容，确保资源按需分配，简化运维管理，也为系统的稳定性提供保障当前存储一体的湖仓一体方案主要有三种框架结构：Hadoop体系架构、Lambda结构和Kappa架构，以Hadoop为代表的离线数据处理基础设施更符合当前国内大多数高速公路管理部门的信息资源发展现状，可依托现有基础设施层环境，搭建开源Hadoop架构，原始数据统一存储在HDFS系统上，引擎以Hadoop和Spark开源生态为主，存储和计算一体该架构方案能实现路网信息资源的高质量存储，特定的计算引擎和湖中建仓可满足应急处置业务开展的需要，同时具有良好的可拓展性，能适应未来的信息资源需求2.1.2  融合数仓构建数据治理的过程就是数据流动的过程在DAG分布式调度引擎的调度下，分散零乱、标准不一、来源各异的异构数据经由不同的管道流向各自规划的目标存储位置，完成信息从“数据源”向“数据湖”汇聚并构建融合数仓，是湖仓一体数据湖建设的重要步骤，主要包括平台和数据两个层面的建设。

在平台层面，本设计以数据安全管控和数据敏捷开发理念出发，以Flink和Hudi等主流技术为基础，结合Datax、FlinkSQLCDC、DolphinScheduler等成熟的开源组件，研发湖仓一体的数据治理平台，能够提供包括批流一体数据处理引擎、数据实时集成、数据智能开发、数据资产和运营等在内的全栈数据智能基于Flink流批一体的能力，结合CDC机制实时捕获数据库变化数据，实现数据实时同步，提供全增量的一体化数据集成具备增强的数据表结构一致性检测和断点续传能力，能并行检测上下游数据结构一致性，对异常写入进行主动预警，问题修复后可从断点恢复数据同步解决了以往离线数据集成和实时数据集成两套技术栈的问题，并可在批流之间切换时保证数据一致性基于AC自动机算法、积累沉淀的敏感数据发现规则和数据分类标签，可快速自动发现敏感数据，实现智能化数据分级分类通过内置的统一语义层（MDX）屏蔽底层数据源的差别，实现统一建模，结合自研的数据虚拟化引擎，为用户提供统一SQL开发接口，可在不移动数据的情况下，实现异构数据源之间的融合分析计算解决以往异构数据源需使用不同语言的技术复杂度，并缩短数据加工链路，使平台具备敏捷的数据开发能力。

采用欧拉操作系统（EulerOS），能同时适配国产化的ARM架构和X86架构具备增强的数据安全存储能力，基于国密SM4硬件加速器，结合字段级细粒度权限控制，在HDFS数据存储层面增加国密SM4透明加解密功能，确保仅有访问权限的用户能读取出密文数据且不降低性能有了平台的支撑，还必须持续、扎实做好数据层面的工作本方案采用了数据治理行业标准的方法和流程，主要包括如下步骤：（1）数据标准建设：由业务部门的“业务需求”和信息化系统的“数据需求”共同驱动的，制定数据采集、生产、存储、交换和共享的标准2）治理体系建设：建立从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的数据模型、数据架构、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设及持续改进的体系3）数据质量提升：通过数据质量评估和问题原因分析，寻找影响数据质量的因素并制定有针对性的弥补方案，提升数据的质量4）数据架构建设：在充分考虑数据资源层技术架构特点的基础上，结合业务应用的特点，规划符合实际业务需求的数据架构方案5）数据治理实施：利用平台层面建设形成的能力，实现对数据资源的全生命周期管理，服务业务应用，包括：数据采集、处理（提取、清洗、关联、比对、标识、加载）、管控（标准管理、元数据管理、目录管理、质量管理、分类分级、血缘管理、模型管理、标签管理和运维管理）、组织、安全、应用和服务。

本设计的融合数仓构建数据流转如图3所示2.2  应用系统层有了數据资源层和应用支撑层提供的信息和能力支持，应用系统层能够更专注于业务场景的具体实现本设计的应用系统层包括资源管理、事件监测、协同处置和评估归档四个子系。