云计算技术在交通流量分析系统设计中的应用研究.docx

云计算技术在交通流量分析系统设计中的应用研究 高秀艳+耿兴隆摘 要 当今社会，随着机动车数量暴增，城市交通拥堵、交通信息管理等问题日益严重研究并设计合适的交通流量分析系统，可以通过采集交通流量的大数据，掌握实时道路情况并有效预测未来某时段的道路交通采用hadoop分布式文件系统对海量交通大数据进行存储，使用神经网络算法对数据进行建模处理，使用MapReduce作为核心算法进行运算，实验证明，这是良好的解决方案关键词 智能交通；大数据；云计算；HadoopTP3 A 1674-6708（2017）188-0066-02当今社会，随着机动车数量暴增，城市交通拥堵、交通信息管理等问题日益严重在城市飞速发展及车辆迅速增加的背景下，研究并设计合适的交通流量分析系统，使其能适时收集交通流量数据并对数据做出合理正确的分析，从而及时掌握实时道路情况并进而有效预测未来某时段的道路交通情况已迫在眉睫由于交通数据具有大数据的特点，因此使用分布式文件系统进行数据存储，采用大数据的处理技术对收集到的海量数据建立合适的数据处理模型并进行分析处理，采用MapReduce作为核心算法进行运算，最终实现流量情况预测。

1 大数据主要处理技术目前，对大数据的处理技术主要有以下几种[1-3]：1）数据挖掘数据挖掘是对数据进行筛选等有效处理的一种技术，目的是从海量数据中通过去噪、转换、净化、挖掘提取等过程筛选出有价值的部分在处理过程中经常借助多处理阶段模型、机器学习、支持向量机等2）遗传算法遗传算法的概念来源于达尔文的生物进化论，即从海量的可能结果中获取最优的个体，在实际应用中常用来获得最优解其基本思想是从给定的候选解中，使用根据适应条件计算出的适应度对其进行递归淘汰，直至得到最优解遗传算法是对大量数据进行筛选提取有用信息的重要手段3）神经网络神经网络（Artificial Neural Networks，即ANNs）是模式识别中经常用到的算法，它是模仿动物神经结构及行为特征的分布式并行信息处理的数据处理模型常用的人工神经网络模型有BP、RBF、Hopfield等在众多的神经网络工具中， NeuroSolutions凭借其良好的网络设计界面、优化的遗传算法以及先进的模型训练程序，能够在快速、高效的实现信息获取方面发挥重要作用4）马尔可夫模型马尔可夫模型是一种适合于随机过程的数据模型，其更为常用的是各种延伸的模型，如隐马尔可夫模型、灰色马尔可夫模型等。

它在语音识别及图像识别中应用较为广泛每一种处理技术都有其特点，但是最关键的是对数据的预处理及模型的建立在模型的建立过程中都需要用大量样本数据对模型进行训练，因此样本的合理性是模型训练的关键，而训练所需时间则是考虑数据处理算法性能的重要因素2 交通流量分析系统设计思想2.1 系统简介本系统通过对交通流量大数据进行分析，充分利用“云计算”及相关技术在交通信息化中的应用，基于“云计算”设计研究了智能交通管理系统设计和解决方案利用Hadoop系统结构，对3个节点的Hadoop集群进行完全分布式部署，然后在该集群上编写MapReduce 程序设计了基于Hadoop的MapReduce模式的交通信息服务系统，并通过仿真系统及模拟数据对该系统进行测试本系统具有如下特点：1）所用样本数据来源具有实际意义系统在设计及仿真时使用保定市某路口采集到的数据，数据可以反应实际交通流量情况2）对数据样本进行了充分的筛选、降噪处理3）对于海量数据采用服务器集群的分布式处理，提高运算速度的同时保证了数据的健壮4）平台搭建使用Linux操作系统，当PC机设备或软件不能满足需要时，还可在虚拟机环境下进行仿真2.2 系统主要功能本系统主要通过对采集到的数据进行筛选、降噪等预处理后，使用数据样本对模型进行训练，得到能够反映下一时刻交通流量信息的模型。

之后根据给出的当前状态数据，预测未来时刻的交通情况，进而给出推荐路径2.3 系统模型设计系统模型如图1所示，系统包括3层，分别为服务器、中间件以及底层2.4 系统技术实现1）数据处理部分：使用神经网络算法对采集到的样本进行处理从而得到模型，仿真实验中使用在保定市某路口采集到的2 000组数据进行，其中1600组用于模型训练，400组用于流量预测2）数据存储部分：在实验室中使用PC机，在Linux系统环境下搭建hadoop集群分布式文件系统用于数据的存储3）数据运算：使用MapReduce算法对数据进行统计与分析，分割采集到的交通路径数据，并输出最短路径集Map过程实现实现路径分割的部分代码如下[4]，其中key值用于表示起点或终点：对应的Reduce函数实现输出最短路径集的部分代码为：3 结论在实验室环境中利用PC机搭建了“云”平台，将模拟的代表城市交流流量的大数据信息布到该云上并进行分析调试，仿真完成交通流量信息服务系统的开发和测试结论如下：1）Hadoop不是完美的解决方案，由于交通流量数据具有大数据的特点，而且交通情况具有实时性，在对大数据的处理中，神经网络、优化的遗传算法等都体现出了各自的优势。

寻找更适合的处理交通流量大数据的算法并用到系统中，将使系统的分析结果更为准确2）样本的采集会对模型的精确产生重要的影响，后续的研究中将更多的考虑其它因素对数据样本精确性的影响，如：偶然因素如交通事故对数据造成的不确定性；天气原因产生的数据随机性；时间对数据样本的影响，如工作日与非工作日、高峰时段与非高峰时段数据的变化参考文献[1]甘晓，李国杰.大数据成为信息科技新关注点[N].中国科学报，2012-06-27.[2]高秀艳，郝艳荣.大数据技术在高校毕业生就业质量评价体系中的应用研究[J].科技传播，2017，4（7）：65-66.[3]尚光龙，张泽锋.大数据技术在信息管理中的应用[J].河北北方学院学报，2016，5（5）：30-34.[4]耿興隆，王丽.基于Hadoop的交通流量统计分析系统的应用研究[J].河北软件职业技术学院学报，2016，3（1）：44-47.基金项目：本文为保定市科技局科学技术研究与发展指导计划项目（项目编号：16ZG022） -全文完-。