大数据技术 Hadoop+Spark+MongoDB+MySQL+C#_光环大数据培训

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn大数据技术大数据技术 Hadoop+Spark+MongoDB+MySQL+C#_Hadoop+Spark+MongoDB+MySQL+C#_光环大数据培训光环大数据培训随着 IT 技术的飞速发展，各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前，医疗 IT 系统收集了大量极具价值的数据，但这些历史医疗数据并没有发挥出其应有的价值。为此 ，本文拟利用医院现有的历史数据，挖掘出有价值的基于统计学的医学规则、知识，并 基于这些信息构建专业的临床知识库，提供诊断、处方、用药推荐功能，基于强大的关联推荐能力，极大地提高医疗服务质量，减轻医疗人员的工作强度。二、hadoop 从存储角度来看，当前主要还是在用 Hadoop 生态环境中的 HDFS 框架。 HDFS 的一系列特性使得它非常适合大数据环境下的存储。1HadoopHadoop 不是一个软件，而是一个分布式系统基础架构，是由 Apache 基金会主持开发的一个开源项目。Hadoop 可以使用户在不了解分布式底层实现的情况下，开发分布式程序，从而充分利用电脑集群的威力，实现高速运算和大规模数据存储。Hadoop 主要有HDFS、MapReduce、Hbase 等子项目组成。Hadoop 是一个能够对大量数据进行分布式处理的软件框架，并且使用可靠、高效、光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn可伸缩的方式进行数据处理。Hadoop 假设数据处理和存储会失败，因此系统维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 通过并行工作，提高数据处理速度。Hadoop 能够处理 PB 级数据，这是常规数据服务器所不能实现的。此外，Hadoop 依赖于开源社区，任何问题都可以及时得到解决，这也是 Hadoop 的一大优势。Hadoop 建立在 Linux 集群上，因此成本低，并且任何人都可以使用。它主要具有以下优点：高可靠性。Hadoop 系统中数据默认有三个备份，并且 Hadoop 有系统的数据检查维护机制，因而提供了高可靠性的数据存储。扩展性强。Hadoop 在普通 PC 服务器集群上分配数据，通过并行运算完成计算任务，可以很方便的为集群扩展更多的节点。高效性。Hadoop 能够在集群的不同节点之间动态的转移数据。并且保证各个节点的动态平衡，因此处理速度非常快。高容错性。Hadoop 能够保存数据的多个副本，这样就能够保证失败时，数据能够重新分配。Hadoop 总体架构如下图所示， Hadoop 架构中核心的是 MapReduce 和 HDFS 两大组件。Google 曾发表论文Google File System ，系统阐述了 Google 的分布式文件系统的设计实现，Apache 针对 GFS，进行开源开发，发布了 Hadoop 的分布式文件系统：Hadoop Distributed File System，缩写为 HDFS。MapReduce 的核心思想也由 Google 的一篇论文MapReduce:Simplified Data Processing on Large Clusters 提出，简单解释MapReduce 的核心思想就是：任务分解执行，执行结果汇总。2光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnSparkSpark 是 UC Berkeley 大学 AMP 实验室开源的类似 MapReduce 的计算框架，它是一个基于内存的集群计算系统，最初的目标是解决 MapReduce 磁盘读写的开销问题，当前最新的版本是 1.5.0。Spark经推出，就以它的高性能和易用性吸引着很多大数据研究人员，在众多爱好者的努力下，Spark 逐渐形成了自己的生态系统( Spark 为基础，上层包括 Spark SQL，MLib，Spark Streaming 和 GraphX)，并成为 Apache 的顶级项目。Spark 的核心概念是弹性分布式存储 (Resilient Distributed Datasets， RDD)间，它是 Spark 对分布式内存进行的抽象，使用者可以像操作本地数据集一样操作 RDD，从而可以将精力集中于业务处理。在 Spark 程序中，数据的操作都是基于 RDD 的，例如经典的WordCount 程序，其在 Spark 编程模型下的操作方式如下图所示：可以看到 Spark 先从文件系统抽象出 RDD1，然后由 RDD1 经过 flatMap 算子转换得到 RDD2，RDD2 再经过 reduceByKey 算子得到 RDD3，最后 RDD3 中的数据重新写回文件系统，一切操作都是基于 RDD 的。三、思路和架构经过多方面的思考，最终决定基于 Spark 技术进行构建和实现医院临床知识库系统，采用 MongoDB/Sequoiadb 构建大数据仓库，做为大数据的存储中心，采用Hadoop+Spark1 构建大数据分析平台，基于 AgileEAS.NET SOA 中间件构建 ETL 数据抽取转换工具(后期部分换用了 Pentaho Kettle)，基于 AgileEAS.NET SOA 中间件构建知识库的服务门户，通过 WCF/WebService 与 HIS 系统进行业务整合集成，使用 AgileEAS.NET SOA+FineUI 构建基础字典管理以后分析结构的图像化展示功能。最初我们选择了 SequoiaDB 做为大数据存储中心，为此我还特意的为 SequoiaDB光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn完成了 C#驱动，参考本人为巨杉数据库(开源 NoSQL)写的 C#驱动，支持 Linq，全部开源，已提交 Github 一文，但是一方面熟悉 SequoiaDB 的技术人员太少了，维护是个问题，最后，在差不多 8 多个月这后我们换用了 MongoDB 3.0 做为大数据存储中心。最初我们选择了 Hadoop2.0+Spark1.3.1 版本之上使用 scala2.10 开发完成了医院临床知识库系统，请参考 centos+scala2.11.4+Hadoop2.3+Spark1.3.1 环境搭建，但是在后期替换 Sequoiadb 为 MongoDB 的同时，我们把计算框架也由 Hadoop2.0+Spark1.3.1 升级到了Hadoop2.6+Spark1.6.2。考虑到 Spark 都部署在 Linux 的情况，对于 Spark 分析的结果输出存储在 MySQL5.6数据库之中，系统所使用的各种字典信息也存储在 MySQL 之中。Spark 数据分析部分的代码使用 IntelliJ IDEA 14.1.4 工具进行编写，其他部分的代码使用 VS2010 进行编写。1总体架构整个系统由数据采集层、存储分析层和应用逻辑层三大部分以及本系统所选所以来的外部数据源。本系统的外部数据源目前主要是医院信息系统所产生的临床数据，目前主要集中在 HIS 系统之中，后期将采依赖于 EMR、LIS、PACS 系统。数据采集层 主要负责从临床业务系统采集海量历史临床数据同，历史记录采集方式分为批采集和实时采集，在数据采集过程之中对原始数据进行格工检查，并对原始数据进行清洗和转换，并将处理后的数据存储在大数据仓库之中。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn存储分析层 主要负责数据存储以及数据分析两大部分业务，经过清洗转换的合理有效数据被存储在大数据集群之中，使用 JSON 格式，大数据存储引用使用 SequoiaDB 数据库，数据分析部分由 Hadoop/Spark 集群来完成，大数据存储经由 Spark 导入并进行分析，分析结果写入临床知识数据库，临床知识数据库使用 MySQL 数据库进行存储。应用逻辑层 主要负责人机交互以及分析结构回馈临床系统的渠道，通过 WebUI的方式向临床医生、业务管理人员提供列表式、图像化的知识展示，也为临床系统的业务辅助、推荐功能提供调用的集成 API，目前 API 主要通过 WebService、WebAPI 两种方式提供。2总体流程整个系统经由数据源数据采集，写入大数据存储 SequoiaDB 集群，然后由 Spark进行分析计算，分析生成的临床知识写入 MySQL 知识库，经由 WebUI 以及标准的 API 交由临床使用。3数据导入流程历史数据的采集导入使用初期使用 AgileEAS.NET SOA 的计划任务配何 C#脚本进行实现，由计划任务进行协调定时执行，具体的数据导入代码根据不同的临床业务系统不同进行脚本代码的调整，也可以使用 Pentaho Kettle 进行实现，通过 Pentaho Kettle 可配置的实现数据的导入。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn4物理结构设计临床数据源为本系统进行分析的数据来源，源自于临床 HIS、EMR，目前医院的HIS 使用 SQL Server 2008 R2 数据库，EMR 使用 ORACLE 11G 数据库，运行于 Windows2008操作系统之上。SequoiaDB 集群为大数据存储数制库集群，目前使用 SequoiaDB v2.0，运行于Centos6.5 操作系统之上，根据业务来规模使用 2-16 节点集群，其用于存储经过清洗转换处理的海量历史临床数据，供 Spark 集群进行分析，以及供应 SOA 服务器进行历史数据查询和历史相关推荐使用。Hadoop/Spark 集群为本系统的分析计算核心节点，用于对 SequoiaDB 集群之中的历史数据进行分析，生成辅助临床医生使用的医学知识，本集群根据业务来规模使用 2-16节点集群，使用 Centos6.5 操作系统，安装 JAVA1.7.79 运行环境、scala2.11.4 语言，使用Hadoop2.3，Spark1.3.1 分析框架。MySQL 知识库为本系统的知识库存储数据库，Hadoop/Spark 集群所生产的分析结构写入本数据库，经由 SOA 服务器和 Web 服务处理供临床系统集成使用和 WebGUI 展现，目前使用 MySQL5.6 版本，安装于 Windows2008/Centos6 操作系统之上。SOA Server 为本系统的对外接口应用服务器，向临床业务系统和 Web Server 提供业务运算逻辑，以及向临床业务系统提供服务 API，目前运行于 Windows2008 操作系统，部署有.NET Framework 4.0 环境，运行 AgileEAS.NET SOA 中间件的 SOA 服务，由AgileEAS.NET SOA 中间件 SOA 服务向外部系统提供标准的 WebService 以及 WebAPI。Web Server 为系统提供基于标准的 B/S 浏览器用户接口，供业务