《云计算与大数据技术应用》Strom——基于拓扑的流数据实时计算框架.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,Strom,Storm,简介,Storm,是一个开源的、实时的计算平台,Storm,是非常有发展潜力的流处理系统，出现不久便在许多公司中得到使用,Storm,核心组件,组,件,概,念,Topology,一个实时计算应用程序逻辑上被封装在,Topology,对象中，类似于,Hadoop,中的作业与作业不同的是，,Topology,会一直运行到该进程结束,Nimbus,负责资源分配和任务调度，类似于,Hadoop,中的,JobTracker,Supervisor,负责接收,Nimbus,分配的任务，启动和停止管理的,Worker,进程，类似于,Hadoop,中的,TaskTracker,Worker,具体的逻辑处理组件,Executor,Storm 0.8,之后，,Executor,是,Worker,进程中的具体物理进程，同一个,Spout/Bolt,的,Task,可能会共享一个物理进程，一个,Executor,中只能运行隶属于同一个,Spout/Bolt,的,Task,Task,每一个,Spout/Bolt,具体要做的工作内容，同时也是各个结点之间进行分组的单位,Spout,在,Topology,中产生数据源的组件。

通常,Spout,获取数据源的数据，再调用,nextTuple,函数，发送数据供,Bolt,消费,Bolt,在,Topology,中接收,Spout,的数据，再执行处理的组件Bolt,可以执行过滤、函数操作、合并、写数据库等操作Bolt,接收到消息后调用,execute,函数，用户可以在其中执行相应的操作,Tuple,消息传递的基本单元,Stream,源源不断传递的,Tuple,组成了,Stream,，也就是数据流,Stream,分组,消息的分组方法Storm,中提供若干实用的分组方式，包括了,Shuffle,、,Fields,、,All,、,Global,、,None,、,Direct,和,Local or Shuffle,等,Storm,数据流,Storm,集群中每个结点每秒可以处理成百上千个,Tuple,，数据流在各个组件成分间类似于水流一样源源不断地从前一个组件流向后一个组件，而,Tuple,类似于承载数据流的管道,Storm,的特性,完整性,容错性,扩展性,易用性,免费和开源,支持多种语言,Storm,原理及其体系,架,构,Storm,采用的编程模型类似于日常生活中的并行处理任务方式流水线作业方式,Strom,数据流分组,Shuffle,分组：,Task,中数据随机分配，这样可以保证同一级,Bolt,上的每个,Task,处理的,Tuple,的数量一致,Fields,分组：依据,Tuple,中的某一个,Field,或多个,Field,的值划分,All,分组：所有的,Tuple,分发到,Task,中,Global,分组：,Stream,将选择一个,Task,作为分发目的地,None,分组：目前等同于,Shuffle,分组,Direct,分组：产生数据的,Spout/Bolt,可以确定这个,Tuple,被,Bolt,的哪些,Task,所消费,Local or Shuffle,分组：若目标,Bolt,中一个或多个,Task,与当前产生数据的,Task,处于同一个,Worker,进程中，则就通过内部的线程间通信，将,Tuple,直接发送到当前,Worker,进程中的目的,Task,Storm体系,架,构,Storm,采用的是主从架构模式（,Master/Slave,），主结点为,Nimbus,，从结点为,Supervisor,Storm,-,Yarn,系统具有较强的弹性,实现数据共享、应用迁移的大数据技术处理需求,Storm,-,Yarn体系,架,构,Storm,-,Yarn体系,架,构,Storm,-,Yarn,首先向,Yarn Resource Manager,发出请求启动一个,Storm Master,应用，如图中第步操作。

然后,Storm Master,在本地启动,Storm Nimbus Server,和,Storm UI Server,，如图中第和第步操作使用,Zookeeper Server,维护,Storm-Yarn,集群中,Nimbus,和,Supervisor,之间的主从关系，如图中第和第步操作其中,Nimbus,和,Supervisor,分别运行在,Yarn Resource Manager,为其分配的各个单独,的资源容器中（,Yarn Container,）Flink,介绍及与,Storm,对比,THANKS,。