流式分析计算技术概况v3.pptx

流式分析计算 技术概况,,1 Primeton CEP 技术概述 解决领域 技术架构2 Storm 技术概述 解决领域 技术架构,Primeton CEP,技术概述普元CEP产品，是专门针对于大数据实时分析处理所提供的高性能计算服务方案之一目前公司的CEP产品是基于Esper进行开发，它是一个Java开发的事件流处理和复杂事件处理引擎该引擎基于事件驱动架构，通过事件不断进入引擎来推动引擎的实时计算其独有的EPL语句可快速实现复杂的实时计算策略，并且有着高吞吐量以及低延迟的特点，特别适合大量数据的实时计算Primeton CEP,解决问题的领域金融风险控制 商业活动监控 系统运维 网络入侵探测 系统动态校验,Primeton CEP,技术架构,CEP IDE,CEP Manager,CEP HA,ZooKeeper,Java Platform,Web Server,Primeton Studio,开发期,运行期,CEP IDE,计算规则的集成开发工具,CEP Manager,管理规则及CEP引擎实例,CEP HA,高可用CEP引擎,Zookeeper,协调CEP Manager及CEP HA,Primeton CEP,CEP IDE,Rule Develop Tool,Rule1,Event Def,EPS,Listener,Extend,Config,RuleN,Event Def,EPS,Listener,Extend,Config,…,Rule Test Tool,Rule1,RuleN,…,Rule Deploy Tool,Rule1,RuleN,…,CEP Monitor,Esper Test Engine,Primeton Studio,Primeton CEP,规则库目录结构和导出规则部署包的目录结构一致，方便部署和下载 CEP Engine规则库的目录结构与console的规则库目录结构区别在于web目录。

一个rule目录作为一个OSGi的bundle,rules,Java package,classes,rule1.rule,eps,eps1.eps,lib,3rd1.jar,Action1.class,ExtFunc.class,rule1,eventSource,event1.event,event2.event,web,form1.jsp,rule2,Listener1.class,META-INF,MANIFEST.MF,ext,extconfig1,OSGi Bundle,规则库/部署包,规则模板热部署,基于OSGi的规则部署包,Primeton CEP,CEP Manager,Rule Manager,Deploy UnDeploy,Start Stop,CEP Instance Manager,Add Delete,Startup Shutdown,Suspend Resume,Instances Status,Web Server,,Primeton CEP,运维人员,Repository,业务Console,业务人员,DB,CEP Engine1,CEP Engine2,CEP Engine3,ZooKeeper,3. 下载规则的表单页面,2. 保存规则到仓库,运维Console,4. 规则参数配置,5. 保存规则参数配置,6. 保存规则参数配置到ZooKeeper,engine1,Rule1,Rule2,Rule3,engine2,Rule4,engines,7. 通知Engine,1. 上传规则部署包,8. 下载规则,2’. 保存规则信息到DB,规则部署与配置场景,CEP Manager,Primeton CEP,CEP HA,CEP Cluster1,OSGi Bundle Manager,CEP Inst1,CEP Inst2,CEP Inst3,CEP Cluster2,CEP Inst1,CEP Inst2,CEP Inst3,CEP ClusterN,CEP Inst1,CEP Inst2,CEP Inst3,Input Data,Dispatcher,Convert to Event,Funnel1,Funnel2,FunnelN,Distributed Data Store,…,Mongodb,Rules1,OSGi Bundle Manager,Rules2,OSGi Bundle Manager,RulesN,Primeton CEP,Dispatcher 根据策略分发事件到不同的CEP集群中CEP Cluster 每个Cluster包含三个运行着同样规则的实例OSGi Bundle Manager 用于管理引擎实例中的规则部署包，提供热插拔功能Mongodb 暂存事件中的冷数据，待计算完毕再将冷数据还原Funnel 合并三个运行着同样规则的实例输出的结果,Primeton CEP,CEP HA,CEP Instance1,CEP Instance2,CEP Instance3,CEP Instance1,CEP Instance2,CEP Instance3,CEP Instance1,CEP Instance3,CEP Instance4,CEP Instance1,CEP Instance3,CEP Instance4,t1,t2,t3,t4,t0,normal,Inst2 down,Suspend inst3Copy inst3 status to inst4,Resume inst3Start inst4,Events,buffer,buffer,1 Primeton CEP 技术概述 解决领域 技术架构2 Storm 技术概述 解决领域 技术架构,Storm,技术概述Storm是一个分布式的、容错的实时计算系统。

可被用于“连续计算”，对数据流做连续查询，在计算时就将结果以流的形式输出给用户它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，并且保证每个消息都会得到处理，而且它很快——在一个小集群中，每秒可以处理数以百万计的消息他还有其他特点：容错性、水平扩展、可靠消息处理、本地模式等,Storm,解决问题的领域机器学习 用户行为实时分析 通信行业实时数据分析,Storm,技术架构,主控节点 Nimbus,Storm集群中运行的守护进程，用于分配代码、布置任务及故障检测,工作节点 Supervisor,Storm集群中工作节点运行一个守护进程，用于监听工作，开始并终止工作进程,Zookeeper,Nimbus可通过Zookeeper监控工作节点的情况Nimbus和Supervisor均为无状态，且状态都存于Zookeeper中它是Storm中的数据源，通过接入外部的数据转为固定格式的流，然后发射出去,Storm,技术架构,Topology,Spout,Bolt消费Spout传入的流，也可以生成新的流发射出去Bolt可订阅多个Spout和Bolt,Bolt,Topology部署图,Storm,Nimbus,Topology A,Topology B,Topology C,,Deploy,Supervisor A,Spout A,Spout B,Spout C,Bolt A1,Bolt A2,Bolt B1,Bolt B2,Bolt B3,Bolt C1,Supervisor B,Supervisor C,,Dispatcher,每个Tuple从Spout或者Bolt发出都会建立一个Tuple Tree Storm会建立Acker Task跟踪Tuple Tree Emit通知Tuple Tree有新的Tuple生成。

Ack通知Tuple Tree有Tuple处理完毕 若Tuple处理超时会重发重新处理 每一个Tuple都会随机产生唯一的64位id，用于异或计算检测Tuple Tree结束,Storm,流处理的可靠性,Task,Task,Stream Groupings,,Tuple Tree,Tuple,Stream Groupings,,Storm,,,,,,,,,Bolt A,Bolt B,,Task,Field: b,Field: a,Field: a, b,Fields Grouping,Shuffle Grouping,Tuple,Stream Groupings： Shuffle、Fields、All、Global、None、Direct、Local or Shuffle,Storm,容错性当Bolt或者Spout挂掉，Supervisor会自动重启新的如果无法启动，Nimbus会将Topology安排到别的工作节点重试当Task在部署的时候超时，Nimbus会将Task部署到别的工作节点当Nimbus或Supervisor的守护进程停止，它能够快速恢复，并且从Zookeeper读取停止前的状态,Storm 对比 Primeton CEP,。