Nimbus进程与Supervisor进程_光环大数据storm课程培训

光环大数据光环大数据-大数据培训大数据培训&人工智能培训人工智能培训http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnNimbusNimbus 进程与进程与 SupervisorSupervisor 进程进程_ _光环大数据光环大数据 stormstorm 课程培训课程培训Nimbus 进程与 Supervisor 进程 主控节点运行一个称为 Nimbus 的守护进程，类似于 Hadoop 的JobTracker。Nimbus 负责在集群中分发代码，对节点分配任务，并监视主机故障。 每个工作节点运行一个称为 Supervisor 的守护进程。Supervisor 监听其主机上已经分配的主机的作业，启动和停止 Nimbus 已经分配的工作进程。 流分组（Streaminggrouping） 流分组，是拓扑定义中的一部分，为每个 Bolt 指定应该接收哪个流作为输入。流分组定义了流/元组如何在 Bolt 的任务之间进行分发。 Storm 内置了 7 种流分组方式，通过实现 CustomStreamGrouping 接口可以实现自定义的流分组。 工作线程（Worker） Worker 是 Spout/Bolt 中运行具体处理逻辑的进程。拓扑跨一个或多个Worker 进程执行。每个 Worker 进程是一个物理的 JVM 和拓扑执行所有任务的一个子集。例如，如果合并并行度的拓扑是 300，已经分配 50 个 Worker，然后每个 Worker 将执行 6 个任务（作为在 Worker 内的线程） 。Storm 尝试在所有上均匀地发布任务。 可使用 Config.TOPOLOGY_WORKERS 配置项设置执行拓扑时分配的 Worker 的数量。 任务（Task） Worker 中每一个 Spout/Bolt 的线程成为一个任务（Task） 。每个 Spout 或者 Bolt 在集群中执行许多任务。每个任务对应一个线程的执行，流分组定义如何从一个任务集到另一个任务集发射元组。可以通过 TopologyBuilder 类的setSpout()方法和 setBolt()方法来设置每个 Spout 或者 Bolt 的并行度(parallelism)。 光环大数据光环大数据-大数据培训大数据培训&人工智能培训人工智能培训http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn执行器（Executor） 在 Storm0.8 以后，Task 不再与物理线程对应，同一个 Spout/Bolt 的 Task可能会共享一个物理线程，该线程称为执行器（Executor） 。 可靠性（Reliability） Storm 保证每一个 Spout 元组将被拓扑完全可靠地处理。它跟踪每个 Spout元组的元组树，检测树中的元组什么时候可以成功完成。每个拓扑都有“消息超时时间” ，如果 Storm 在超时之前未能检测到 Spout 元组已经完成，那么会设元组为失败并在之后重新发射它。 要利用 Storm 的可靠性优势，当元组树的新边缘被创建时必须通知Storm，并告之 Storm 什么时候处理完该元组。这些都是通过使用OutputCollector 对象实现的，Bolt 使用 OutputCollector 对象发射元组。在emit()方法中完成 Anchoring，声明已经使用 ack()方法完成一个元组。为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/hadoop.aura.cn/http:/hadoop.aura.cn/手机报名链接：手机报名链接：http:/http:/ hadoop.aura.cnhadoop.aura.cn /mobile/mobile/