您所在位置：网站首页 > IT计算机/网络 > 数据挖掘与识别Nimbus进程与Supervisor进程_光环大数据storm课程培训

Nimbus进程与Supervisor进程_光环大数据storm课程培训

2页

卖家[上传人]：gua****an

文档编号：49769822

上传时间：2018-08-02

文档格式：DOCX

文档大小：38.12KB

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

0 金贝

/ 2 举报版权申诉马上下载

文本预览

下载提示

常见问题

1、光环大数据光环大数据-大数据培训大数据培训&人工智能培训人工智能培训http:/ 光环大数据光环大数据 http:/NimbusNimbus 进程与进程与 SupervisorSupervisor 进程进程_ _光环大数据光环大数据 stormstorm 课程培训课程培训Nimbus 进程与 Supervisor 进程主控节点运行一个称为 Nimbus 的守护进程，类似于 Hadoop 的JobTracker。Nimbus 负责在集群中分发代码，对节点分配任务，并监视主机故障。每个工作节点运行一个称为 Supervisor 的守护进程。Supervisor 监听其主机上已经分配的主机的作业，启动和停止 Nimbus 已经分配的工作进程。流分组（Streaminggrouping）流分组，是拓扑定义中的一部分，为每个 Bolt 指定应该接收哪个流作为输入。流分组定义了流/元组如何在 Bolt 的任务之间进行分发。 Storm 内置了 7 种流分组方式，通过实现 CustomStreamGrouping 接口可以实现自定义的流分组。工作线程（Worker） Worker 是 S

2、pout/Bolt 中运行具体处理逻辑的进程。拓扑跨一个或多个Worker 进程执行。每个 Worker 进程是一个物理的 JVM 和拓扑执行所有任务的一个子集。例如，如果合并并行度的拓扑是 300，已经分配 50 个 Worker，然后每个 Worker 将执行 6 个任务（作为在 Worker 内的线程）。Storm 尝试在所有上均匀地发布任务。可使用 Config.TOPOLOGY_WORKERS 配置项设置执行拓扑时分配的 Worker 的数量。任务（Task） Worker 中每一个 Spout/Bolt 的线程成为一个任务（Task）。每个 Spout 或者 Bolt 在集群中执行许多任务。每个任务对应一个线程的执行，流分组定义如何从一个任务集到另一个任务集发射元组。可以通过 TopologyBuilder 类的setSpout()方法和 setBolt()方法来设置每个 Spout 或者 Bolt 的并行度(parallelism)。光环大数据光环大数据-大数据培训大数据培训&人工智能培训人工智能培训http:/ 光环大数据光环大数据 http:/执行器（Exe

3、cutor）在 Storm0.8 以后，Task 不再与物理线程对应，同一个 Spout/Bolt 的 Task可能会共享一个物理线程，该线程称为执行器（Executor）。可靠性（Reliability） Storm 保证每一个 Spout 元组将被拓扑完全可靠地处理。它跟踪每个 Spout元组的元组树，检测树中的元组什么时候可以成功完成。每个拓扑都有“消息超时时间” ，如果 Storm 在超时之前未能检测到 Spout 元组已经完成，那么会设元组为失败并在之后重新发射它。要利用 Storm 的可靠性优势，当元组树的新边缘被创建时必须通知Storm，并告之 Storm 什么时候处理完该元组。这些都是通过使用OutputCollector 对象实现的，Bolt 使用 OutputCollector 对象发射元组。在emit()方法中完成 Anchoring，声明已经使用 ack()方法完成一个元组。为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/ /mobile/mobile/

《Nimbus进程与Supervisor进程_光环大数据storm课程培训》由会员gua****an分享，可在线阅读，更多相关《Nimbus进程与Supervisor进程_光环大数据storm课程培训》请在金锄头文库上搜索。

点击阅读更多内容

TA的资源