Storm 实践记录

Posted 2020-11-28 fubinhnust

概念

Storm 各个组成部分结构

 

各个组件的作用：

主节点：nimbus 分配任务和系统资源

从节点：Supervisor 执行任务的节点

worker：多线程的进程，worker中每个线程叫做一个Executor

Executor：物理上的线程

Task：任务，类型：Spout（采集数据），Bolt（处理数据）

 

各个组件个数对应关系：

• 搭建Nimbus高可用（HA），需要两个Nimbus主节点。
• 一个从节点Supervisor上可以有多个Worker进程
• 一个Worker进程可以有多个Executor线程
• 一个Executor线程中可运行多个Task任务
• Task任务可以是Spout或者Bolt

注意：

nimbus是通过zookeeper这个中间节点来分配任务给supervisor的。supervisor会去zk上取任务。