Storm整体架构分析

Posted 2020-06-25

一、Storm总体架构

客户端提交Topology代码到Nimbus。Nimbus针对该Topology建立本地的目录，Nimbus中的调度器根据Topology的配置计算Task，并把Task分配到不同的Worker上，调度的结果写入Zookeeper中。Zookeeper上创建assignments节点，存储Task和Supervisor中Worker的对应关系。在Zookeeper上创建workerbeats节点来监控Worker的心跳。supervisor去zookeeper上获取分配的Tasks信息，启动一个或者多个Worker来运行。每个Worker上运行多个Task，Task有Executor来具体执行。Worker根据Topology信息初始化建立Task之间的连接，相同Worker内的Task通过DisrupterQueue来通信，不同Worker间默认采用Netty来通信，然后整个Topology就运行起来了。