Storm基本知识总结

Posted 2020-08-07

Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。Storm的部署和运维都很便捷，而且更为重要的是可以使用任意编程语言来开发应用。

storm：实时计算系统

            低延迟，高性能，分布式，可扩展，容错

特点：简单编程模型，热部署，各种编程语言，可扩展，容错，可靠消息处理，快速，本地模式

storm基本概念：

        Nimbus:负责资源分配和任务调度

        Supervisor：负责接受nimbus分配的任务，启动和停止属于自己管理的worker进程

        Worker：运行具体处理组件逻辑的进程

        Task：worker中每一个spout/bolt的线程称为一个task，在storm0.8后，task不在与物理线程对应，同一个spout/bolt的task可能会共享一个物理线程，该线程称为executor

        Topology：storm中运行的一个实时的应用程序，因为各个组件间的消息流动形成逻辑上的一个拓扑结构

        Spout：在一个topology中产生源数据的组件。通常情况下spout会从外部数据源中读取数据，然后转换为topology的内部的源数据。spout是一个主动的角色，其接口中有一个nextTuple()的函数。storm框架会不停的调用此函数，用户只要在其中生成源数据即可。

        Bolt：在一个topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。Bolt是一个被动的角色，其接口中有个execute（Tupleinput）函数，在接受到消息后会调用此函数，用户可以在其中执行自己想要的操作。

        Tuple:一次消息传递的基本单元。本来应该是一个key-value的map,但是由于各个组件间的传递的tuple的字段名称已经事先定义好，所以Tuple中只要按序填入各个value就行了，是一个valueList。

        Stream:源源不断传递的Tuple就组成了stream.

 

Strom使用场景：

1.流聚合：把两个或者多个数据流聚合成一个数据流-基于一些共同的tuple字段。

2.批处理：为了性能或者一些别的原因，把一组tuple一起处理，而不是一个一个的单独处理。

3.BasicBolt

a.读一个输入的tuple

b.根据一个输入tuple发射一个或多个tuple

c.在execute的方法的最后ack那个输入tuple遵循这类模式的bolt一般是函数或者是过滤器，这种模式太常见，storm为这类模式单独封装了一个接口：IbasicBolt

d.内存内缓存+Fields grouping组合

e.据算topN

f.用TimeCacheMap来高效的保存一个最近被更新对象的缓存

g.分布式RPC

storm分组机制

1.随机分组(Shuffle grouping)

2.字段分组(Fields grouping)

3.全部分组(All grouping)

4.全局分组(Global grouping)

5.无分组(None grouping)

6.直接分组(Direct grouping)

7.实现CustomStreamGrouping接口来定义自己的分组