Storm基本概念以及Topology的并发度

Posted 2020-09-18 诸葛小四

Spouts,流的源头

Spout是Storm里面特有的名词，Stream的源头，通常是从外部数据源读取tuples，并emit到topology

Spout可以同时emit多个tupic stream，通过OutputFieldsDeclarer中的declareStream，method来定义

Spout需要实现RichSpout端口，最重要的方法是nextTuple，storm会不断调用接口从spout中取数据，同时需要注意的是Spout分为reliable or unreliable两种

对于reliable，还支持ack和fail方法

Bolts，流的处理节点

对于Bolt，用户可以定义任意的处理逻辑，最重要的方法是execute，输入为tuple，输出为emit 或多个tuples到OutoutCollector。

Topologies，拓扑

可以理解为mapreduce里面的job

区别是，mrjob执行完会结束，而Topologies会一直存在，因为mr流动的是代码，而Storm流动的是数据

Storm Topology是基于Thrifit结构，并且Nimtus是个Thrifit server。

Stream grouping分类

1Shuffle Grouping（最常用）：随机分组，随机派发stream里面的tuple，保证每个bolt接收到的tuple数目相同

Strom Topology的并发度

概念：一个Topology可以包含一个或者多个worker（并行的跑在不同的machine上），所以worker process 就是执行一个topology的子集，并且worker只能对应于一个topology。

一个worker包含一个或者多个executor，每个component（spout或bolt）至少对应一个executor，所以可以说executor执行一个compenent的子集，同时一个executor只能对应于一个component。

task就是具体的处理逻辑对象，一个executor线程可以执行一个或者多个tasks，但是一般默认每个executor只执行一个task，所以我们往往认为task就是执行线程，其实不然

task代表的是最大并发度，一个component的task数目是不会改变的，但是一个component的excutor数目数会发生变化的，当task数目大于executor数目时候，executor代表实际并发度

Storm里面的数据结构tuple

这几天一直在看storm，其中注意到了storm中主要的数据结构类型tuple，刚开始对这种数据还是很不理解，看几个程序之后，才豁然开朗，下面就主要介绍一些storm中最简单的、最基础的东西——tuple。

storm中的数据首先是有spout收集，类似于一个消息源，spout的open()函数一般就是接收数据的地方，然后spout的 nextTuple()是发送(emit)tuple的地方。tuple到底是什么？感觉还是用英语来说比较容易理解吧，"A tuple is a named of values where each value can be any type."  tuple是一个类似于列表的东西，存储的每个元素叫做field（字段）。我们用getString(i)可以获得tuple的第i个字段。而其中的每个字段都可以任意类型的，也可以一个很长的字符串。我们可以用：

      String A = tuple.getString(0);
      long a= tuple.getLong(1);

        来得到我想要的数据，不过前提你是要知道你的tuple的组成。具体tuple是什么类型，完全取决于自己的程序，取决于spout中nextTuple()方法中emit发送的类型。

参考资料：

www.51studyit/html/notes/20140329/44.html

www.51studyit/html/notes/20140329/45.html

www.51studyit/html/notes/20140329/46.html

www.51studyit/html/notes/20140329/47.html

www.51studyit/html/notes/20140329/48.html