MapReduce

Posted 2022-03-12 ZhangJiQun.

MapReduce

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

你向MapReduce框架提交一个计算作业时，它会首先把计算作业拆分成若干个Map任务，然后分配到不同的节点上去执行。每一个Map任务处理输入数据中的一部分，当Map任务完成后，

它会生成一些中间文件，这些中间文件将会作为Reduce任务的输入数据。Reduce任务的主要目标就是把前面若干个Map的输出汇总到一起并输出。

MapReduce的伟大之处就在于编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。

简单理解的例子

制作洋葱辣椒酱

正常的制作步骤：取一个洋葱，一根辣椒、一个大蒜，把它们切碎，然后拌入盐和水，最后放入混合研磨机里研磨。

把MapReduce的概念映射到食谱上面。

Map(映射)：把洋葱、辣椒和大蒜切碎，就是各自作用在这些物体上的一个Map操作。所以，一个Map操作，可以把洋葱切碎；一个Map操作，可以把辣椒切碎；一个Map操作，可以把大蒜切碎；所以，当你在切一个辣椒的时候，就相当于在执行一个Map操作。Map操作适用于每一种蔬菜，它的产出是一些碎块，在实际生产例子中就是蔬菜碎块。当然，当你发现辣椒坏掉的情况，通常会把辣椒扔掉。Map操作会过滤掉坏掉的辣椒而不产出任何坏掉的辣椒碎。

Reduce(归纳)：在这一阶段，你将各种蔬菜碎都放入研磨机里研磨，就可以得到一瓶辣椒酱。因此，要得到一瓶辣椒酱，需要Map所有的蔬菜得到蔬菜碎，再用Reduce研磨机将蔬菜碎聚集到一起进行研磨，最后，得到一瓶辣椒酱。

以上是MapReduce的一部分，MapReduce的强大在于分布式计算。

分布式计算

假设每天需要生产1万瓶辣椒酱，还能否独自完成呢？答案当然是“否”。

首先需要一个能提供大量原料的供应商，然后雇佣更多的工人来切蔬菜，还需要更多的研磨机，然后分配工作。首先需要几个人一起切蔬菜，具体操作需要他们将蔬菜从袋子里面拿出来，每次只切一种蔬菜，直到袋子空了为止。这相当于每一个人在执行一个简单的Map操作。这样，当所有工人都切完之后，就有了洋葱、辣椒和大蒜碎。（MapReduce将所有输出的蔬菜碎都搅拌到了一起，这些蔬菜碎都是在以key为基础的map操作下产生的。可以假设key是一种蔬菜的名字，就像辣椒一样。将全部的辣椒keys都搅拌到一起，并转移到研磨辣椒的研磨器里。这样就能得到辣椒酱了。同样地，所有的洋葱和大蒜也会被转移到标记着各自名称的研磨器里，并制造出辣椒酱。）