MapReduce 分布式计算系统

Posted jsg-1262534563

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MapReduce 分布式计算系统相关的知识,希望对你有一定的参考价值。

MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",和它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组。

运行程序wordcount

cd /opt/module/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径。
运行touch in.txt,创建In.txt文件,作为输入文件。
(如果in.txt是空文件,运行vi in.txt,输入内容作为被统计词频的输入文件)
输出目录/output必须不存在,程序运行后自动创建。
运行wordcount:
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /adir/in.txt output/
运行成功之后,进入/output目录,打开文件part-r-00000查看计数结果。

以上是关于MapReduce 分布式计算系统的主要内容,如果未能解决你的问题,请参考以下文章

分布式计算 MapReduce与yarn工作机制

初识分布式计算:从MapReduce到Yarn&Fuxi

分布式并行计算MapReduce

Hadoop之MapReduce工作原理

MapReduce编程模型和计算框架

Hadoop :MapReduce基本使用