批处理引擎MapReduce
Posted yayazhang221
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了批处理引擎MapReduce相关的知识，希望对你有一定的参考价值。
1、MapReduce是一个经典的分布式批处理计算引擎，被广泛应用于搜索引擎索引构建、大规模数据处理等场景中，具有易于编程、良好的扩展性与容错性以及高吞吐率等特点。它主要由两部分组成：编程模型和运行时环境。其中，编程模型为用户提供了非常易用的编程接口，用户只需像编写串行程序一样实现几个简单的函数即可实现一个分布式程序，而其他比较复杂的工作，如节点间的通信、节点失效、数据切分等，全部由MapReduce运行时环境完成，用户无需关心这些细节
2、MapReduce设计目标
易于编程、良好的扩展性、高容错性、高吞吐率
以上是关于批处理引擎MapReduce的主要内容，如果未能解决你的问题，请参考以下文章
大数据框架之Hadoop：MapReduceMapReduce框架原理——数据清洗（ETL）