大数据之Hadoop(MapReduce): MapReduce概述

Posted 2021-06-20 浊酒南街

目录

• 1:MapReduce定义
• 2:MapReduce优缺点
• • 优点
  • 缺点

1:MapReduce定义

MapReduce是一个分布式运算程序的编程框架，将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行再一个hadoop集群上。

2:MapReduce优缺点

优点

1）、MapReduce易于编程，它简单的实现一些接口，就可以完成一个分布式程序；
2）、良好的扩展性，可以通过简单的增加机器来扩展它的计算能力；
3）、高容错性：一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于任务运行失败；
4）、适合PB级以上海量数据的离线处理

缺点

1）、不擅长实时计算；
2）、不擅长流式计算，MapReduce输入的数据是静态的；
3）、MapReduce不擅长迭代式计算，因为每个Mapreduce作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常低下；