mapreduce 中的map和reduce分别啥意思

Posted 2023-04-23

map

n. 地图；天体图；示意图，分布图；染色体图；（非正式）面孔

v. 绘制地图；了解信息；计划；映现；映射；与……有关；确定基因在染色体中的位置

n. (Map) （美）马普（人名）

短语

World Map 世界地图 ; 全世界电子地图 ; 地界地图 ; 世界舆图

geologic map 地质图 ; 地质学 ; 地质年代

heat map 热图 ; 网站点击热图 ; 热度图

Genetic map [遗] 遗传图谱 ; 遗传图 ; [遗] 遗传学图 ; 基因图谱

Multilinear map 多重线性映射

reduce

vt. 减少；降低；使处于；把…分解

vi. 减少；缩小；归纳为

短语

reduce waste 减少浪费 ; 减少浪费来源考试大 ; 减少废弃物

reduce expenditure 开源与节流并重 ; 开源与节流偏重 ; 减少开支 ; 节流节支

reduce luminance 降低亮度

reduce by 减少了 ; 减少

Reduce costs 更可减少成本支出 ; 降低成本 ; 减少成本 ; 削减成本

扩展资料：

map同近义词

vt. 映射；计划；绘制地图；确定基因在染色体中的位置

schedule , propose , design , project

n. [测]地图；示意图；染色体图

conventional diagram , schematic plan

例句：

Beijing is indicated on the map by a red star. 

在这幅地图上北京是用一颗红星标明的。

参考技术A map和reduce两个词没有什么意义，hadoop的分布式计算框架分为两个阶段，第一个是map阶段，第二个是reduce阶段。map阶段负责对输入文件进行切分处理，然后汇总再分组给reduce进行处理，以达到高效的分布式计算效率 参考技术B 引用以前看过的一个比较好好的比喻：
“你数一号书架，我数二号书架。我们人数多，数书就更快。这就是map；最后我们到一起，把所有人的统计数加在一起，就是reduce。”
关于比较专业的概念解释的话，百度百科就行了，会给你专业的回答。

spark和mapreduce的shuffle

既然spark和mapreduce的shuffle过程都落地到磁盘，那为什么spark比mapreduce要快啊？

参考技术A Apache Spark 的 Shuffle 过程与 Apache Hadoop 的 Shuffle 过程有着诸多类似，一些概念可直接套用，例如，Shuffle 过程中，提供数据的一端，被称作 Map 端，Map 端每个生成数据的任务称为 Mapper，对应的，接收数据的一端，被称作 Reduce 端，Reduce 端每个拉取数据的任务称为 Reducer，Shuffle 过程本质上都是将 Map 端获得的数据使用分区器进行划分，并将数据发送给对应的 Reducer 的过程。