如何在MR作业中配置映射以批量执行？
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了如何在MR作业中配置映射以批量执行？相关的知识，希望对你有一定的参考价值。
Map-reduce作业生成几个映射器并在Yarn中运行。如何批量运行这些映射器。假设MR作业产生了100个地图，如何一次只运行10个，以及如何配置下一个10个地图集，以便在前一个集完成后进行拾取。目前所有映射器都是并行运行的。
答案
如果您使用的是Hadoop 2.7或更高版本，则可以使用mapreduce.job.running.map.limit属性来限制同时运行的映射器数量
以上是关于如何在MR作业中配置映射以批量执行？的主要内容，如果未能解决你的问题，请参考以下文章
如何在 Jenkins 作业中获取 MR 的所有 GitLab 评论
如何在 Amazon EMR 集群上远程提交 hadoop MR 作业