mapreduce 运行-指定各种运行参数
Posted 楚时邀月
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了mapreduce 运行-指定各种运行参数相关的知识，希望对你有一定的参考价值。
mapreduce指定参数
mapreduce在运行的时候可以指定各种参数，这样可以根据实际的应用场景做一下相关的调整
1.指定运行时cpu的个数
hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.cpu.vcores=2 /home/input /home/output
-D mapreduce.map.cpu.vcores=2 ：指定这个mapreduce任务运行时cpu的个数
/home/input :指定的输入hdfs路径
/home/output:指定的输出hdfs路径
查看结果：http://kafka-test01:8088/proxy/application_1488814616605_0007
点击Configuration查看相关的配置：
2.指定运行时memory的大小
hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.memory.mb=2048 /home/input/ /home/output/
mapreduce.map.memory.mb=2048 ：指定这个mapreduce任务运行时内存的大小
/home/input :指定的输入hdfs路径
/home/output:指定的输出hdfs路径
查看结果：http://kafka-test01:8088/proxy/application_1488814616605_0005
点击Configuration查看相关的配置：
以上是关于mapreduce 运行-指定各种运行参数的主要内容，如果未能解决你的问题，请参考以下文章