Mapreduce程序运行的多模式

Posted 2020-08-10

Mapreduce程序可在多种模式下运行：

1. 本地模式：

1)         本地文件，本地处理：将MR的输入输出路径设置为本地路径；

2)         集群文件，本地处理：将MR的输入输出设置为HDFS的路径，job在本地进行处理;

　　2.集群模式：集群文件，集群处理：将MR的输入输出设置为HDFS的路径，并将Job提交到集群里面（Yarn）处理；其中以集群模式运行的时候还可通过以下几种方式对Job作业进行提交（前提是在集群里面已经启动HDFS以及Yarn）：

1)         在Eclipse提交：

a)         在安装有hadoop相应版本的eclipse开发Mapreduce程序的hadoop插件，在运行时可直接右键选择run in Hadoop

b)         若未安装插件，可在Mapreduce项目下导入hadoop里面配置好的配置文件Mapreduce-site.xml,yarn-site.xml同时在程序入口处用Configuration指明配置：

conf.set(“mapreduce.job.jar”,”xxx.jar”),若不想导入这两个文件则需多加几个配置语句conf.set(“mapreduce.framework.name”,”yarn”)···等等配置文件里面的配置项。

2)         通过命令行提交：在eclipse下打成jar包之后丢进集群环境：hadoop jar xxx.jar xxxx(打jar前的主类，需写明所在包和类) 【需设参数的话此处可设置参数】